Skąd wiadomo, że prognoza była trafna

Załóżmy, że rynek wycenia zdarzenie na 70%, a ono ostatecznie nie następuje. Czy rynek się pomylił? Większość ludzi powie, że tak. Uczciwa odpowiedź brzmi: z jednego przypadku tego nie ocenisz. Prognoza 70% to twierdzenie, że podobne rzeczy zdarzają się mniej więcej siedem razy na dziesięć — czyli że ma prawo zawieść trzy razy na dziesięć. Ocenianie jednego prawdopodobieństwa po jednym wyniku jest jak osądzanie obciążonej monety po jednym rzucie.

Ta różnica między „wydawało się słuszne" a „naprawdę było dobre" to cały temat oceniania prognoz. Dźwigają go dwa pojęcia: kalibracja i wynik Briera.

Kalibracja: czy twoje typy na 70% zdarzają się w 70% przypadków?

Kalibracja zadaje proste pytanie. Weź wszystkie sytuacje, w których ktoś — albo rynek — powiedział „70%". Zbierz je razem. W dobrze skalibrowanym zbiorze około 70% tych zdarzeń faktycznie nastąpiło. Zrób to samo z typami na 30%, na 90% i tak dalej. Jeśli każda grupa ląduje blisko swojej etykiety, prognozujący jest skalibrowany.

Siła tkwi w tym, że żadna pojedyncza prognoza nie musi być „poprawna". Wystarczy, by prawdopodobieństwa znaczyły to, co mówią, w wielu przypadkach. Gdy IMGW podaje „30% szans na deszcz", radzi sobie dobrze, jeśli pada mniej więcej trzy z dziesięciu takich dni — nie więcej, nie mniej. Gdyby nie spadło ani razu, byłby to taki sam błąd jak gdyby padało za każdym razem: dowodziłoby to, że te 30% było w rzeczywistości mniejsze.

Kalibracja obnaża też dwa klasyczne błędy. Nadmierna pewność to mówić 90%, gdy realny wskaźnik wynosi 70% — wielkie, dramatyczne twierdzenia, których rzeczywistość nie potwierdza. Nadmierna ostrożność to chowanie się przy 50%, by nigdy nie mieć wyraźnie źle. To bezpieczne, ale bezużyteczne. Dobry prognozujący jest odważny i trafny: ostre prawdopodobieństwa, które mimo to lądują tam, gdzie powinny.

Wynik Briera: jedna liczba na celność

Kalibracja mówi, czy etykiety są uczciwe, ale sama w sobie nie nagradza ostrości. Dla jednej zbiorczej miary używa się wyniku Briera, wprowadzonego w 1950 roku przez meteorologa Glenna Briera do oceny prognoz pogody.

Matematyka jest przyjazna. Weź swoje prawdopodobieństwo jako ułamek dziesiętny, odejmij wynik (1, jeśli zdarzenie nastąpiło, 0, jeśli nie) i podnieś różnicę do kwadratu. Uśrednij to po wszystkich prognozach. Niżej znaczy lepiej.

Jeśli prognozujesz 0,70 i zdarzenie następuje, błąd to (0,70 − 1) = −0,30, po kwadracie 0,09. Jeśli nie następuje, błąd to (0,70 − 0) = 0,70, po kwadracie 0,49 — znacznie większa kara za pewność po złej stronie. Postaw leniwe 0,50, a zawsze dostaniesz 0,25, niezależnie od wyniku. Właśnie dlatego wynik Briera nagradza tych, którzy odklejają się od płotu i trafiają, a najsurowiej karze pewne siebie pomyłki. Idealny wróżbita dostaje 0; kto na wszystko mówi 50%, dostaje 0,25; najgorszy możliwy wynik to 1.

Ponieważ jest to „właściwa" (proper) reguła punktacji, twoją najlepszą długoterminową strategią jest podawanie swojego prawdziwego przekonania. Podkręcanie liczby, by wyglądała odważniej lub bezpieczniej, z czasem tylko ci szkodzi.

Dlaczego to ma znaczenie dla rynku

Rynek predykcyjny to prognozujący złożony z tysięcy ludzi i obowiązują go te same testy. Badania dużych platform prognostycznych wielokrotnie stwierdzają, że dobrze prowadzone rynki i społeczności oparte na reputacji są przy krótkoterminowych, jasno zdefiniowanych pytaniach rozsądnie skalibrowane — ich ceny 70% rzeczywiście rozstrzygają się na „tak" mniej więcej siedem razy na dziesięć. Przy mglistych pytaniach o długim horyzoncie, gdzie sporne są już same kryteria rozstrzygnięcia, kalibracja słabnie. Znajomość tej różnicy podpowiada, kiedy oprzeć się na tłumie, a kiedy zachować sceptycyzm.

Zmienia to też sposób czytania tablicy. Jak opisujemy w tekście czytanie kursów, cena to implikowane prawdopodobieństwo, a nie obietnica. A jak wyjaśnia mądrość tłumu, ta liczba jest średnią wielu osądów — i zasługuje na zaufanie tylko wtedy, gdy pozostaje skalibrowana w wielu rozstrzygniętych rynkach. Więcej o tym, jak rynki wypadają wobec rzeczywistości, znajdziesz w tekście czy rynki predykcyjne są dokładne.

Lepszy sposób prowadzenia rachunku

Praktyczny wniosek jest taki: przestań oceniać się po najgłośniejszym trafieniu albo najboleśniejszym pudle. Jeden rozstrzygnięty rynek nie mówi prawie nic. Zamiast tego prowadź dziennik: zapisz prawdopodobieństwo przed zdarzeniem, odnotuj, co się stało, a po kilkudziesięciu wpisach sprawdź dwie rzeczy — czy twoje grupy są skalibrowane i czy twój wynik Briera spada w czasie? Na tym polega różnica między poczuciem, że jest się dobrym prognozującym, a byciem nim naprawdę.

Najtańsze miejsce, by zbudować taki dorobek, to rynek, gdzie gra się o punkty, a nie o pieniądze. Na Outcomerze możesz wyceniać prawdziwe pytania, śledzić ich rozstrzygnięcia i punktować własne typy za wirtualną walutę — na tyle długo, by przekonać się, czy twoje typy na 70% naprawdę spełniają się siedem razy na dziesięć.