Jak poznat, že předpověď byla dobrá

Řekněme, že trh oceňuje událost na 70 % a ta nakonec nenastane. Byl trh vedle? Většina lidí řekne, že ano. Poctivá odpověď zní: z jednoho případu to nepoznáte. Předpověď 70 % je tvrzení, že podobné věci nastanou zhruba sedmkrát z deseti — což znamená, že má třikrát z deseti selhat. Hodnotit jednu pravděpodobnost podle jednoho výsledku je jako soudit zaváženou minci podle jednoho hodu.

Ten rozdíl mezi „vypadalo to správně" a „bylo to opravdu dobré" je celé téma hodnocení předpovědí. Nesou ho dvě myšlenky: kalibrace a Brierovo skóre.

Kalibrace: nastávají vaše sedmdesátiprocentní tipy v 70 % případů?

Kalibrace klade jednoduchou otázku. Vezměte všechny případy, kdy někdo — nebo trh — řekl „70 %". Dejte je dohromady. V dobře kalibrované skupině přibližně 70 % těchto událostí skutečně nastalo. Totéž udělejte s tipy na 30 %, na 90 % a tak dále. Když každá skupina padne blízko svému štítku, je předpovídač kalibrovaný.

Síla je v tom, že žádná jednotlivá předpověď nemusí být „správná". Stačí, aby pravděpodobnosti znamenaly to, co říkají, napříč mnoha případy. Když Český hydrometeorologický ústav hlásí „30 % pravděpodobnost deště", vede si dobře, pokud zaprší zhruba tři z deseti takových dnů — ne víc, ne míň. Kdyby nezapršelo ani jednou, byla by to stejná chyba, jako kdyby zapršelo pokaždé: dokázalo by to, že těch 30 % bylo ve skutečnosti méně.

Kalibrace odhalí i dvě klasické chyby. Přehnaná jistota je říct 90 %, když skutečná míra je 70 % — velká, dramatická tvrzení, která realita nepotvrdí. Přílišná opatrnost je krčit se u 50 %, aby člověk neměl nikdy vyloženě špatně. To je bezpečné, ale k ničemu. Dobrý předpovídač je odvážný a zároveň přesný: ostré pravděpodobnosti, které přesto padnou tam, kam mají.

Brierovo skóre: jedno číslo pro přesnost

Kalibrace vám řekne, jestli jsou štítky poctivé, ale samo o sobě neodmění ostrost. Pro jedno souhrnné číslo se používá Brierovo skóre, které v roce 1950 zavedl meteorolog Glenn Brier k hodnocení předpovědí počasí.

Matematika je přátelská. Vezměte svou pravděpodobnost jako desetinné číslo, odečtěte výsledek (1, když událost nastala, 0, když ne) a rozdíl umocněte na druhou. To zprůměrujte přes všechny své předpovědi. Nižší je lepší.

Předpovíte-li 0,70 a událost nastane, chyba je (0,70 − 1) = −0,30, po umocnění 0,09. Pokud nenastane, chyba je (0,70 − 0) = 0,70, po umocnění 0,49 — mnohem větší pokuta za jistotu na špatné straně. Vsaďte líné 0,50 a skórujete vždy 0,25, ať to dopadne jakkoli. Právě proto Brierovo skóre odměňuje ty, kdo se odlepí od plotu a trefí se, a nejtvrději trestá sebejisté omyly. Dokonalý věštec skóruje 0; kdo na všechno řekne 50 %, skóruje 0,25; nejhorší možné skóre je 1.

Protože jde o „správné" (proper) skórovací pravidlo, vaší nejlepší dlouhodobou strategií je hlásit svou skutečnou víru. Nadsazovat číslo, aby vypadalo odvážněji nebo bezpečněji, vám časem jen ublíží.

Proč na tom trhu záleží

Trh predikcí je předpovídač složený z tisíců lidí a platí pro něj stejné testy. Studie velkých predikčních platforem opakovaně zjišťují, že dobře fungující trhy a komunity založené na reputaci jsou u krátkodobých, jasně zadaných otázek rozumně kalibrované — jejich ceny 70 % se opravdu vyřeší kladně asi sedmkrát z deseti. U vágních otázek s dlouhým horizontem, kde jsou sporná už samotná kritéria vyřešení, kalibrace slábne. Znát tento rozdíl vám napoví, kdy se o dav opřít a kdy zůstat skeptický.

Mění to i to, jak čtete nástěnku. Jak rozebíráme v článku čtení kurzů, cena je implikovaná pravděpodobnost, ne slib. A jak vysvětluje moudrost davu, to číslo je průměrem mnoha úsudků — a důvěru si zaslouží jen tehdy, když zůstává kalibrované napříč mnoha vyřešenými trhy. Víc o tom, jak si trhy stojí proti realitě, najdete v článku jsou trhy predikcí přesné.

Lepší způsob, jak si vést skóre

Praktické ponaučení zní: přestaňte se hodnotit podle nejhlasitějšího zásahu nebo nejbolestivějšího minutí. Jeden vyřešený trh neřekne skoro nic. Místo toho si veďte deník: zapište pravděpodobnost před událostí, poznamenejte, co se stalo, a po pár desítkách záznamů zkontrolujte dvě věci — jsou vaše skupiny kalibrované a klesá vaše Brierovo skóre v čase? To je rozdíl mezi pocitem, že jste dobrý předpovídač, a tím, že jím skutečně jste.

Nejlevnější místo, kde si takovou bilanci vybudovat, je trh, kde se hraje o body, ne o peníze. Na Outcomeru můžete oceňovat reálné otázky, sledovat jejich vyřešení a bodovat vlastní tipy za virtuální měnu — dost dlouho na to, abyste zjistili, jestli se vaše sedmdesátiprocentní tipy opravdu vyplní sedmkrát z deseti.