Cât de bine știi cât de mult știi?

Ce înseamnă „90% sigur”?

Un interval de 90% e o promisiune: din 10 astfel de intervale, cam 9 vor conține răspunsul corect. Nu trebuie să știi răspunsul. Trebuie doar să știi cât de mult nu știi.

Dacă nu ai idee cât de lung e râul Olt, intervalul tău ar trebui să fie larg, de exemplu între 200 și 1.500 de kilometri. E perfect valid. Un interval îngust, dar greșit, e mai rău decât unul larg, dar corect.

Un om bine calibrat nimerește cam 9 din 10. Majoritatea oamenilor nimeresc doar 4–6. Nu pentru că știu puțin, ci pentru că își fac intervalele prea înguste. Asta se numește supraîncredere, și e una dintre cele mai bine documentate greșeli ale minții.

Ghinion sau supraîncredere?

Poate ai avut doar ghinion? Hai să calculăm. Dacă intervalele tale ar fi fost cu adevărat de 90%, fiecare întrebare ar fi ca o monedă trucată care cade „nimerit” în 90% din cazuri. Câte nimeriri ai obține din 10?

Un om calibrat ia 9 sau 10 în aproximativ 74% din cazuri. Să iei 6 sau mai puțin din pur ghinion se întâmplă doar în 1,3% din cazuri. Deci, dacă ai luat 5, explicația aproape sigur nu e ghinionul.

Formula din spate e distribuția binomială: șansa de a nimeri exact $k$ din $n$ încercări, fiecare cu probabilitatea $p$:

$$P(k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$$

Cu $n=10$ și $p=0,9$, de exemplu pentru $k=9$:

$$P(9)=10\times 0,9^9\times 0,1\approx 38,7\%$$

De ce contează

Calibrarea e un exercițiu clasic la interviurile pentru trading cantitativ și în prognoză (forecasting). Un trader care spune „sunt 90% sigur” și are dreptate doar în 60% din cazuri pierde bani în mod sistematic. Prognozatorii buni nu sunt neapărat cei care știu mai multe, ci cei ale căror procente înseamnă exact ce spun.

Același lucru apare și în viața de zi cu zi: „termin proiectul în două săptămâni, sigur”, „ajung în 20 de minute”, „costă cel mult 5.000 de lei”. Toate sunt intervale de încredere, de obicei prea înguste.

Cum devii mai bine calibrat

• Pornește de la capete. Întreabă-te: ce valoare m-ar surprinde dacă ar fi prea mică? Dar prea mare? Pune limitele acolo.
• Folosește repere. Nu știi câți locuitori are Brașovul? Poate știi cam câți are orașul tău, sau că Bucureștiul e de câteva ori mai mare decât orice alt oraș din țară. Pleacă de acolo.
• Lărgește mai mult decât ți se pare natural. Aproape toată lumea greșește în aceeași direcție, spre prea îngust.
• Exersează și verifică. Calibrarea se îmbunătățește repede cu feedback. Joacă din nou peste câteva zile, cu alte întrebări.