Словник / Умовна ймовірність
Зустріньте гравця НБА, і майже напевно він вищий за всіх довкола. Зустріньте високого чоловіка, і майже напевно він ніколи не грав в НБА: високих мільйони, а гравців лише кілька сотень. Ці два твердження звучать як одне, але відповідають на різні питання. Умовна ймовірність — це про те, серед кого ми рахуємо.
Шар «На пальцях» приховано на всіх задачах.
Ось натовп уявного міста. Високі люди — стовпчики, решта — крапки. Баскетболісти обведені кружечком (для наочності їх тут набагато більше, ніж буває насправді). Оберіть, серед кого дивитися, і порівняйте картинки.
Шар «Строго» приховано на всіх задачах.
Умовна ймовірність P(A | B) читається «ймовірність A за умови B». Ми знаємо, що B сталося, викидаємо всі випадки без B і дивимося, яку частку решти займає A.
P(A | B) = P(A і B) / P(B)
Візьміть колоду з 52 карт. Картинок (валет, дама, король) у ній 12, королів 4. Витягли короля. Чи це картинка? Так, завжди: P(картинка | король) = 4/4 = 1. Тепер навпаки: витягли картинку. Чи це король? Лише в одному випадку з трьох:
P(король | картинка) = P(король і картинка) / P(картинка) = (4/52) / (12/52) = 4/12 = 1/3
Ті самі карти, ті самі королі, але відповіді 1 і 1/3. Умова визначає, що ми вважаємо «усіма».
Умовні ймовірності легко плутати, коли вони записані відсотками. Значно легше, коли їх переказати «з 1 000 днів…». Кожна клітинка нижче — день. Коли йде дощ, завжди хмарно. Але хмарно буває й без дощу. Рухайте повзунки.
Найдорожча форма цієї помилки має власну назву: помилка прокурора. Уявіть, що на місці події знайшли слід, і він збігся зі слідом підсудного. Експерт каже: «Якби людина була ні до чого, такий збіг трапився б лише в одного з мільйона». Легко почути «шанс, що він ні до чого, — один на мільйон». Але експерт назвав P(збіг | ні до чого), а суду потрібне P(ні до чого | збіг).
Порахуймо випадками. У місті 5 мільйонів людей. Випадковий збіг матимуть приблизно 5 із них, плюс сам винуватець. Якщо, крім збігу, нічого немає, то людина зі збігом винна лише в одному випадку з шести. Збіг — важливий доказ, але його силу треба зважувати разом з усім іншим, а не переставляти умову.
Шар «Глибше» приховано на всіх задачах.
P(A і B) = P(A | B) · P(B) = P(B | A) · P(A)
Це те саме означення, лише помножене на P(B). Подію «A і B» можна зібрати двома шляхами: спершу B, потім A за умови B, або спершу A, потім B за умови A. Для колоди: P(король | картинка) · P(картинка) = 1/3 · 12/52 = 4/52, і P(картинка | король) · P(король) = 1 · 4/52 = 4/52. Обидва шляхи ведуть до тих самих чотирьох королів.
P(B | A) = P(A | B) · P(B) / P(A), де P(A) = P(A | B) · P(B) + P(A | не B) · P(не B)
Прирівняйте дві половини правила множення й поділіть на P(A). Формула каже точно те, що видно на картинках: щоб перевернути умову, потрібні ще й розміри груп, P(B) і P(A). У натовпі вище 9 з 10 баскетболістів високі, баскетболістів 10 з 2 000, високих 200 з 2 000:
P(гравець | високий) = 0,9 · 0,005 / 0,1 = 0,045
Для днів із повзунків: P(дощ | хмари) = 1 · – / (1 · – + – · –) = –, те саме число, що й у симуляції.
шанси(B | A) = шанси(B) · P(A | B) / P(A | не B)
Шанси — це «скільки за проти скільки»: шанси(B) = P(B) / P(не B). Тоді формула Баєса стає одним множенням. Початкові шанси множаться на відношення правдоподібності: у скільки разів A частіше трапляється разом з B, ніж без нього. P(A) скорочується і більше не потрібне.
Для днів із повзунків: поки ми не глянули на небо, шанси дощу –. У дощовий день хмари бувають у – раза частіше, ніж у сухий, тож шанси дощу за хмар –, тобто ймовірність –.
P(A | B) = P(A) ⇔ P(A і B) = P(A) · P(B)
Так означають незалежність. У колоді P(дама | червона) = 2/26 = 1/13, і просто P(дама) = 4/52 = 1/13: знання масті нічого не каже про те, дама це чи ні. І навпаки, P(червона | дама) = 2/4 = 1/2 = P(червона). Незалежність завжди взаємна, а от «майже завжди» з першого розділу — ні: високий зріст і баскетбол дуже залежні, тому P(високий | гравець) і P(гравець | високий) такі різні.
Наука про те, скількома способами можна впорядкувати або вибрати речі: перестановки n!, сполучення C(n, k).
Добре перетасована колода майже напевно лежить у порядку, якого ще не бачив ніхто й ніколи.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Правило, як змінювати впевненість, коли з'являються нові докази: апріорні шанси × сила доказу.
Два слабкі докази разом бувають сильними, а один яскравий нічого не важить, якщо твердження було малоймовірним.
Скільки успіхів буде в n незалежних спробах, якщо в кожній шанс той самий p.
Підкиньте монетку 100 разів: рівно 50 орлів — найімовірніший результат, але випадає він лише в 8 випадках зі 100.
Скільки відповідей «так чи ні» (бітів) у середньому треба, щоб дізнатися результат: що менш передбачуваний результат, то більша ентропія.
Монета, що падає гербом у 99% випадків, теж може впасти будь-яким боком, але одне її підкидання несе лише 0,08 біта: у 12 разів менше, ніж чесна.