Словник / Теорема Баєса
Уночі таксі збило пішохода й поїхало. У місті дві фірми: 85% таксі зелені, 15% сині. Свідок каже, що машина була синя. Його перевірили в тих самих умовах: кольори він називає правильно у 80% випадків. Більшість людей одразу відповідає: «Отже, на 80% синя». Це класична задача Даніеля Канемана й Амоса Тверскі, і інтуїція тут промахується майже вдвічі. Теорема Баєса — це правило, як чесно змінювати думку, коли з'являється новий доказ.
Шар «На пальцях» приховано на всіх задачах.
Ось усі 100 таксі міста. Уявіть, що аварію могла спричинити будь-яка з них, і свідок подивився б на кожну. Натискайте по черзі й рахуйте машини, які він назвав би синіми.
Свідок не бреше і не помиляється частіше, ніж сказано. Просто зелених машин майже вшестеро більше, і навіть рідкі помилки на такій кількості дають більше «синіх», ніж справжні сині таксі. Слова свідка підняли шанси синього таксі з 15% до 41%, але не до 80%.
Шар «Строго» приховано на всіх задачах.
Теорема Баєса пов'язує три величини. Гіпотеза H — «таксі було синє», доказ E — «свідок сказав “синє”».
Що ми думали до доказу. P(синє) = 0,15.
Як часто трапляється такий доказ за кожної гіпотези. P(каже «синє» | синє) = 0,8, P(каже «синє» | зелене) = 0,2.
Що ми думаємо після доказу. P(синє | каже «синє») — те, що ми шукаємо.
P(H | E) = P(E | H) · P(H) / P(E)
P(синє | «синє») = 0,8 · 0,15 / (0,8 · 0,15 + 0,2 · 0,85) = 0,12 / 0,29 ≈ 0,41
Знаменник — це всі випадки, коли свідок каже «синє»: 12 справжніх синіх і 17 зелених з помилкою, разом 29 зі 100. Звідки взялася сама формула, пояснено в статті про умовну ймовірність. Тут нас цікавить інше: як нею користуватися, щоб змінювати думку.
Поліція знайшла ще одного свідка, такого самого надійного, який бачив усе з іншого боку вулиці й ні з ким не говорив. Він теж каже «синє». Тепер 41% — це стартова думка, і новий доказ зсуває вже її. Змоделюйте 10 000 нічних аварій: у кожній випадкове таксі й кілька незалежних свідків. Залишаємо лише ночі, де свідки сказали те, що ви обрали.
Два слабкі докази разом виявилися сильними: кожен окремо не дотягує й до половини, а разом дають майже три чверті. А два свідки, які суперечать один одному, повертають нас точно до 15%: їхні голоси скасували один одного.
«Надзвичайні твердження потребують надзвичайних доказів» — фразу популяризував Карл Саган, а думку значно раніше висловив П'єр-Симон Лаплас. Баєс пояснює, чому так. Той самий свідок однаково переконливий і тоді, коли каже «бачив у парку лисицю», і тоді, коли каже «бачив у парку тигра». Але стартові шанси цих подій різні, і це вирішує все. Оберіть, наскільки рідкісна подія, і подивіться, скільки незалежних свідків, кожен надійний на 80%, знадобиться.
Один яскравий доказ мало що важить, якщо подія майже неймовірна: від одного шансу з мільйона він доводить лише до чотирьох з мільйона. Щоб перевищити половину, потрібен десяток незалежних свідків, бо кожен лише вчетверо збільшує шанси, а збільшити їх треба в мільйон разів.
Шар «Глибше» приховано на всіх задачах.
P(H | E) / P(не H | E) = P(H) / P(не H) · P(E | H) / P(E | не H)
Запишіть формулу Баєса для H і для «не H» і поділіть одну на одну: незручний знаменник P(E) скорочується. Лишається одне множення. Для таксі стартові шанси синього 15 : 85, а відношення правдоподібності (ВП) 0,8 / 0,2 = 4. Після одного свідка шанси 60 : 85 = 12 : 17, тобто 12 / 29 ≈ 41%. Кожен наступний незалежний свідок, що каже «синє», знову множить шанси на 4, а той, що каже «зелене», ділить на 4.
Для вибору в симуляції вище: –
log2 шанси після = log2 шанси до + log2 ВП1 + log2 ВП2 + …
Логарифм перетворює множення на додавання. Тож якщо міряти впевненість логарифмом шансів, кожен незалежний доказ просто додає своє число. Один свідок дає log2 4 = 2 біти на користь синього таксі. Стартова думка — це log2(15/85) ≈ −2,5 біта, тобто 2,5 біта проти. Нуль означає «50 на 50». Тюрінг брав десятковий логарифм і рахував у децибанах, десятих частках бана: свідок дає 10 · lg 4 ≈ 6 децибанів. Його колега Ірвінг Джон Гуд писав, що зміну приблизно в 1 децибан людина ледь здатна відчути.
| Свідків «синє» | Біти | Шанси | Ймовірність |
|---|
Кожен свідок зсуває точку на однаковий крок у 2 біти. Тому лінія рівна, хоча ймовірність росте нерівно: 15%, 41%, 74%, 92%. Біля 50% один крок змінює багато, біля 100% — майже нічого.
ВП = P(E | H) / P(E | не H)
Сила доказу — не те, наскільки він імовірний за вашої версії, а відношення двох чисел. «Таксі було з шашечками на даху» правдиво для синього таксі на 100%. Але й для зеленого на 100%, тож ВП = 1, логарифм 0 бітів, і думка не зрушує ні на крок. Навпаки, доказ, що трапляється рідко за обох версій, але вдесятеро рідше за однієї з них, важить 10 · lg 10 = 10 децибанів, хоча звучить зовсім буденно.
P(E1, E2 | H) = P(E1 | H) · P(E2 | H)
Множити відношення правдоподібності можна лише тоді, коли докази незалежні за кожної гіпотези. Якщо другий свідок спершу почув першого, його «синє» вже наполовину переказ, і справжнє ВП другого свідчення менше за 4. У крайньому разі, коли він просто повторює почуте, ВП дорівнює 1, і два голоси важать як один. Порядок незалежних доказів, навпаки, не важить: множення переставне, тож байдуже, кого з свідків вислухати першим.
Сама теорема носить ім'я Томаса Баєса, англійського священника й математика. Його есе опублікував Річард Прайс у 1763 році, вже після смерті автора.
Число посередині: якщо всіх вишикувати за зростанням, половина буде нижче, половина вище.
До бару заходить мільйонер, і середній дохід відвідувачів злітає, а медіана ледь ворухнеться.
Сума всіх значень, поділена на їхню кількість: скільки дісталося б кожному, якби поділити порівну.
Майже кожна людина має більше ніг, ніж у середньому: середнє трохи менше за дві.
Середній результат, якого можна чекати, якщо повторювати те саме дуже багато разів.
У грального кубика сподівання 3,5, хоча такої грані немає.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Міра розкиду: наскільки значення в середньому відходять від середнього. Стандартне відхилення — корінь з дисперсії, у тих самих одиницях.
Два міста з однаковою середньою температурою: в одному весь рік близько +15, в іншому то −20, то +50.
Розподіл у формі дзвона: більшість значень біля середнього, а що далі від нього, то рідше.
Кожна кулька на дошці Гальтона падає навмання, а тисячі кульок щоразу складаються в той самий дзвін.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки разів треба помножити основу саму на себе, щоб отримати число: log₂ 8 = 3, бо 2 · 2 · 2 = 8.
Аркуш паперу, складений навпіл 42 рази, був би товщим за відстань до Місяця.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Наука про те, скількома способами можна впорядкувати або вибрати речі: перестановки n!, сполучення C(n, k).
Добре перетасована колода майже напевно лежить у порядку, якого ще не бачив ніхто й ніколи.
Сума 1 + ½ + ⅓ + ¼ + …: вона росте без меж, але неймовірно повільно.
Однакові книжки можна скласти так, що верхня нависатиме над краєм столу як завгодно далеко.
Зростання, за якого величина щоразу множиться на те саме число, тож подвоюється через рівні проміжки часу.
Одне зернятко на першій клітинці шахівниці й подвоєння на кожній наступній: на останній клітинці стільки рису, скільки світ вирощує понад 300 років.
Рух, у якому кожен наступний крок робиться навмання: вперед чи назад, ліворуч чи праворуч.
П'яний завжди дійде додому, а птах, що літає навмання, може не повернутися ніколи.
Потік незалежних випадкових подій зі сталою середньою частотою: дзвінки, клацання лічильника, краплі дощу.
У 1944 році лондонцям здавалося, що німецькі літаючі бомби влучають прицільно, а це була звичайна випадкова купчастість.