Словник / Теорема Баєса
Уночі таксі збило пішохода й поїхало. У місті дві фірми: 85% таксі зелені, 15% сині. Свідок каже, що машина була синя. Його перевірили в тих самих умовах: кольори він називає правильно у 80% випадків. Більшість людей одразу відповідає: «Отже, на 80% синя». Це класична задача Даніеля Канемана й Амоса Тверскі, і інтуїція тут промахується майже вдвічі. Теорема Баєса — це правило, як чесно змінювати думку, коли з'являється новий доказ.
Шар «На пальцях» приховано на всіх задачах.
Ось усі 100 таксі міста. Уявіть, що аварію могла спричинити будь-яка з них, і свідок подивився б на кожну. Натискайте по черзі й рахуйте машини, які він назвав би синіми.
Свідок не бреше і не помиляється частіше, ніж сказано. Просто зелених машин майже вшестеро більше, і навіть рідкі помилки на такій кількості дають більше «синіх», ніж справжні сині таксі. Слова свідка підняли шанси синього таксі з 15% до 41%, але не до 80%.
Шар «Строго» приховано на всіх задачах.
Теорема Баєса пов'язує три величини. Гіпотеза H — «таксі було синє», доказ E — «свідок сказав “синє”».
Що ми думали до доказу. P(синє) = 0,15.
Як часто трапляється такий доказ за кожної гіпотези. P(каже «синє» | синє) = 0,8, P(каже «синє» | зелене) = 0,2.
Що ми думаємо після доказу. P(синє | каже «синє») — те, що ми шукаємо.
P(H | E) = P(E | H) · P(H) / P(E)
P(синє | «синє») = 0,8 · 0,15 / (0,8 · 0,15 + 0,2 · 0,85) = 0,12 / 0,29 ≈ 0,41
Знаменник — це всі випадки, коли свідок каже «синє»: 12 справжніх синіх і 17 зелених з помилкою, разом 29 зі 100. Звідки взялася сама формула, пояснено в статті про умовну ймовірність. Тут нас цікавить інше: як нею користуватися, щоб змінювати думку.
Поліція знайшла ще одного свідка, такого самого надійного, який бачив усе з іншого боку вулиці й ні з ким не говорив. Він теж каже «синє». Тепер 41% — це стартова думка, і новий доказ зсуває вже її. Змоделюйте 10 000 нічних аварій: у кожній випадкове таксі й кілька незалежних свідків. Залишаємо лише ночі, де свідки сказали те, що ви обрали.
Два слабкі докази разом виявилися сильними: кожен окремо не дотягує й до половини, а разом дають майже три чверті. А два свідки, які суперечать один одному, повертають нас точно до 15%: їхні голоси скасували один одного.
«Надзвичайні твердження потребують надзвичайних доказів» — фразу популяризував Карл Саган, а думку значно раніше висловив П'єр-Симон Лаплас. Баєс пояснює, чому так. Той самий свідок однаково переконливий і тоді, коли каже «бачив у парку лисицю», і тоді, коли каже «бачив у парку тигра». Але стартові шанси цих подій різні, і це вирішує все. Оберіть, наскільки рідкісна подія, і подивіться, скільки незалежних свідків, кожен надійний на 80%, знадобиться.
Один яскравий доказ мало що важить, якщо подія майже неймовірна: від одного шансу з мільйона він доводить лише до чотирьох з мільйона. Щоб перевищити половину, потрібен десяток незалежних свідків, бо кожен лише вчетверо збільшує шанси, а збільшити їх треба в мільйон разів.
Шар «Глибше» приховано на всіх задачах.
P(H | E) / P(не H | E) = P(H) / P(не H) · P(E | H) / P(E | не H)
Запишіть формулу Баєса для H і для «не H» і поділіть одну на одну: незручний знаменник P(E) скорочується. Лишається одне множення. Для таксі стартові шанси синього 15 : 85, а відношення правдоподібності (ВП) 0,8 / 0,2 = 4. Після одного свідка шанси 60 : 85 = 12 : 17, тобто 12 / 29 ≈ 41%. Кожен наступний незалежний свідок, що каже «синє», знову множить шанси на 4, а той, що каже «зелене», ділить на 4.
Для вибору в симуляції вище: –
log2 шанси після = log2 шанси до + log2 ВП1 + log2 ВП2 + …
Логарифм перетворює множення на додавання. Тож якщо міряти впевненість логарифмом шансів, кожен незалежний доказ просто додає своє число. Один свідок дає log2 4 = 2 біти на користь синього таксі. Стартова думка — це log2(15/85) ≈ −2,5 біта, тобто 2,5 біта проти. Нуль означає «50 на 50». Тюрінг брав десятковий логарифм і рахував у децибанах, десятих частках бана: свідок дає 10 · lg 4 ≈ 6 децибанів. Його колега Ірвінг Джон Гуд писав, що зміну приблизно в 1 децибан людина ледь здатна відчути.
| Свідків «синє» | Біти | Шанси | Ймовірність |
|---|
Кожен свідок зсуває точку на однаковий крок у 2 біти. Тому лінія рівна, хоча ймовірність росте нерівно: 15%, 41%, 74%, 92%. Біля 50% один крок змінює багато, біля 100% — майже нічого.
ВП = P(E | H) / P(E | не H)
Сила доказу — не те, наскільки він імовірний за вашої версії, а відношення двох чисел. «Таксі було з шашечками на даху» правдиво для синього таксі на 100%. Але й для зеленого на 100%, тож ВП = 1, логарифм 0 бітів, і думка не зрушує ні на крок. Навпаки, доказ, що трапляється рідко за обох версій, але вдесятеро рідше за однієї з них, важить 10 · lg 10 = 10 децибанів, хоча звучить зовсім буденно.
ВП «не знайшли» = P(не знайшли | H) / P(не знайшли | не H)
Кажуть: «відсутність доказу не є доказом відсутності». За Баєсом це неправда, а правда складніша: тиша важить рівно стільки, наскільки ви чекали б почути шум. Ключі або в кишені куртки, або ні, 50 на 50. Ви перевіряєте кишеню, і якби ключі там були, знайшли б їх у 90% випадків. Не знайшли: ВП = 0,1 / 1, і ймовірність падає з 50% до 0,05 / 0,55 ≈ 9%. А якщо лише помацали куртку зверху і знайшли б ключі тільки в 10% випадків, ВП = 0,9 / 1, і після «не знайшли» лишається ≈ 47%. Те саме «нічого», але в першому випадку це майже відповідь, а в другому майже нуль.
Звідси й парадокс воронів: червоне яблуко підтверджує, що всі ворони чорні, бо перевіряє твердження там, де контрприклад міг би бути. Але там його майже напевно й так не було, тож і вага крихітна.
P(E1, E2 | H) = P(E1 | H) · P(E2 | H)
Множити відношення правдоподібності можна лише тоді, коли докази незалежні за кожної гіпотези. Якщо другий свідок спершу почув першого, його «синє» вже наполовину переказ, і справжнє ВП другого свідчення менше за 4. У крайньому разі, коли він просто повторює почуте, ВП дорівнює 1, і два голоси важать як один. Порядок незалежних доказів, навпаки, не важить: множення переставне, тож байдуже, кого з свідків вислухати першим.
Сама теорема носить ім'я Томаса Баєса, англійського священника й математика. Його есе опублікував Річард Прайс у 1763 році, вже після смерті автора.
Наука про те, скількома способами можна впорядкувати або вибрати речі: перестановки n!, сполучення C(n, k).
Добре перетасована колода майже напевно лежить у порядку, якого ще не бачив ніхто й ніколи.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки успіхів буде в n незалежних спробах, якщо в кожній шанс той самий p.
Підкиньте монетку 100 разів: рівно 50 орлів — найімовірніший результат, але випадає він лише в 8 випадках зі 100.
Скільки відповідей «так чи ні» (бітів) у середньому треба, щоб дізнатися результат: що менш передбачуваний результат, то більша ентропія.
Монета, що падає гербом у 99% випадків, теж може впасти будь-яким боком, але одне її підкидання несе лише 0,08 біта: у 12 разів менше, ніж чесна.