Хворобу має 1 людина зі 100. Тест знаходить 99% хворих і помиляється лише в 1% здорових. Ваш результат позитивний. Більшість людей, зокрема багато лікарів, роблять висновок: «Отже, я хворий з імовірністю 99%». Насправді шанс 50 на 50. Перевірте це на тисячі людей, на симуляції та за теоремою Баєса.
Цю задачу називають парадоксом хибнопозитивного тесту, а помилку, яку тут робить інтуїція, називають помилкою базової частоти. Ми дивимося на точність тесту й забуваємо, наскільки рідкісна сама хвороба. Правильно порахувати допомагає теорема Баєса.
Хворобу має 1% людей, тобто 1 людина зі 100. Ззовні її не видно, симптомів немає.
Якщо людина хвора, тест показує «позитивно» в 99% випадків. Це чутливість. Якщо людина здорова, тест показує «негативно» в 99% випадків. Це специфічність. Отже, лише 1% здорових отримує хибнопозитивний результат.
Вас перевіряють під час планового обстеження, без жодних скарг. Тобто ви випадкова людина з населення.
Тест позитивний. Яка ймовірність, що ви справді хворі?
«Тест точний на 99%, отже, я хворий з імовірністю 99%»
Насправді шанс 50%. На кожного хворого з позитивним результатом припадає один здоровий з хибнопозитивним. Здорових у 99 разів більше, ніж хворих, тому навіть 1% їхніх помилок дає стільки ж позитивних результатів, скільки всі хворі разом.
Числа умовні. Справжні тести мають різну точність, а лікарі враховують ще й симптоми та інші аналізи. Як це змінює відповідь, видно в раунді 5.
Зафіксуйте відповідь, перш ніж читати далі. Хворобу має 1% людей, тест точний на 99%, ваш результат позитивний.
Кожна клітинка є людиною. Змінюйте частку хворих і точність тесту, а потім обирайте навмання людей з позитивним результатом і дивіться, хто вони насправді.
| Тест + | Тест − |
|---|
Комп'ютер створює 100 000 людей, кожна з яких хвора з імовірністю, яку ви задали, і перевіряє всіх тестом. Лінія показує теорему Баєса, точки показують симуляцію. Горизонтальна вісь логарифмічна: від 1 людини на 10 000 до половини населення.
Тест відповідає на питання «наскільки ймовірний позитивний результат, якщо людина хвора?». Вас цікавить зворотне: «наскільки ймовірно, що я хворий, якщо результат позитивний?». Це різні ймовірності, і пов'язує їх базова частота.
Візьміть 10 000 людей. Хворих серед них 100, і тест знайде 99 з них. Здорових 9 900, і 1% з них, тобто 99 людей, отримає хибнопозитивний результат. Разом позитивних 198, а хворих серед них 99. Це рівно половина.
Ліва гілка тонка, бо хворих лише 1%, але тест на ній майже завжди спрацьовує. Права гілка товста, бо здорових 99%, і навіть рідкісна помилка дає на ній стільки ж позитивних результатів.
Тест тут завжди той самий: чутливість і специфічність 99%.
Позитивний результат у 99 разів імовірніший у хворого, ніж у здорового. Тому він множить шанси на хворобу на 99. Але на старті шанси були 1 до 99, і після множення на 99 виходить лише 1 до 1. Якщо хвороба має 1 людина на 10 000, шанси 1 : 9 999 перетворюються на 99 : 9 999, тобто приблизно 1 : 101.
Х означає «хворий», З означає «здоровий». P(+ | Х) є чутливістю тесту, P(+ | З) дорівнює 1 мінус специфічність, а P(Х) є базовою частотою. Знаменник дорівнює частці всіх позитивних результатів. Коли хвороба рідкісна, у ньому переважає другий доданок, тобто хибнопозитивні результати. Для другого тесту попередня відповідь, 50%, стає новою базовою частотою.
Відповідь залежить від того, з якої ймовірності ви починаєте. Другий незалежний тест, симптоми чи дуже рідкісна хвороба змінюють її в рази. Та сама математика працює для спам-фільтрів і систем, що виявляють шахрайські платежі.
Числа в сценаріях умовні. Вони показують форму задачі, а не точність конкретних тестів.
Стовпчики показують імовірність після 0–4 позитивних результатів поспіль, якщо тести помиляються незалежно. Для повторних аналізів того самого типу це припущення часто не виконується, тому підтверджують зазвичай іншим методом.
Тест із чутливістю та специфічністю 99%. Натисніть «Перевірити»: симуляція 2 000 000 людей порахує частку хворих серед тих, хто отримав указані результати.
| Ситуація | Шанс хвороби |
|---|
У 1978 році Кассельс, Шенбергер і Грейбойз поставили 60 студентам і лікарям Гарвардської медичної школи таку задачу: хвороба трапляється в 1 людини з 1 000, тест дає 5% хибнопозитивних результатів. Який шанс, що людина з позитивним тестом хвора? Найчастішою відповіддю було 95%. Правильну, близько 2%, дала менш ніж п'ята частина опитаних.
Психолог Герд Гігеренцер показав, що люди, зокрема лікарі, набагато частіше відповідають правильно, коли ту саму задачу формулюють у кількостях людей («99 зі 100 хворих»), а не у відсотках та умовних імовірностях. Тому раунд 2 показує тисячу людей, а не формулу.
У 1999 році у Великій Британії Саллі Кларк засудили за смерть двох її немовлят. Експерт-педіатр заявив суду, що шанс двох раптових дитячих смертей в одній родині становить 1 до 73 мільйонів. Цифру отримали, піднісши до квадрата шанс однієї такої смерті, ніби дві смерті незалежні. До того ж рідкісність події плутали з імовірністю невинуватості. Це «помилка прокурора», близька родичка помилки базової частоти. Вирок скасували у 2003 році.
Англійський пастор і математик Томас Баєс помер у 1761 році. Його працю про обернену ймовірність знайшов серед паперів друг, Річард Прайс, і представив Лондонському королівському товариству. Есей надрукували в 1763 році. Звичного нам вигляду формулі згодом надав П'єр-Симон Лаплас.
У 2002 році програміст Пол Грем опублікував есей «A Plan for Spam» і запропонував фільтрувати пошту за теоремою Баєса: кожне слово листа змінює шанс, що це спам. Ідея швидко стала популярною. Фільтр має ту саму проблему, що й медичний тест: результат залежить від того, яка частка пошти взагалі є спамом.
Даніел Канеман і Амос Тверскі давали людям таку задачу. У місті 85% таксі зелені, а 15% сині. Свідок нічної аварії каже, що таксі було синє, а розрізняє кольори він правильно в 80% випадків. Найчастіше відповідають, що таксі синє з імовірністю 80%. Насправді близько 41%: зелених машин набагато більше, тому свідок частіше помиляється щодо зеленої машини, ніж правильно бачить синю.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.