Математичні парадокси

Парадокс хибнопозитивного тесту Тест точний на 99%. Який шанс, що ви хворі?А шанс, що ви хворі, лише 50%.

Хворобу має 1 людина зі 100. Тест знаходить 99% хворих і помиляється лише в 1% здорових. Ваш результат позитивний. Яка ймовірність, що ви справді хворі? Зафіксуйте свою відповідь, а потім перевірте її на тисячі людей, на симуляції та за теоремою Баєса.

Хворобу має 1 людина зі 100. Тест знаходить 99% хворих і помиляється лише в 1% здорових. Ваш результат позитивний. Більшість людей, зокрема багато лікарів, роблять висновок: «Отже, я хворий з імовірністю 99%». Насправді шанс 50 на 50. Перевірте це на тисячі людей, на симуляції та за теоремою Баєса.

Вгадати відповідь
99%точність тесту
50%шанс, що ви хворі
Умова задачі

Уявіть: ви здали аналіз

Цю задачу називають парадоксом хибнопозитивного тесту, а помилку, якої тут припускається інтуїція, звуть помилкою базової частоти. Ми дивимося на точність тесту й забуваємо, наскільки рідкісна сама хвороба. Правильно порахувати допомагає теорема Баєса.

  1. 1

    Хвороба

    Хворобу має 1% людей, тобто 1 людина зі 100. Ззовні її не видно, симптомів немає.

  2. 2

    Тест

    Якщо людина хвора, тест позитивний у 99% випадків. Це чутливість. Якщо людина здорова, тест негативний у 99% випадків. Це специфічність. Отже, лише 1% здорових отримує хибнопозитивний результат.

  3. 3

    Ви

    Вас перевіряють під час планового обстеження, без жодних скарг. Тобто ви навмання обрана людина з населення.

  4. 4

    Результат

    Тест позитивний. Яка ймовірність, що ви справді хворі?

Інтуїція підказує

«Тест точний на 99%, отже, я хворий з імовірністю 99%»

Насправді шанс 50%. На кожного хворого з позитивним результатом припадає один здоровий з хибнопозитивним. Здорових у 99 разів більше, ніж хворих, тому навіть помилки в 1% із них дають стільки ж позитивних результатів, скільки всі хворі разом.

Припущення моделі

  • Частка хворих, або базова частота, дорівнює 1%.
  • Чутливість 99%: тест знаходить 99 зі 100 хворих.
  • Специфічність 99%: 99 зі 100 здорових отримують негативний результат.
  • Вас обрали навмання, а не через симптоми.
  • Повторні тести помиляються незалежно один від одного.

Числа умовні. Справжні тести мають різну точність, а лікарі враховують ще й симптоми та інші аналізи. Як це змінює відповідь, видно в раунді 5.

Раунд 1 · Вгадайте

Який шанс, що ви хворі?

Зафіксуйте відповідь, перш ніж читати далі. Хворобу має 1% людей, тест точний на 99%, ваш результат позитивний.

Підказки

Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.

Далі розв'язок

Далі пояснення, і в ньому спойлери

Наступні раунди показують, який шанс, що ви хворі: тисяча людей, 100 000 тестів і пояснення. Спершу відповісти в раунді 1 чи йти далі?

Ви обрали завжди показувати всі раунди.

Раунд 2 · Тисяча людей

Перевірте тисячу людей і подивіться, хто серед позитивних

Кожна клітинка позначає одну людину. Змінюйте частку хворих і точність тесту, а потім обирайте навмання людей з позитивним результатом і дивіться, хто вони насправді.

Позитивних результатів20
З них хворих10
Хворих серед позитивних50%
хворий, тест + здоровий, тест + (хибнопозитивний) хворий, тест − (хибнонегативний) здоровий, тест −

Тест +Тест −
Теорема Баєса для цих налаштувань 50%

Раунд 3 · Симуляція

100 000 тестів і крива для будь-якої поширеності

Комп'ютер створює 100 000 людей: кожна людина хвора з імовірністю, яку ви задали. Потім усіх перевіряють тестом. Лінія показує теорему Баєса, точки показують симуляцію. Горизонтальна вісь логарифмічна: від 1 людини на 10 000 до половини населення.

теорема Баєса симуляція, 100 000 людей на точку пунктир: чутливість, яку підставляє інтуїція
–
Теорема Баєса
–
Раунд 4 · П'ять пояснень

Чому точний тест дає лише 50%

Тест відповідає на питання «наскільки ймовірний позитивний результат, якщо людина хвора?». Вас цікавить зворотне: «наскільки ймовірно, що я хворий, якщо результат позитивний?». Це різні ймовірності, і пов'язує їх базова частота.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Натуральні частоти

Рахуйте людей, а не відсотки

Хворі з позитивним тестом99зі 100 хворих
Здорові з позитивним тестом99з 9 900 здорових

Візьміть 10 000 людей. Хворих серед них 100, і тест знайде 99 з них. Здорових 9 900, і 1% з них, тобто 99 людей, отримає хибнопозитивний результат. Разом позитивних 198, а хворих серед них 99. Це рівно половина.

Базова частота

Що рідкісніша хвороба, то більше хибних тривог

Тест тут завжди той самий: чутливість і специфічність 99%.

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Дерево ймовірностей

Дві гілки дають порівну позитивних результатів

1%99% 99%1% 1%99% 10 000 людей 100 хворих 9 900 здорових 99 + 1 − 99 + 9 801 − Позитивних: 99 + 99 = 198 хворих серед них 99 / 198 = 50%

Ліва гілка тонка, бо хворих лише 1%, але тест на ній майже завжди спрацьовує. Права гілка товста, бо здорових 99%, і навіть рідкісна помилка дає на ній стільки ж позитивних результатів.

Теорема Баєса

Формула, яка все це рахує

: імовірність хвороби за позитивного тесту. Знаменник дорівнює частці всіх позитивних результатів.

P(Х|+)=P(+|Х)·P(Х)P(+|Х)·P(Х)+P(+|З)·P(З)

Чутливість і специфічність 99%, хворіє 1%.

=0,99·0,010,99·0,01+0,01·0,99 =0,00990,0198=50%

Другий позитивний тест: попередня відповідь, 50%, стає новою базовою частотою.

2 позитивні тести:0,99·0,50,99·0,5+0,01·0,5=99%

Рідкісна хвороба: 1 хворий на 10 000.

1 хворий на 10 000: 0,99·0,00010,99·0,0001+0,01·0,9999≈0,98%

Х означає «хворий», З означає «здоровий». P(+ | Х) це чутливість тесту, P(+ | З) дорівнює 1 мінус специфічність, а P(Х) це базова частота. Знаменник дорівнює частці всіх позитивних результатів. Коли хвороба рідкісна, у ньому переважає другий доданок, тобто хибнопозитивні результати. Для другого тесту попередня відповідь, 50%, стає новою базовою частотою.

Глибшеузагальнення, теорія, історія

Шар «Глибше» приховано на всіх задачах.

Шанси й відношення правдоподібності

Позитивний тест множить шанси на 99

Шанси хвороби до тесту: на 1 хворого припадає 99 здорових.

шанси до тесту=1:99

У скільки разів позитивний результат імовірніший у хворого, ніж у здорового.

відношення правдоподібності=99%1%=99

Позитивний тест множить шанси на 99.

шанси після тесту=1·99:99 =1:1→50%

Другий позитивний тест множить шанси на 99 ще раз.

після другого тесту=1·99:1 =99:1→99%

Позитивний результат у 99 разів імовірніший у хворого, ніж у здорового. Тому він збільшує шанси хвороби в 99 разів. Але на старті шанси були 1 до 99, і після множення на 99 виходить лише 1 до 1. Якщо хворобу має 1 людина на 10 000, шанси 1 : 9 999 перетворюються на 99 : 9 999, тобто приблизно 1 : 101.

Раунд 5 · Ускладнюємо

Повторний тест, рідкісні хвороби, спам і шахрайство

Відповідь залежить від того, з якої ймовірності ви починаєте. Другий тест, симптоми чи дуже рідкісна хвороба змінюють її в рази. Та сама математика працює для спам-фільтрів і систем, що виявляють шахрайські платежі.

Оберіть ситуацію

Базова частота
Після 1 позитивного
Після 2 позитивних

Числа в сценаріях умовні. Вони показують форму задачі, а не точність конкретних тестів.

Кожен позитивний результат множить шанси

Стовпчики показують імовірність після 0–4 позитивних результатів поспіль, якщо тести помиляються незалежно. Для повторних аналізів того самого типу це припущення часто не виконується, тому підтверджують зазвичай іншим методом.

Перевірте симуляцією

Тест із чутливістю та специфічністю 99%. Натисніть «Перевірити»: симуляція 2 000 000 людей порахує частку хворих серед тих, хто отримав указані результати.

СитуаціяШанс хвороби

Парадокс точності: модель, що нічого не робить

Та сама рідкісність ламає й саму міру «точність». Візьміть 10 000 транзакцій, з них 100 шахрайських. Модель, яка ніколи нікого не блокує, права в 9 900 випадках з 10 000. А справжній фільтр, що ловить 90% шахраїв і помилково блокує 5% чесних клієнтів, помиляється частіше.

МодельТочністьСпійманоХибні тривоги
«Завжди ні»99,0%00
Справжній фільтр95,0%90495

Точність зливає дві різні помилки в одне число: хибну тривогу (помилка I роду) і пропуск (помилка II роду). Для рідкісних подій їх треба бачити окремо, а поріг моделі обирати за ціною кожної. Як поріг міняє одну помилку на іншу, показує розділ «Модель точна на 99%» курсу «Як не обдурити себе даними».

Реальні дані

Справжні тести: чи можна вірити позитивному результату?

Числа 1% і 99% у задачі умовні. Ось точність справжніх тестів з досліджень. Оберіть тест і частку хворих серед таких, як ви, і подивіться, що означає ваш результат.

Перевірте на собі

Тест «+»: ви справді хворі
Тест «−»: а ви все ж хворі

Точність справжніх тестів

ТестЧутливістьСпецифічність

У 2007 році 160 гінекологів отримали задачу про мамографію з цими числами: хворіє 1%, чутливість 90%, хибнопозитивних 9%. Більшість відповіли, що жінка з позитивним результатом хвора з імовірністю 90% або 81%. Найкращу відповідь, «приблизно 1 з 10», обрали лише 21%. Після тренінгу з натуральних частот її обрали 87%.

Джерела: Gigerenzer et al., «Helping Doctors and Patients Make Sense of Health Statistics», Psychological Science in the Public Interest, 2007; Dinnes et al., Cochrane Review «Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection», 2022.

Бонус · У роботі

Де це трапляється в роботі

Реальні ситуації з маркетингу, аналітики, продукту й бізнесу, де працює та сама математика. Лише відомі дані, дослідження і прості розрахунки, які можна перевірити.

Продукт-аналітика

Скільки «перемог» в A/B-тестах хибні

Ситуація
Значущий результат тесту — це позитивний аналіз, а «базова частота» — частка ідей, які справді працюють. Ронні Когаві, який керував експериментами в Microsoft і Airbnb, наводить такі частки успішних ідей: близько третини в Microsoft, близько 15 % у Bing, 8 % в Airbnb.
Де пастка
З типовими налаштуваннями (рівень значущості 5 %, потужність 80 %) хибна кожна сімнадцята «перемога», якщо працює третина ідей, кожна сьома при 15 % і кожна четверта при 8 %. Що зріліший продукт і що рідше ідеї працюють, то більша частка перемог хибна, хоч поріг значущості той самий.
Як врахувати
Оцініть частку успішних ідей у своїй команді й рахуйте з нею частку хибних перемог. Для великих рішень і несподівано великих приростів робіть повторний тест або беріть суворіший поріг.

Джерело: Kohavi, Deng, Vermeer, «A/B Testing Intuition Busters», KDD 2022; Kohavi, Tang, Xu, «Trustworthy Online Controlled Experiments», 2020.

Аналітика

Алерти, яким перестають вірити

Ситуація
Система щодня перевіряє 200 метрик на аномалії. Поріг підібрано так, що на нормальних даних він спрацьовує лише в 1 % випадків, а справжню проблему ловить у 90 %. Справжніх інцидентів близько двох на місяць.
Де пастка
За місяць це 60 хибних тривог і 1,8 справжньої: справжніх лише 3 % від усіх. Команда звикає ігнорувати алерти, і справжній інцидент тоне серед хибних. «Точність 99 %» нічого не каже, поки не відомо, як рідко трапляються проблеми.
Як врахувати
Рахуйте не точність детектора, а частку справжніх серед спрацювань. Менше метрик з алертами, суворіший поріг для другорядних і вимога, щоб аномалія трималася кілька перевірок поспіль, підвищують цю частку.
Бонус · Цікаві факти

Що розповісти друзям

95%

Гарвардське питання для лікарів

У 1978 році Кассельс, Шенбергер і Грейбойз поставили 60 студентам і лікарям Гарвардської медичної школи таку задачу: хвороба трапляється в 1 людини з 1 000, тест дає 5% хибнопозитивних результатів. Який шанс, що людина з позитивним тестом хвора? Найчастішою відповіддю було 95%. Правильну, близько 2%, дала менш ніж п'ята частина опитаних.

99 зі 100

Натуральні частоти допомагають

Психолог Герд Гігеренцер показав, що люди, зокрема лікарі, набагато частіше відповідають правильно, коли ту саму задачу формулюють у кількостях людей («99 зі 100 хворих»), а не у відсотках та умовних імовірностях. Тому раунд 2 показує тисячу людей, а не формулу.

1 : 73 млн

Справа Саллі Кларк

У 1999 році у Великій Британії Саллі Кларк засудили за смерть двох її немовлят. Експерт-педіатр заявив суду, що шанс двох раптових дитячих смертей в одній родині становить 1 до 73 мільйонів. Цифру отримали, піднісши до квадрата шанс однієї такої смерті, ніби дві смерті незалежні. До того ж рідкісність події плутали з імовірністю невинуватості. Це «помилка прокурора», близька родичка помилки базової частоти. Вирок скасували у 2003 році.

1763

Есей, опублікований після смерті

Англійський пастор і математик Томас Баєс помер у 1761 році. Його працю про обернену ймовірність знайшов серед паперів друг, Річард Прайс, і представив Лондонському королівському товариству. Есей надрукували в 1763 році. Звичного нам вигляду формулі згодом надав П'єр-Симон Лаплас.

2002

Баєсові спам-фільтри

У 2002 році програміст Пол Грем опублікував есей «A Plan for Spam» і запропонував фільтрувати пошту за теоремою Баєса: кожне слово листа змінює шанс, що це спам. Ідея швидко стала популярною. Фільтр має ту саму проблему, що й медичний тест: результат залежить від того, яка частка пошти взагалі є спамом.

41%

Задача про таксі

Даніел Канеман і Амос Тверскі давали людям таку задачу. У місті 85% таксі зелені, а 15% сині. Свідок нічної аварії каже, що таксі було синє, а розрізняє кольори він правильно в 80% випадків. Найчастіше відповідають, що таксі синє з імовірністю 80%. Насправді близько 41%: зелених машин набагато більше, тому свідок частіше помиляється щодо зеленої машини, ніж правильно бачить синю.

Мислення швидке й повільне

Деніел Канеман

Наш Формат, 2017 · розділ 16

Як ніколи не помилятися. Сила математичного мислення

Джордан Елленберґ

Наш Формат, 2017 · розділ 10

The Drunkard's Walk

Леонард Млодінов

2008, англійською · розділ 6

Усі книжки →
Обговорення

Що ви думаєте?

Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.

Рівень «Шкільна математика» відповідає задачі?

Дякуємо! Це допоможе точніше ставити рівні.

Розсилка

Нові задачі, пояснення й обговорення

Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.

Форма підписки з'явиться тут найближчим часом.