Математичні парадокси

Парадокс Сімпсона 78% проти 83%. Який метод кращий?Кращий у кожній групі. Гірший загалом.

Два методи лікування каменів у нирках, по 350 пацієнтів на кожен. Метод A успішний у 78% випадків, метод B у 83%. Який метод ви оберете для себе, чи цих даних замало? Зафіксуйте свою відповідь, а потім перевірте її на розбивці за розміром каменя, у редакторі таблиці та через п'ять пояснень.

Метод A лікує і малі, і великі камені в нирках краще за метод B. Але якщо скласти всіх пацієнтів разом, B виходить кращим. Обидва висновки зроблено з тих самих чисел. Нижче видно, звідки це береться і якому числу вірити.

Вгадати відповідь
2 з 2груп, де A кращий
78% < 83%загалом: A проти B

Частка успішного лікування, дані Charig et al., 1986. Рожевим позначено переможця в кожному рядку.

Умова задачі

Уявіть: вам обирати метод лікування

Класичний приклад парадоксу Сімпсона взято з британського дослідження 1986 року про лікування каменів у нирках.

Парадокс Сімпсона виникає, коли тенденція в кожній групі даних змінюється на протилежну після об'єднання груп. Класичний приклад узято з британського дослідження 1986 року про лікування каменів у нирках.

  1. 1

    Два методи

    Метод A: відкрита операція. Метод B: черезшкірна операція, тобто втручання через невеликий прокол. Кожен метод отримали 350 пацієнтів.

  2. 2

    Загальний результат

    Метод A успішний у 273 з 350 випадків (78%), метод B у 289 з 350 (83%). На перший погляд B кращий.

  3. 3

    Питання

    Який метод ви оберете для себе, якщо бачите лише ці загальні результати? Чи цих даних замало, щоб вирішити? Зробіть вибір у раунді 1, а потім подивіться, що покаже розбивка пацієнтів за розміром каменя.

  4. 3

    Розбивка за розміром

    Тепер поділимо пацієнтів на дві групи: з малими і з великими каменями. Для малих каменів A дає 93%, B 87%. Для великих A дає 73%, B 69%.

  5. 4

    Питання

    Як A може бути кращим у кожній групі і гіршим загалом? І який метод ви порадили б пацієнтові, якщо знаєте розмір його каменя?

Інтуїція підказує

«Якщо A кращий і для малих, і для великих каменів, то він кращий і для всіх разом»

Це здається очевидним, але не є правилом арифметики. Загальний відсоток залежить ще й від того, скільки пацієнтів кожного типу отримав метод. Метод A отримав переважно складні випадки.

Що важливо знати

  • Пацієнтів не розподіляли між методами навмання.
  • Лікарі частіше обирали відкриту операцію для великих каменів.
  • Великі камені лікувати важче будь-яким методом.

Розмір каменя впливає і на вибір методу, і на результат. Таку змінну називають конфаундером, або змішувальним чинником. Детальніше в раунді 4.

Раунд 1 · Оберіть

Який метод ви оберете для себе?

Уявіть, що ви ще не читали умову і бачите лише загальні результати. Оберіть метод або скажіть, що даних замало, а потім подивіться на розбивку за розміром каменя.

Загальні результати, 350 пацієнтів на кожен метод

Натисніть на свій варіант.

Підказки

Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.

Далі розв'язок

Далі пояснення, і в ньому спойлери

Наступні раунди показують, який метод кращий насправді: таблиця, симуляція і пояснення. Спершу відповісти в раунді 1 чи йти далі?

Ви обрали завжди показувати всі раунди.

Раунд 2 · Таблиця 2×2

Зламайте парадокс або створіть свій

Повзунки задають кількість пацієнтів і успіхів у кожній клітинці таблиці. Стовпчики праворуч оновлюються одразу. Спробуйте зробити так, щоб парадокс зник, або оберіть інший приклад.

Раунд 3 · Симуляція

Як часто трапляється парадокс?

Комп'ютер генерує тисячі випадкових таблиць 2×2 і рахує частку тих, де один метод кращий в обох групах, а інший кращий загалом. Відповідь залежить від того, як саме генерувати таблиці, тож тут два різні генератори.

еталонне значення для генератора симуляція: частка після кожної порції таблиць

Частка таблиць з парадоксом (симуляція)
–
Еталон
–
Остання знайдена таблиця з парадоксом

Загальний відсоток рухається між двома груповими

Кожна лінія показує, яким був би загальний відсоток методу за різної частки пацієнтів з малими каменями. Лінія A всюди вища за лінію B. Але кожен загальний відсоток стоїть у своєму місці на своїй лінії: в A мало легких пацієнтів, у B багато.

метод A метод B
A загалом
–
B загалом
–

Після вашої відповіді тут з'явиться код симуляції, який можна запустити в себе.

Перевірте самі в коді

Та сама симуляція коротко і без бібліотек. JavaScript запускається в консолі браузера (F12) або в Node, Python потребує лише стандартної бібліотеки.

JavaScript
// Випадкові таблиці 2×2: усіх пацієнтів ділимо між 8 клітинками (група × метод × успіх чи ні) рівномірно випадково.
// Рахуємо частку таблиць, де один метод кращий в обох групах, а інший загалом.
const TABLES = 1000000;

function table() {
  const e = [];
  for (let i = 0; i < 8; i++) e.push(-Math.log(1 - Math.random()));  // нормовані експоненти дають рівномірні частки
  // [успіхи, пацієнти] для A і B у групах 1 і 2; загальна сума не важлива
  return [[[e[0], e[0] + e[1]], [e[2], e[2] + e[3]]], [[e[4], e[4] + e[5]], [e[6], e[6] + e[7]]]];
}

let hits = 0;
for (let i = 0; i < TABLES; i++) {
  const [[A1, B1], [A2, B2]] = table();
  const a1 = A1[0] / A1[1], b1 = B1[0] / B1[1], a2 = A2[0] / A2[1], b2 = B2[0] / B2[1];
  const A = (A1[0] + A2[0]) / (A1[1] + A2[1]), B = (B1[0] + B2[0]) / (B1[1] + B2[1]);  // загалом: зважене середнє груп
  if ((a1 > b1 && a2 > b2 && A < B) || (a1 < b1 && a2 < b2 && A > B)) hits++;
}
console.log(`Таблиць з парадоксом: ${(100 * hits / TABLES).toFixed(2)}%`);
console.log(`Точно (Pavlides і Perlman, 2009): 1/60 = ${(100 / 60).toFixed(2)}%`);
Python
# Випадкові таблиці 2×2: усіх пацієнтів ділимо між 8 клітинками (група × метод × успіх чи ні) рівномірно випадково.
# Рахуємо частку таблиць, де один метод кращий в обох групах, а інший загалом.
import random

TABLES = 1_000_000

hits = 0
for _ in range(TABLES):
    e = [random.expovariate(1) for _ in range(8)]   # нормовані експоненти дають рівномірні частки
    a1, b1 = e[0] / (e[0] + e[1]), e[2] / (e[2] + e[3])   # група 1: частка успіхів у A і B
    a2, b2 = e[4] / (e[4] + e[5]), e[6] / (e[6] + e[7])   # група 2
    A = (e[0] + e[4]) / (e[0] + e[1] + e[4] + e[5])      # загалом: зважене середнє груп
    B = (e[2] + e[6]) / (e[2] + e[3] + e[6] + e[7])
    if (a1 > b1 and a2 > b2 and A < B) or (a1 < b1 and a2 < b2 and A > B):
        hits += 1

print(f"Таблиць з парадоксом: {100 * hits / TABLES:.2f}%")
print(f"Точно (Pavlides і Perlman, 2009): 1/60 = {100 / 60:.2f}%")
Раунд 4 · П'ять пояснень

Чому загальне число бреше

Ключ у тому, що методи лікували різних пацієнтів. Ось п'ять способів це побачити.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Зважене середнє

Загальний відсоток це суміш групових

У методу A лише 25% пацієнтів мали малі камені, тому його загальний результат близький до 73% для великих. У методу B таких пацієнтів 77%, і його результат близький до 87% для малих. Різні ваги перекривають перевагу A.

Конфаундер

Розмір каменя керує і вибором, і результатом

Розмір каменя Метод (A чи B) Результат великі частіше → A великі важче лікувати ефект, який шукаємо Поділ на групи перекриває пурпуровий шлях

Загальне порівняння змішує два ефекти: справжню різницю між методами і те, що A частіше отримували важчі пацієнти. Коли ми порівнюємо методи всередині групи з однаковим розміром каменя, другий ефект зникає.

Якому числу вірити

Залежить від питання, яке ви ставите

Ефект методу для пацієнтаза групамиA кращий: 93% проти 87%, 73% проти 69%
Що сталося з пацієнтами, які отримали методзагаломB: 83%, A: 78%

Самі дані не кажуть, яку таблицю обрати. Це вирішує причинна схема. Тут розмір каменя впливає на вибір методу, тому для рішення «який метод кращий для пацієнта» беремо числа за групами. Але якщо змінна сама є наслідком лікування (наприклад, тиск після прийому ліків), ділити за нею не можна: тоді правильним буде загальне число.

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Вектори

Крутіші стрілки, нижчий фініш

Кожна група це стрілка: вправо на кількість пацієнтів, угору на кількість успіхів. Нахил стрілки дорівнює відсотку успіху. Обидві стрілки A крутіші за відповідні стрілки B. Але A має коротку круту стрілку і довгу пологу, а B навпаки. Тому шлях B, складений зі стрілок, закінчується вище. Щоб нахили було видно, графік віднімає від успіхів 70% пацієнтів: стрілка з успіхом 70% була б горизонтальною.

Для тих, хто любить формули

Формула повної ймовірності і стандартизація

Рядки A і B показують, що загальний відсоток є зваженим групових, і ваги в кожного методу свої. Останній рядок бере для обох методів одну й ту саму суміш пацієнтів, як у всій вибірці (357 малих і 343 великих). Тоді порівняння чесне, і A перемагає. Парадокс можливий лише тоді, коли методи мають різний склад пацієнтів.

Раунд 5 · Ускладнюємо

Бейсбол, точки на графіку і багато груп

Парадокс Сімпсона трапляється не лише в медицині. Ось три сюжети: спортивна статистика, тренд на графіку і випадок, коли груп більше двох. Справжні дані Берклі та COVID-19 чекають у наступному розділі.

Дерек Джітер проти Девіда Джастіса

Середній відсоток відбиття (batting average): кількість хітів, поділена на кількість спроб.

Джастіс кращий і в 1995, і в 1996 році, а за два роки разом кращий Джітер. Причина та сама: у 1995 році Джітер мав лише 48 спроб, а свій кращий рік, 1996-й, провів з 582 спробами. У Джастіса навпаки.

Без таблиць: точки на графіку

Тренд перевертається так само

Парадокс буває не лише з відсотками. Тут вигадані дані: 60 людей, години спорту на тиждень і рівень холестерину. Старші люди і тренуються більше, і холестерин мають вищий через вік.

Вік тут робить те саме, що розмір каменя: впливає і на «лікування» (скільки спорту), і на результат.

Три групи і більше

Тут A має однакову перевагу над B у кожній групі. Групи йдуть від легкої до важкої, і A отримує більше важких пацієнтів, а B більше легких. Близько 2 000 пацієнтів на метод. Змінюйте кількість груп і перевагу A.

Родич цього парадоксу: феномен Вілла Роджерса, де одна людина, перейшовши з групи в групу, підвищує середнє в обох.

Реальні дані

Реальні дані і ви

Спершу перевірте на своїх числах, чи є там парадокс. Потім два справжні випадки, де він потрапив у газети: прийом до університету і смертність від COVID-19.

Перевірте на собі

Два магазини за два місяці: скільки було відвідувачів і скільки з них купили. Замість них можна взяти дві реклами за два тижні чи двох менеджерів з двома типами клієнтів. Тут стоять числа для прикладу, впишіть свої.

Берклі, 1973: шість найбільших факультетів

Прийнято / подано заяв. Жирним виділено, кого приймали частіше. Факультети названо літерами, як у статті.

Джерело: Bickel, Hammel, O'Connell, Science 187 (1975) 398–404; ті самі числа є в наборі даних UCBAdmissions (R).

COVID-19: Італія проти Китаю

Частка померлих серед підтверджених випадків за віком, на початку пандемії.

Італія, 9 березня 2020Китай, 17 лютого 2020
Китай, усі віки
Італія, усі віки

Джерело: von Kügelgen, Gresele, Schölkopf, «Simpson's paradox in Covid-19 case fatality rates», arXiv:2005.07180, таблиця III; дані Istituto Superiore di Sanità і China CDC.

Бонус · У роботі

Де це трапляється в роботі

Реальні ситуації з маркетингу, аналітики, продукту й бізнесу, де працює та сама математика. Лише відомі дані, дослідження і прості розрахунки, які можна перевірити.

Продукт-аналітика

A/B-тест, у якому змінили частку трафіку

Ситуація
Новий варіант запускають обережно: першого дня на нього йде 1 % трафіку, потім 50 %. А дні тижня конвертують по-різному.
Де пастка
Варіант може виграти кожного дня окремо і програти в сумі за весь тест, бо більшість його відвідувачів припала на «слабкі» дні. Команда експериментів Microsoft описала це як одну із семи типових пасток онлайн-експериментів.
Як врахувати
Не зводьте в одну таблицю дні з різною часткою трафіку. Рахуйте ефект окремо для кожного періоду з однаковим розподілом і зважуйте, або аналізуйте лише період після останньої зміни частки.

Джерело: Crook, Frasca, Kohavi, Longbotham, «Seven Pitfalls to Avoid when Running Controlled Experiments on the Web», KDD 2009.

Performance-маркетинг

Кожна країна дешевшає, а загальний CPA росте

Ситуація
Бюджет 10 000 $ на тиждень. Спершу 8000 $ ідуть у країну A з CPA 10 $ і 2000 $ у дорожчу країну B з CPA 40 $. Наступного тижня команда виходить на ринок B: 4000 $ в A, 6000 $ у B, і обидві кампанії оптимізовано на 10 %: CPA 9 $ і 36 $.
Де пастка
Загальний CPA зріс з 11,8 $ до 16,4 $, тобто на 39 %, хоча в кожній країні він упав. Хто дивиться лише на загальну цифру, вирішить, що оптимізація зашкодила.
Як врахувати
Коли змінюється розподіл бюджету між каналами, країнами чи пристроями, дивіться метрики всередині кожного сегмента і окремо ефект зміни розподілу. Загальний CPA відповідає на питання про суміш, а не про якість кампаній.
Аналітика

Медіана росте, а в кожній групі падає

Ситуація
Журналіст New York Times Флойд Норріс у 2013 році помітив: з 2000 року медіанна реальна зарплата в США трохи виросла, приблизно на 1 %, а в кожній освітній групі, від тих, хто не закінчив школу, до випускників університетів, вона впала.
Де пастка
Середнє зросло через склад, а не через зарплати: частка людей з вищою освітою, які заробляють більше, за ці роки збільшилася. Те саме буває з середнім чеком, ARPU чи конверсією, коли змінюється суміш клієнтів.
Як врахувати
Перш ніж пояснювати зміну загальної метрики, розкладіть її на дві частини: що змінилося всередині сегментів і як змінилися частки сегментів.

Джерело: Floyd Norris, «Can Every Group Be Worse Than Average? Yes.», The New York Times, 2013.

Бонус · Цікаві факти

Що розповісти друзям

1951

Названо на честь Сімпсона

Британський статистик Едвард Г. Сімпсон описав цей ефект у статті 1951 року про таблиці спряженості. Назву «парадокс Сімпсона» запропонував Колін Блайт у 1972 році.

1899 · 1903

Сімпсон був не першим

Схожі ефекти раніше описали Карл Пірсон (1899) і Джордж Удні Юл (1903). Тому парадокс іноді називають ефектом Юла–Сімпсона.

1973

Справа Берклі

Дані про прийом до аспірантури Каліфорнійського університету в Берклі за 1973 рік стали хрестоматійним прикладом. Статтю Бікела, Гаммела й О'Коннелла про них опублікував журнал Science у 1975 році.

700

Камені в нирках

Приклад з 700 пацієнтами взято з дослідження Чарига та колег, опублікованого в British Medical Journal у 1986 році. Тепер це класична ілюстрація парадоксу в підручниках і курсах статистики.

.310

Джітер і Джастіс

Девід Джастіс мав кращий відсоток відбиття, ніж Дерек Джітер, і в 1995, і в 1996 році. За два сезони разом у Джітера 0,310, а в Джастіса лише 0,270.

2018

«Книга чому»

Парадокс Сімпсона є стандартним прикладом у причинному висновуванні. Джудеа Перл докладно розбирає його в «Книзі чому» (2018), написаній разом з Даною Маккензі: щоб обрати правильну таблицю, потрібна причинна схема.

Мистецтво статистики. Прийняття аргументованих рішень на основі даних

Девід Шпіґельгалтер

КМ-Букс, 2023 · розділ 4

The Book of Why

Джудея Перл, Дана Маккензі

2018, англійською · розділ 6

Dark Data

Девід Генд

2020, англійською · розділ 3

Усі книжки →
Обговорення

Що ви думаєте?

Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.

Рівень «Шкільна математика» відповідає задачі?

Дякуємо! Це допоможе точніше ставити рівні.

Розсилка

Нові задачі, пояснення й обговорення

Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.

Форма підписки з'явиться тут найближчим часом.