Названо на честь Сімпсона
Британський статистик Едвард Г. Сімпсон описав цей ефект у статті 1951 року про таблиці спряженості. Назву «парадокс Сімпсона» запропонував Колін Блайт у 1972 році.
Метод A лікує і малі, і великі камені в нирках краще за метод B. Але якщо скласти всіх пацієнтів разом, B виходить кращим. Обидва висновки зроблено з тих самих чисел. Розберімося, як так виходить і якому числу вірити.
Частка успішного лікування, дані Charig et al., 1986. Рожевим позначено переможця в кожному рядку.
Парадокс Сімпсона виникає, коли тенденція в кожній групі даних змінюється на протилежну після об'єднання груп. Класичний приклад узято з британського дослідження 1986 року про лікування каменів у нирках.
Метод A: відкрита операція. Метод B: черезшкірна операція через невеликий прокол. Кожен метод отримали 350 пацієнтів.
Метод A успішний у 273 з 350 випадків (78%), метод B у 289 з 350 (83%). На перший погляд B кращий.
Тепер поділимо пацієнтів на дві групи: з малими і з великими каменями. Для малих каменів A дає 93%, B 87%. Для великих A дає 73%, B 69%.
Як A може бути кращим у кожній групі і гіршим загалом? І який метод ви порадили б пацієнтові, якщо знаєте розмір його каменя?
«Якщо A краще для малих і для великих каменів, то воно краще й для всіх разом»
Це здається очевидним, але не є правилом арифметики. Загальний відсоток залежить ще й від того, скільки пацієнтів кожного типу отримав метод. Метод A отримав переважно складні випадки.
Розмір каменя впливає і на вибір методу, і на результат. Таку змінну називають конфаундером, або змішувальним чинником. Детальніше в раунді 4.
Уявіть, що ви ще не читали умову і бачите лише загальні результати. Оберіть метод, а потім подивіться на розбивку за розміром каменя.
Натисніть на картку методу, який обрали б.
Повзунки задають кількість пацієнтів і успіхів у кожній клітинці таблиці. Стовпчики праворуч оновлюються одразу. Спробуйте зробити так, щоб парадокс зник, або оберіть інший приклад.
Комп'ютер генерує тисячі випадкових таблиць 2×2 і рахує частку тих, де один метод кращий в обох групах, а інший кращий загалом. Відповідь залежить від того, як саме генерувати таблиці, тож тут два різні генератори.
Кожна лінія показує, яким був би загальний відсоток методу при різній частці пацієнтів з малими каменями. Лінія A всюди вища за лінію B. Але загальні відсотки є точками на різних місцях своїх ліній: A має мало легких пацієнтів, B має багато.
Ключ у тому, що методи лікували різних пацієнтів. Ось п'ять способів це побачити.
У методу A лише 25% пацієнтів мали малі камені, тому його загальний результат близький до 73% для великих. У методу B таких пацієнтів 77%, і його результат близький до 87% для малих. Різні ваги перекривають перевагу A.
Загальне порівняння змішує два ефекти: справжню різницю між методами і те, що A частіше отримували важчі пацієнти. Коли ми порівнюємо методи всередині групи з однаковим розміром каменя, другий ефект зникає.
Кожна група є стрілкою: вправо на кількість пацієнтів, угору на кількість успіхів. Нахил стрілки дорівнює відсотку успіху. Обидві стрілки A крутіші за відповідні стрілки B. Але A має коротку круту стрілку і довгу пологу, а B навпаки. Тому шлях B, складений зі стрілок, закінчується вище. Щоб нахили було видно, графік віднімає від успіхів 70% пацієнтів: стрілка з успіхом 70% була б горизонтальною.
Дані не кажуть самі, яку таблицю обрати. Це вирішує причинна схема. Тут розмір каменя впливає на вибір методу, тому для рішення «який метод краще для пацієнта» беремо числа за групами. Але якщо змінна сама є наслідком лікування (наприклад, тиск після прийому ліків), ділити за нею не можна: тоді правильним буде загальне число.
Перші два рядки показують, що загальний відсоток є зваженим середнім групових, і ваги в кожного методу свої. Останні два рядки беруть для обох методів одну й ту саму суміш пацієнтів, як у всій вибірці (357 малих і 343 великих). Тоді порівняння чесне, і A перемагає. Парадокс можливий лише тоді, коли склад груп у методів різний.
Парадокс Сімпсона трапляється не лише в медицині. Ось три відомі сюжети: спортивна статистика, приймальна кампанія і випадок, коли груп більше двох.
Середній відсоток відбиття (batting average): кількість хітів, поділена на кількість спроб.
Джастіс кращий і в 1995, і в 1996 році, а за два роки разом кращий Джітер. Причина та сама: у 1995 році Джітер мав лише 48 спроб, а свій найкращий рік, 1996-й, провів з 582 спробами. У Джастіса навпаки.
Загальні цифри виглядали як упередження проти жінок. Статистики Бікел, Гаммел і О'Коннелл у 1975 році розібрали дані окремо за факультетами. Упередження проти жінок там не знайшлося, а в кількох факультетах була невелика перевага на користь жінок.
Жінки частіше подавалися на факультети з великим конкурсом, де відмовляли більшості кандидатів незалежно від статі. Чоловіки частіше подавалися туди, де приймали багатьох. Роль розміру каменя тут грає вибір факультету.
Дослідження показало, як дані розподілені, а не чому жінки обирали саме ці факультети. Це окреме питання.
Тут A має однакову перевагу над B у кожній групі. Групи йдуть від легкої до важкої, і A отримує більше важких пацієнтів, а B більше легких. По 2 000 пацієнтів на метод. Змінюйте кількість груп і перевагу A.
Британський статистик Едвард Г. Сімпсон описав цей ефект у статті 1951 року про таблиці спряженості. Назву «парадокс Сімпсона» запропонував Колін Блайт у 1972 році.
Схожі ефекти раніше описали Карл Пірсон (1899) і Джордж Удні Юл (1903). Тому парадокс іноді називають ефектом Юла — Сімпсона.
Дані про прийом до аспірантури Каліфорнійського університету в Берклі за 1973 рік стали хрестоматійним прикладом. Статтю Бікела, Гаммела й О'Коннелла про них опублікував журнал Science у 1975 році.
Приклад з 700 пацієнтами взято з дослідження Чарига та колег, опублікованого в British Medical Journal у 1986 році. Тепер це класична ілюстрація парадоксу в підручниках і курсах статистики.
Девід Джастіс мав кращий відсоток відбиття, ніж Дерек Джітер, і в 1995, і в 1996 році. За два сезони разом у Джітера 0,310, а в Джастіса лише 0,270.
Парадокс Сімпсона є стандартним прикладом у причинному висновуванні. Джудеа Перл докладно розбирає його в «Книзі чому» (2018), написаній разом з Даною Маккензі: щоб обрати правильну таблицю, потрібна причинна схема.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.