У місті вродливі люди в середньому ані добріші, ані злостивіші за інших. Ви погоджуєтеся на побачення лише тоді, коли врода і доброта разом дотягують до вашої планки. Чи будуть пов'язані врода і доброта серед тих, з ким ви зустрічаєтеся? Зафіксуйте відповідь, а потім перевірте її в грі, на симуляції і через п'ять пояснень.
Серед ваших побачень вродливіші люди помітно менш добрі, хоча в місті зв'язку немає. Щоб пройти планку, невродливій людині треба бути дуже доброю, а дуже вродливій можна й не бути. Тож відбір за сумою двох рис робить їх «ворогами». Перевірте це в грі, на симуляції і через п'ять пояснень.
Цю історію розповідає математик Джордан Елленберг, а явище описав біостатистик Джозеф Берксон у 1946 році на прикладі лікарняних даних. Спершу модель, потім питання.
Цю історію розповідає математик Джордан Елленберг, а явище описав біостатистик Джозеф Берксон у 1946 році на прикладі лікарняних даних. Парадокс у тому, що зв'язок, який ви бачите, справжній у ваших даних, але його створив сам відбір.
Кожна людина має дві риси: вроду і доброту. Обидві розподілені як звичайні оцінки: більшість посередині, крайнощів мало.
У місті ці риси незалежні. Знаючи, наскільки людина вродлива, ви нічого не дізнаєтеся про її доброту. Кореляція дорівнює нулю.
Ви погоджуєтеся на побачення, лише коли сума вроди й доброти досить велика. Через планку проходять 30% людей міста. Дуже вродлива людина може бути не надто доброю, а дуже добра не надто вродливою.
Яка кореляція між вродою і добротою серед людей, з якими ви ходите на побачення?
«Риси незалежні, тож і серед побачень зв'язку не буде»
Насправді кореляція серед ваших побачень дорівнює −0,58. Планка відрізає людей, у яких обидві риси невисокі. Серед тих, хто лишився, низька врода майже завжди означає високу доброту, і навпаки.
Обидві риси в моделі мають нормальний розподіл з однаковим розкидом. Планку і правило відбору ви зможете змінювати в раундах 2 і 5.
У місті кореляція вроди й доброти дорівнює нулю. Ви ходите на побачення лише з 30% людей, у яких сума вроди й доброти найбільша. Яка кореляція між вродою і добротою серед них?
Оберіть відповідь. Тут з'явиться симуляція міста з 5 000 людей і ваших побачень.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Подумайте, хто саме потрапляє у ваш список побачень. Якою має бути людина, яка зовсім не вродлива, щоб усе одно пройти планку?
Планка стоїть на сумі двох рис. Низьку оцінку за одну рису мусить компенсувати висока оцінка за іншу. Що відбувається з добротою серед тих, хто пройшов, коли врода спадає?
Уявіть, що кожна риса оцінюється від 0 до 10, а пройти можна лише із сумою від 18. Якою буде доброта людини з вродою 8? А людини з вродою 10?
Кожна точка означає людину з міста: по горизонталі врода, по вертикалі доброта. Перетягніть пунктирну планку на графіку або скористайтеся повзунком. Точки над планкою ваші побачення. Стежте, як змінюється кореляція серед них, коли ви стаєте вибагливішими.
| Ваші побачення, поділені за вродою | Середня доброта |
|---|
Доброта показана в стандартних відхиленнях від середнього по місту: 0 означає типову людину, +1 добрішу за 84% містян. На графіку всього 400 людей, тож кореляція в грі трохи стрибає. Теоретичне значення стоїть поруч.
Ми генеруємо місто зі 100 000 людей, сортуємо їх за сумою вроди й доброти і рахуємо кореляцію серед верхніх 70%, 50%, 30% і так далі до 1%. Лінія показує точне значення з формули раунду 4, точки показують симуляцію. Що вища планка, то ближче кореляція до −1.
Точна кореляція для різних планок:
Ключ у тому, що відбір залежить від обох рис одночасно. Ось п'ять способів це побачити. Числа в перших двох картках беруться із симуляції раунду 3 для планки 30%.
Хмара точок у місті кругла. Планка відрізає від неї нижній лівий шматок, і лишається смуга вздовж діагоналі, що йде згори ліворуч донизу праворуч. Невродлива людина потрапляє у ваш список, лише якщо вона дуже добра. Тому в цьому списку низька врода майже завжди йде разом із високою добротою.
Людина вже пройшла планку, тож якось вона це зробила. Якщо вона не надто вродлива, «причиною» має бути доброта. Якщо вона приголомшливо вродлива, планку пояснює врода, і доброта може бути будь-якою. Статистики називають це «поясненням через інше» (explaining away). Значення в стандартних відхиленнях: 0 означає типового містянина.
| У місті | Госпіталізовано | З них з B | |
|---|---|---|---|
| Мають A | 1 000 | 525 | 14,3% |
| Не мають A | 9 000 | 1 260 | 35,7% |
Місто з 10 000 людей. Хвороба A (скажімо, діабет) є в 10%, хвороба B (запалення жовчного міхура) теж у 10%, незалежно від A. Хто не має жодної, потрапляє в лікарню з інших причин з імовірністю 10%, з однією хворобою 50%, з обома 75%. У місті B має кожен десятий і з A, і без A. У лікарні хворі на A мають B у два з половиною рази рідше, ніж решта пацієнтів.
Стрілки ведуть від обох рис до побачення: це «колайдер», точка, де зіштовхуються дві причини. Поки ви дивитеся на все місто, шлях між вродою і добротою через колайдер закритий. Щойно ви обмежуєтеся лише тими, з ким ходите на побачення, шлях відкривається (пунктир), і з'являється зв'язок без жодної причини.
Якщо відбирати лише за вродою, кореляція лишиться нульовою: доброту ніхто не перевіряв. Якщо вимагати, щоб обидві риси окремо були вище середнього («і те, і те»), вона теж лишиться нульовою для незалежних рис. Від'ємний зв'язок з'являється, коли одна риса може компенсувати іншу: сума вище планки або «хоча б одне з двох».
У раунді 5 є лабораторія, де можна змінювати правило відбору і перевірити це самому.
Врода X і доброта Y незалежні, стандартні нормальні. Ви відбираєте людей із сумою S вище планки c. Різниця D не залежить від S, бо їхня коваріація дорівнює Var X − Var Y = 0.
Оскільки X = (S + D)/2 і Y = (S − D)/2, відбір стискає розкид S, а розкид D не чіпає. Позначимо v розкид S серед відібраних.
Розкид хвоста нормального розподілу: тут a є планкою в стандартних відхиленнях S, φ і Φ є щільністю і функцією розподілу стандартного нормального закону.
Планка 30%: a = Φ⁻¹(0,7).
Лікарняна таблиця з картки вище: частка хворих на B серед пацієнтів з A і без A.
Що вища планка, то менший розкид суми серед відібраних, то ближче v до нуля і r до −1. Без планки v = 2 і r = 0. Якщо риси в місті мають кореляцію ρ, формула стає r = ((1 + ρ)w − (1 − ρ)) / ((1 + ρ)w + (1 − ρ)), де w = 1 + aλ − λ²: достатньо висока планка робить від'ємною навіть додатну кореляцію.
Від побачень до загальної картини у три кроки: спершу математика (які правила відбору створюють зв'язок і наскільки сильний), потім логіка (чому спільний наслідок зв'язує причини), а потім реальні дослідження, де це вже траплялося.
| Схема | Без відбору за C | Відбір або поділ за C |
|---|---|---|
| A → C → B | зв'язок є | зв'язок зникає |
| A ← C → B | зв'язок є | зв'язок зникає |
| A → C ← B | зв'язку немає | зв'язок з'являється |
Джуда Перл у «Книзі чому» зводить усі такі історії до трьох схем. У ланцюжку і «розвилці» (спільна причина, як розмір каменя в парадоксі Сімпсона) поділ за C прибирає зайвий зв'язок, і так роблять правильно. У колайдері все навпаки: поділ за спільним наслідком зв'язок створює. Тому порада «врахуйте всі змінні» небезпечна: врахувати колайдер означає зіпсувати аналіз.
Акумулятор розряджений з імовірністю 10%, бак порожній теж з імовірністю 10%, незалежно. Машина не заводиться, якщо сталося хоча б одне.
| Акумулятор розряджений, нічого не знаємо | 10% |
| … машина не заводиться | 52,6% |
| … не заводиться, і бак порожній | 10% |
| … не заводиться, а бак повний | 100% |
Порожній бак «пояснює» поломку, і підозра з акумулятора знімається. Бак і акумулятор незалежні, але серед машин, що не заводяться, вони пов'язані. Це той самий механізм, що й у ваших побаченнях.
Параметри моделі умовні: вони показують механізм, а не числа з досліджень.
Джозеф Берксон із клініки Мейо опублікував статтю «Обмеження аналізу чотирипільних таблиць для лікарняних даних» у Biometrics Bulletin у червні 1946 року. Він показав, що дві хвороби можуть виглядати пов'язаними серед пацієнтів лише через те, що кожна з них веде до лікарні. Його приклад: діабет і запалення жовчного міхура.
Берксон 30 років, з 1934 до 1964, очолював відділ біометрії та медичної статистики клініки Мейо. У 1944 році він запропонував логіт-модель і саме слово «логіт». Сьогодні на ній тримається логістична регресія, один із найпоширеніших методів статистики і машинного навчання.
Берксон добре знав, як відбір пацієнтів спотворює висновки, і довго сумнівався, що куріння спричиняє рак легень. Навіть після доповіді головного лікаря США 1964 року журнал Life цитував його: дуже сумнівно, що куріння викликає рак легень. Сьогодні цей зв'язок вважають доведеним.
Так називається есей математика Джордана Елленберга, а та сама історія є в його книжці «Як не помилятися» (2014). Він малює «великий квадрат» чоловіків за добротою і вродою і показує, що серед тих, з ким героїня ходить на побачення, вродливі виявляються менш приємними без жодної справжньої причини.
Серед немовлят із малою вагою діти матерів, які курять, помирають рідше, ніж діти матерів, які не курять. Сонія Ернандес-Діас, Енріке Шистерман і Мігель Ернан у 2006 році пояснили це відбором за колайдером: малу вагу спричиняє або куріння, або інші, часто небезпечніші, причини. Куріння шкодить дітям за будь-якої ваги.
На початку пандемії деякі дослідження госпіталізованих пацієнтів знаходили серед них підозріло мало курців, і з'явилися заголовки про те, що куріння захищає від COVID-19. Гарет Гріффіт, Гібран Хемані та співавтори в Nature Communications (2020) показали, як такі висновки може породжувати відбір учасників.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Без формул» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.