Тест чесний: велика вибірка, один погляд на результат, поріг «значущості» p < 0,05. Загалом різниці немає. Але потім результат ріжуть на 20 країн і перевіряють кожну окремо. Який шанс, що хоча б одна країна покаже «значущу» різницю? Зафіксуйте відповідь, а потім спробуйте самі знайти переможця на дашборді.
Кожна перевірка має 5% шансу на фальшиву тривогу. Двадцять перевірок дають 1 − 0,95²⁰ = 64% шансу, що хоча б одна країна «загориться», хоча лист B нічим не відрізняється від A. Що більше розрізів, метрик і варіантів, то певніше знайдеться випадковий «переможець». Нижче гра, симуляція і способи захиститися.
Це третя сторінка серії про A/B-тести. Перша, A/A-тест, показує, як шум створює «переможців» в одному тесті. Друга, підглядання, показує, що буває, коли той самий тест перевіряють щодня. Тут тест один і чесний, але його результат розглядають з багатьох боків.
Маркетолог тестує новий шаблон листа B проти старого A. Кожен підписник випадково отримує один із двох. Ми знаємо те, чого не знає маркетолог: B рівно такий самий, як A. Справжньої різниці немає ніде, ні в якій країні.
Вибірка велика, розмір визначено заздалегідь, результат дивляться один раз, у кінці. Загальний результат чесно каже: різниці немає.
Тоді аналітик розбиває результат на 20 країн. Аудиторії країн не перетинаються, тож 20 порівнянь незалежні. Кожне перевіряють звичайним тестом із порогом p < 0,05, тим самим, що стоїть за написом «значуще, довіра 95%» на дашборді.
Який шанс, що хоча б в одній країні B «значуще» виграє або програє?
«5%: ми ж налаштували тест на 95% довіри»
Насправді 64%. Довіра 95% захищає одну перевірку. Кожна з 20 країн отримує свої 5% на фальшиву тривогу, і шанс, що всі 20 промовчать, дорівнює 0,95²⁰ ≈ 36%.
B не відрізняється від A. 20 незалежних країн, у кожній тест із порогом p < 0,05. Який шанс, що хоча б одна країна покаже «значущий» результат?
Тут з'явиться розбір вашої оцінки і 1 000 змодельованих кампаній.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Поріг p < 0,05 означає, що навіть коли різниці немає, одна перевірка з 20 у середньому скаже «значуще». Скільки таких фальшивих тривог чекати від 20 перевірок?
Простіше порахувати протилежне: який шанс, що жодна з 20 країн не «загориться»? Для однієї країни це 0,95.
Країни незалежні, тож шанси мовчання перемножуються: 0,95 × 0,95 × … двадцять разів. Відніміть результат від 1.
Перед вами дашборд реальної на вигляд кампанії: 40 000 підписників, половина отримала A, половина B. Загальний результат нейтральний, а керівник хоче почути, де новий лист спрацював. Ріжте дані як завгодно: країна, пристрій, нові чи давні підписники, день відправки, джерело підписки, і три метрики. Кожен новий розріз додає рядок у звіт. Ваше завдання: знайти, де B «значуще» виграє.
Зміна показана відносно A: +20% означає, що в B метрика у 1,2 раза вища. Смужка охоплює зміни від −60% до +60%, біля нуля шкала розтягнута. Розрізи, де разом менше 10 подій, тест не рахує: там замало даних.
Комп'ютер проводить тисячі A/A-кампаній: B завжди дорівнює A. Спершу рахуємо, як шанс фальшивого переможця росте з кількістю розрізів k. Лінії показують точну формулу, точки симуляцію. Потім дивимося на самі p-значення, а наостанок на випадок, коли метрики пов'язані між собою.
Поправка Бонферроні ділить поріг на кількість перевірок. Метод Бенджаміні–Гохберга поблажливіший, коли справжні ефекти є, але коли їх немає зовсім, теж тримає шанс фальшивого переможця на 5%. Обидва пояснено в раунді 4.
Відкриття, кліки й покупки пов'язані: хто не відкрив лист, той не клікне. Метрики, які рухаються разом, частіше разом мовчать і разом «загоряються», тож шанс хоча б одного фальшивого переможця нижчий за 64%. Але навіть за сильної кореляції 0,7 він майже вшестеро більший за обіцяні 5%. Модель: 20 тестових статистик зі спільною кореляцією ρ.
Кожен розріз дає шуму ще одну нагоду «виграти». Спершу на пальцях, потім таблиці, поправки і формули, наостанок теорія.
Шар «На пальцях» приховано на всіх задачах.
Уявіть, що кожна перевірка є квитком, який із шансом 1 до 20 дає фальшивий «виграш». Один квиток майже ніколи не виграє. Двадцять квитків у середньому дають рівно один виграш. Шанс, що не виграє жоден, дорівнює 0,95 × 0,95 × … двадцять разів, тобто 0,95²⁰ ≈ 36%. Отже, хоча б один фальшивий переможець буде у 64% випадків.
Це спрощення: квитки тут незалежні, як країни в нашій умові. Розрізи, що перетинаються, і пов'язані метрики поводяться трохи інакше, раунд 3 це показав, але суть та сама.
Квитки купують не лише країнами. 5 країн × 2 пристрої × 3 метрики × 2 періоди («перший тиждень» і «весь місяць») уже 60 поглядів. Якби вони були незалежні, шанс хоча б одного фальшивого переможця сягнув би 95%. Варіанти теж рахуються: тест A/B/C/D порівнює з контролем три листи, а не один.
Кожен такий погляд коштує один клік у звіті. Тому їх роблять сотнями, навіть не помічаючи, що кожен купує ще один квиток.
Щойно сегмент «загорівся», пояснення з'являється саме: «у Польщі люблять мінімалізм», «давні підписники цінують новий дизайн», «на вихідних читають уважніше». Історія звучить переконливо, бо її підібрали під результат. Якби загорілася Іспанія, знайшлася б історія про Іспанію.
Так народжуються фальшиві інсайти: спершу шум, потім історія, потім рішення для всієї бази.
Перед запуском запишіть одну головну метрику (скажімо, кліки) і короткий список сегментів, які справді важливі для рішення. Головну метрику перевіряйте за звичайним порогом. Сегменти або перевіряйте з поправкою на їхню кількість, або вважайте гіпотезами для наступного тесту.
Знахідка, яку не планували, не заборонена. Але вона ще не висновок, а питання: перевірте її на свіжих даних. У грі раунду 2 кнопка «Що було насправді?» дає таку перевірку.
Шар «Строго» приховано на всіх задачах.
| Перевірок k | Хоча б один фальшивий | У середньому фальшивих | Поріг Бонферроні |
|---|---|---|---|
| 1 | 5,0% | 0,05 | 0,05 |
| 5 | 22,6% | 0,25 | 0,01 |
| 10 | 40,1% | 0,5 | 0,005 |
| 20 | 64,2% | 1 | 0,0025 |
| 50 | 92,3% | 2,5 | 0,001 |
| 100 | 99,4% | 5 | 0,0005 |
Шанс хоча б одного: 1 − 0,95ᵏ. Середня кількість: k × 0,05, вона росте рівно пропорційно k. З поправкою Бонферроні шанс хоча б одного фальшивого переможця за будь-якого k лишається 4,9–5,0%.
Найпростіша поправка ділить поріг на кількість перевірок: для 20 країн «значущим» вважаємо лише p < 0,05 / 20 = 0,0025. Тоді шанс хоча б одного фальшивого переможця знову близько 5%. Але суворий поріг пропускає і справжні ефекти. Ефект, який звичайний тест помічає з імовірністю 80% (статистична потужність 80%), з поправкою помітний лише в 41% випадків. Щоб повернути 80%, вибірку в кожній країні треба збільшити в 1,9 раза.
Те саме з довірчим інтервалом на дашборді: 95% означає, що з 20 інтервалів у середньому один не накриває справжню зміну. Щоб усі 20 країн разом накривали правду щонайменше з шансом 95%, кожен інтервал треба розширити до 99,75%, тобто приблизно в 1,5 раза: 3,02 замість 1,96 стандартної похибки в кожен бік.
Бонферроні стереже від будь-якої фальшивої знахідки. Це суворо, коли перевірок сотні. Йоав Бенджаміні та Йосеф Гохберг 1995 року запропонували інше: стежити за часткою фальшивих серед знахідок (false discovery rate, FDR), щоб у середньому вона не перевищувала 5%. Правило: відсортуйте p-значення від меншого, і знайдіть останнє, яке лежить під похилою лінією i × 0,05 / k. Воно і всі менші за нього рахуються знахідками.
| Метод | Знахідок | З них хибних |
|---|
k незалежних перевірок, у кожній шанс фальшивої тривоги α. Шанс хоча б однієї (family-wise error rate, FWER) і середня кількість фальшивих V.
Поправка Бонферроні працює і для залежних перевірок, бо шанс об'єднання подій не більший за суму шансів (нерівність Буля). Поправка Шідака точна для незалежних.
Метод Бенджаміні–Гохберга: p₍₁₎ ≤ … ≤ p₍ₖ₎ відсортовані p-значення, q бажана частка фальшивих серед знахідок. Для незалежних тестів частка фальшивих у середньому дорівнює π₀q, де π₀ частка тестів без ефекту.
Ціна Бонферроні для k = 20: ефект, що дає потужність 80% при α = 0,05, має δ = 1,960 + 0,842 = 2,802 стандартної похибки. Поріг 0,0025 означає z = 3,023.
Перший рядок дає 64%. Другий показує, чому Бонферроні можна застосовувати, навіть не знаючи, як пов'язані перевірки: це верхня межа. Третій описує метод Бенджаміні–Гохберга. Останній рахує ціну поправки: шанс помітити справжній ефект падає з 80% до 41%, а для повернення 80% потрібна в 1,9 раза більша вибірка.
Шар «Глибше» приховано на всіх задачах.
Гістограма раунду 3 пласка не випадково. p-значення є часткою «хвоста»: наскільки рідкісний такий розрив серед однакових листів. Якщо ефекту немає, розрив сам взятий з того самого розподілу, тому подія «p ≤ t» трапляється рівно з імовірністю t. Отже, p < 0,05 буває в 5% тестів, p < 0,5 у половині, а p від 0,40 до 0,45 так само часто, як від 0 до 0,05.
Тому множинні перевірки не потребують жодного припущення про дані: k тестів без ефекту дають k рівномірних випадкових чисел, і найменше з них рано чи пізно впаде нижче 0,05.
Ендрю Гелман і Ерік Локен 2013 року назвали так ситуацію, коли аналітик робить один тест, але обирає його, вже побачивши дані. Прибрати «викиди» чи ні, рахувати з першого дня чи з третього, порівнювати кліки чи відкриття, об'єднати Польщу з Чехією чи ні. Кожен вибір розумний, але якби дані були інші, вибір був би інший.
Отже, проведено один тест, але потенційних було багато, і p-значення вже не означає «1 раз на 20». Ліки ті самі: план до даних і перевірка на свіжих даних.
Тест з чотирма новими листами проти одного контрольного A дає 4 порівняння, але не незалежні: усі вони порівнюють з тим самим A. Якщо A випадково вийшов слабким, усі новинки разом виглядають кращими. За однакових груп кореляція між порівняннями дорівнює 0,5. Тоді шанс хоча б одного фальшивого переможця 15,6% замість 18,5% для незалежних, але все одно втричі більший за 5%.
Для цього випадку є точна поправка Чарльза Даннетта (1955): поріг |z| > 2,44, тобто p < 0,0146 для кожного порівняння. Це трохи поблажливіше за Бонферроні (p < 0,0125), бо враховує, що порівняння пов'язані.
Спершу математика полювання на переможця, потім логіка: що буває, коли публікують лише «значуще». Наостанок практика для маркетолога.
Аналітик пробує незалежні розрізи один за одним і зупиняється на першому «значущому». Кожна спроба вдається з імовірністю α. Номер першої вдалої спроби має геометричний розподіл: у середньому 1/α спроб, тобто 20 при α = 0,05. Половина полювань завершується за 14 спроб чи раніше.
Суворіший поріг не рятує від полювання, а лише подовжує його: при α = 0,01 у середньому треба 100 спроб. Дашборд із тисячею можливих розрізів дає їх з запасом. У грі раунду 2 розрізів 1 944, і вони перетинаються, тому полювання там трохи інше, але закінчується так само.
У коміксі xkcd «Significant» (xkcd.com/882) учені перевіряють, чи спричиняють желейні цукерки прищі. Зв'язку немає. Тоді перевіряють 20 кольорів окремо, і для зелених виходить p < 0,05. Заголовок газети: «Зелені желейки пов'язані з прищами! Лише 5% шанс, що це збіг!» Це рівно наша задача.
Тепер уявіть, що 100 лабораторій вивчають ефект, якого немає. Приблизно 5 отримають «значущий» результат і опублікують його, решта покладе свої дані в шухляду. Читач бачить лише 5 статей, і всі вони підтверджують ефект. Ба більше, опубліковані ефекти завжди великі: у середньому 2,34 стандартної похибки від нуля, бо меншим не пройти поріг. Це «прокляття переможця» з першої сторінки серії, помножене на кількість лабораторій.
Те саме відбувається в компанії, коли на щотижневій зустрічі показують лише тести, що «спрацювали».
Скоригований p = min(1, k × p). Він менший за 0,05, лише якщо знахідка пройшла б поріг 0,05 / k.
Підглядання в тест щодня є тими самими множинними перевірками, лише в часі: кожен вечір купує новий квиток. Про це друга сторінка серії. А скільки людей потрібно, щоб один чесний тест щось показав, рахує перша.
Велике дослідження ISIS-2 (The Lancet, 1988, понад 17 000 пацієнтів з інфарктом) показало, що аспірин знижує смертність. Автори навмисно додали розріз за знаком зодіаку: для народжених під Близнюками й Терезами аспірин нібито не допомагав (смертність +9%, незначуще), а для решти знижував її на 28%. Це було попередження, наскільки оманливими бувають підгрупи.
Крейг Беннетт із колегами поклали в томограф мертвого атлантичного лосося і показували йому фото людей у соціальних ситуаціях. Без поправки на множинні перевірки кілька вокселів мозку «реагували». Знімок має десятки тисяч вокселів, і кожен перевіряють окремо. З поправкою активність зникла. 2012 року робота отримала Шнобелівську премію з нейронауки.
Комікс xkcd №882 «Significant» Рендела Манро вийшов 6 квітня 2011 року. Учені перевіряють 20 кольорів желейних цукерок з порогом p < 0,05, і зелені «пов'язані з прищами». Комікс став класичною ілюстрацією множинних перевірок у підручниках і на лекціях зі статистики.
Так назвав свою статтю в PLoS Medicine 2005 року Джон Іоаннідіс. Він показав, що за малих вибірок, малих ефектів, багатьох перевірених гіпотез і гнучкого аналізу більшість «значущих» результатів у галузі можуть бути хибними. За даними Вікіпедії, станом на 2020 рік це найпереглядуваніша стаття в історії видавництва PLOS: понад 3 мільйони переглядів.
Open Science Collaboration повторила 100 досліджень із трьох психологічних журналів (Science, 2015). В оригіналах значущими були 97% результатів, а в повторах лише 36%. Ефекти в повторах вийшли в середньому вдвічі меншими. Це один із найвідоміших епізодів кризи відтворюваності.
Йоав Бенджаміні та Йосеф Гохберг опублікували метод контролю частки фальшивих знахідок у Journal of the Royal Statistical Society, Series B (1995). Сьогодні це одна з найцитованіших статей зі статистики: 2005 року її назвали серед 25 найцитованіших. Метод став стандартом у генетиці, де тестують тисячі генів одночасно.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Поглиблено» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.