Маркетолог запускає тест на 30 днів і щовечора відкриває дашборд. Щойно інструмент показує «впевненість 95%», він зупиняє тест і оголошує переможця. Але сторінки A і B однакові. Яка ймовірність, що за 30 вечорів одна з них все одно «переможе»? Зафіксуйте відповідь, а потім перевірте її в грі, на симуляції і в поясненнях. Наприкінці є чесна відповідь на питання «а що робити, якщо чекати ніколи».
Якщо щовечора дивитися на дашборд і зупинятися на першому «95%», однакові сторінки «перемагають» у 28% тестів, а не в 5%. Кожен погляд дає шумові ще один шанс перетнути лінію. 95% обіцяють лише одну перевірку, заплановану наперед. Перевірте це в грі й на симуляції, а в раунді 5 є сім чесних способів не чекати місяцями, кожен зі своєю ціною.
Це друга сторінка серії про A/B-тести. На першій, «Дві однакові сторінки», видно, як шум сам створює «переможців». Тут той самий шум, але з одною звичкою: дивитися на результат щодня.
Сторінки A і B однакові. Кожен відвідувач купує з імовірністю 5%, хоч на якій сторінці. Справжньої різниці немає.
Кожна сторінка щодня отримує 1 000 нових відвідувачів. Тест заплановано на 30 днів, тобто по 30 000 на сторінку.
Щовечора маркетолог відкриває дашборд. Інструмент рахує стандартний тест для двох конверсій і показує «впевненість». Першого ж вечора, коли вона сягає 95% (p < 0,05), тест зупиняють, а сторінку, що веде, оголошують переможцем. Байдуже, A це чи B.
Яка ймовірність, що за 30 вечорів одну з однакових сторінок оголосять переможцем?
«5%: саме це й означає впевненість 95%»
Насправді 28%. П'ять відсотків стосуються одного погляду, запланованого наперед. Тут поглядів тридцять, і кожен дає шумові новий шанс перетнути лінію.
Модель: двосторонній z-тест для двох часток зі спільною оцінкою конверсії, кількість покупок випадкова (біноміальна). Переможцем може стати будь-яка сторінка.
A/A-тест, 30 вечорів, щовечора перевірка і зупинка на першому «95%». У якій частці таких тестів оголосять переможця?
Тут з'явиться розбір вашої оцінки.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Якщо купувати по одному лотерейному квитку щодня протягом місяця, чи лишиться шанс виграти таким самим, як з одним квитком?
Кожного вечора окремо шанс побачити фальшиві «95%» дорівнює 5%. Але вечори не незалежні: дані 20-го дня на 95% ті самі, що й 19-го.
Тож відповідь лежить між 5% і 1 − 0,95³⁰ = 79%. До якого краю вона ближча, якщо пізні вечори майже не додають нових даних?
Комп'ютер навмання вирішує: або сторінки однакові, або B справді краща на 10% (5,5% замість 5%). Ви не знаєте, що саме. Гортайте вечори і зупиніть тест, коли вирішите, що переможець є. Потім перемкніться на чесного маркетолога, який дивиться лише на 30-й день, і порівняйте рахунки.
| Відвідувачі | Покупки | Конверсія |
|---|
«Фальшивий переможець» означає, що ви оголосили переможця, хоча сторінки були однакові. «Справжній ефект знайдено» означає, що B справді краща і ви оголосили переможцем саме B.
Ми проганяємо тисячі A/A-тестів на ті самі 30 000 відвідувачів на сторінку і змінюємо лише те, як часто на них дивляться: один раз, двічі, щовечора, щогодини або після кожного відвідувача. Лінія показує точний розрахунок, точки показують симуляцію з випадковими покупками.
Спершу зафіксуйте відповідь у раунді 1: ці графіки її показують.
Кожна лінія показує, наскільки B відстає від A або випереджає її, в одиницях шуму (z). Межі ±1,96 означають «впевненість 95%». Точка позначає вечір, коли лінія вперше вийшла за межу: саме тоді нетерплячий маркетолог зупинив би тест.
Спершу на пальцях, потім строго: випадкове блукання, таблиці і межі, які чесно тримають 5% при кількох поглядах. Наприкінці трохи теорії, зокрема чому байєсівські дашборди теж не рятують.
Шар «На пальцях» приховано на всіх задачах.
Щовечора шум отримує новий шанс випадково перетнути лінію 95%. Один погляд означає один квиток з шансом 1 до 20 на фальшивий виграш. Тридцять поглядів означають тридцять квитків, і шанси накопичуються. Це спрощення: квитки не незалежні, бо сьогоднішні дані майже повністю повторюють вчорашні. Тому виходить 28%, а не 1 − 0,95³⁰ = 79%.
Інструмент рахує впевненість так, ніби сьогоднішній вечір є єдиною перевіркою, про яку домовилися до старту. Він не знає, що ви дивилися вчора і подивитеся завтра. Якщо визначити дату заздалегідь і подивитися один раз, однакові сторінки «перемагають» у 5% тестів, як і обіцяно. Якщо зупинятися на першому «95%», ви самі обираєте найвдаліший для шуму вечір.
Приріст B щодо A в одному A/A-тесті, поки накопичуються відвідувачі. Сіра смуга показує звичайний розкид шуму (±1,96 стандартної похибки). Після першого дня ±38% нікого не дивують, після 30 днів розкид звужується до ±7%. Рання «перемога» на +25% виглядає вражаюче, але вона в межах шуму. Детальніше про цю сурму на першій сторінці серії, «Дві однакові сторінки».
Уявіть гравця в рулетку, який іде з казино в ту хвилину, коли він у плюсі. Гра чесна, але звіт «я пішов у плюсі» він складатиме часто. Так і з тестом: ви дивитеся на криву, що блукає, і фіксуєте результат саме тоді, коли вона на вершині. Тому фальшиві зупинки скупчуються на початку: близько 59% з них стаються в перший тиждень, коли даних найменше.
Ця ж звичка роздуває і справжні ефекти: тест, зупинений на піку, показує приріст більший, ніж є насправді.
Шар «Строго» приховано на всіх задачах.
Нехай Sₖ означає, на скільки покупок B випередила A до вечора k. Щодня до неї додається новий незалежний шматок шуму, тож Sₖ є випадковим блуканням. Її розкид росте як √k, і тест ділить на нього: z = Sₖ / (σ√k). На будь-якому окремому вечорі |z| > 1,96 трапляється з імовірністю 5%. Але блукання, яке за 30 кроків хоч раз торкнеться кривої ±1,96σ√k, трапляється значно частіше.
| Рівномірних поглядів | 1 | 2 | 5 | 10 | 30 | 100 |
|---|---|---|---|---|---|---|
| Фальшиві переможці | 5,0% | 8,3% | 14,2% | 19,3% | 28,0% | 37,4% |
Точний розрахунок для нормального наближення. Відповідь залежить лише від кількості рівномірних поглядів, а не від трафіку.
| Пара вечорів | Спільних даних | Кореляція z |
|---|---|---|
| 1-й і 2-й | 50% | 0,71 |
| 10-й і 11-й | 91% | 0,95 |
| 29-й і 30-й | 97% | 0,98 |
| 1-й і 30-й | 3% | 0,18 |
Кореляція між z вечора k і вечора m > k дорівнює √(k/m). Наприкінці тесту новий вечір додає лише кілька відсотків нових даних, тому новий «квиток» майже копія вчорашнього. А на початку вечори відрізняються сильно, і саме там народжується більшість фальшивих переможців.
| День | 95% | Покок | О'Браєн–Флемінг |
|---|---|---|---|
| 6 | 1,96 | 2,41 | 4,56 |
| 12 | 1,96 | 2,41 | 3,23 |
| 18 | 1,96 | 2,41 | 2,63 |
| 24 | 1,96 | 2,41 | 2,28 |
| 30 | 1,96 | 2,41 | 2,04 |
| Разом фальшивих | 14,2% | 5,0% | 5,0% |
| Макс. вибірка | – | +23% | +3% |
Числа в таблиці означають межу для |z|. Межа Покока 2,41 відповідає впевненості 98,4% на кожному погляді. «Макс. вибірка» показує, скільки відвідувачів треба запланувати, щоб зберегти потужність 80%, порівняно з одним поглядом.
Стюарт Покок (1977) запропонував одну, суворішу межу для всіх поглядів. Пітер О'Браєн і Томас Флемінг (1979) зробили ранні межі дуже суворими, а останню майже звичайною: зупинитися на 6-й день можна лише за величезного розриву, зате на 30-й день ви майже нічого не втрачаєте. Обидві схеми розраховані так, щоб за всі п'ять поглядів фальшивий переможець з'являвся в 5% A/A-тестів.
Вечір k: на кожній сторінці nₖ = 1 000·k відвідувачів, частки покупок p̂_A і p̂_B, спільна частка p̄. Дашборд рахує z і впевненість.
Без ефекту zₖ поводиться як Sₖ/√k, де Sₖ є сумою k незалежних стандартних нормальних кроків. Один погляд дає 5%. Ймовірність хоч раз перетнути межу за K поглядів рахується покроково: густина Sₖ всередині смуги згортається з нормальним кроком, а те, що вийшло за межу, відкидається.
Межі, що тримають 5% за K = 5 поглядів: Покок бере одне c для всіх k, О'Браєн–Флемінг бере межу, що спадає як 1/√k.
Ми порахували ці ймовірності покроковим інтегруванням на густій сітці і перевірили симуляцією з точною біноміальною кількістю покупок: 400 000 A/A-тестів зі звичкою з умови дали 28,1%, межі Покока і О'Браєна–Флемінга по 200 000 тестів дали 5,0% і 5,1%.
Шар «Глибше» приховано на всіх задачах.
Закон повторного логарифма (Олександр Хінчин, 1924) каже: випадкове блукання Sₙ знову і знову сягає висоти √(2n ln ln n). Ця висота росте швидше за 1,96·√n, тож будь-яку сталу межу для z блукання рано чи пізно перетне з імовірністю 1. Росте це повільно: 30 поглядів дають 28%, 100 поглядів 37%, щогодинні перевірки за місяць близько 50%. Але стелі немає.
Абрахам Вальд під час Другої світової придумав послідовний тест відношення правдоподібностей (SPRT): після кожного спостереження вирішувати «досить» чи «ще». Його межі розраховані саме на безперервне підглядання. Сучасний варіант, mSPRT, описали Рамеш Джохарі, Піт Кумен, Леонід Пекеліс і Девід Волш у статті «Peeking at A/B Tests» (2017). Він дає «завжди чесні» p-значення: на них можна дивитися будь-коли, а фальшиві переможці лишаються в межах 5%. Ціна в тому, що за фіксованого розміру тесту такий підхід менш чутливий, ніж один запланований погляд.
Багато інструментів показують не p-значення, а «шанс, що B краща за A». Часто кажуть, що його можна дивитися скільки завгодно. Перевіримо: A/A-тести, рівномірний апріорний розподіл Beta(1, 1), переможця оголошують, коли шанс будь-якої сторінки сягає 95%.
| A/A-тести, межа 95% | Один погляд | Щовечора |
|---|---|---|
| Будь-яка сторінка «перемагає» | 10,1% | 46,7% |
| Лише B «перемагає» | 5,0% | 23,8% |
Таблиця: 200 000 симульованих A/A-тестів.
Байєсівська ймовірність чесно описує ваше знання на будь-який вечір. Але правило «зупиняйся на 95%» знову вибирає вершину блукання. Байєсівська відповідь інша: вирішувати за очікуваною втратою, тобто скільки конверсій ви втратите, якщо оберете не ту сторінку. Коли сторінки майже однакові, і втрата від помилки мала. Це розумне бізнес-правило, але воно не обіцяє 5% фальшивих переможців.
Чесна відповідь: безкоштовного способу немає. Кожен інструмент нижче щось коштує: більше відвідувачів, сміливіші зміни, слабший висновок або ризик. Числа для прикладу: конверсія 5%, хочемо помітити +10%, звичайний стандарт (5% фальшивих переможців, потужність 80%). Скільки відвідувачів потрібно і чому, пояснює перша сторінка серії.
Оберіть кількість переглядів і дні заздалегідь, а межі візьміть суворіші. О'Браєн–Флемінг дозволяє рано зупинити тест, якщо ефект великий, і майже нічого не забирає наприкінці. Оберіть кількість поглядів:
| Правило | Фальшиві переможці | Межа |z| на останньому погляді | Макс. вибірка | Середня вибірка, якщо B справді +10% |
|---|
Ціна: план на 3–30% більше відвідувачів за максимуму і дисципліна: погляди лише в заплановані дні. Натомість, коли ефект справжній, тест у середньому закінчується на 18–22% раніше. Вибірки наведено відносно одного погляду з потужністю 80%.
Ціна: дрібні покращення ви не побачите. Сміливу зміну важче придумати, і якщо вона дасть лише +3%, тест її пропустить.
Якщо ті самі користувачі були на сайті до тесту, їхня поведінка «до» пояснює частину розкиду «під час». Метод CUPED (Алекс Денг, Я Сюй, Рон Кохаві, Тобі Волкер, Microsoft, 2013) віднімає цю передбачувану частину. Залишковий розкид множиться на 1 − ρ², де ρ означає кореляцію метрики до і під час тесту.
Ціна: потрібні дані про тих самих людей до тесту. Для нових відвідувачів з реклами їх немає, а кореляція бінарної «купив / не купив» з минулим зазвичай слабка. У Bing метод зменшив розкид приблизно вдвічі.
Ціна: це проксі. Більше кліків на кнопку не гарантує більше грошей: яскрава кнопка може привести цікавих, які не купують. Перевіряйте зв'язок проксі з виручкою окремо.
| Стандарт | Вибірка | Фальшиві | Пропущені |
|---|---|---|---|
| 95% і потужність 80% | 100% | 5% | 20% |
| 90% і потужність 80% | 79% | 10% | 20% |
| 95% і потужність 50% | 49% | 5% | 50% |
| 90% і потужність 50% | 34% | 10% | 50% |
«Фальшиві» означає частку A/A-тестів з переможцем, «пропущені» означає частку справжніх ефектів +10%, яких тест не помітить. Для нашого прикладу це 31 234, 24 603, 15 288 і 10 767 відвідувачів на сторінку.
Ціна: це бізнес-рішення, а не статистичний трюк. Воно чесне, якщо записати стандарт до старту і дивитися один раз. Для дешевих змін, які легко відкотити, 90% часто цілком розумні.
Семплювання Томпсона щодня ділить трафік пропорційно до шансу кожної сторінки бути кращою. Симуляція: 2 000 відвідувачів на день, 30 днів, A дає 5%.
Ціна: слабший висновок. Гірша сторінка отримує мало відвідувачів, тож її конверсію ви знаєте погано. Якщо ефект змінюється з часом (новизна, вихідні), бандит може закріпитися на випадковому лідері.
Буває, що трафіку замало для будь-якого тесту. Тоді чесніше ухвалити рішення на підставі здорового глузду, досліджень користувачів і досвіду, впровадити зміну і стежити за метриками. Залиште контрольну групу: невелику частку трафіку, яка ще місяць бачить стару версію.
| Контрольна група 10%, 2 000 людей на день, 30 днів | Помітить |
|---|---|
| Нова версія гірша на 30% | > 99,9% |
| Гірша на 20% | 96% |
| Краща на 10% | 37% |
| Краща на 5% | 13% |
Ціна: ви не дізнаєтеся, чи зміна допомогла. Контрольна група ловить катастрофу, а не невеликий виграш. Зате ви не обманюєте себе «95%», якого немає.
Тридцять поглядів на один тест і двадцять сегментів одного тесту працюють однаково: що більше шансів дати шумові, то частіше він виграє. Різниця лише в тому, що вечори схожі між собою, а незалежні сегменти ні, тож сегменти роздувають помилку ще сильніше. Про це третя сторінка серії, «Множинні перевірки». А як шум створює «переможців» навіть за одного погляду, показує перша, «Дві однакові сторінки».
Абрахам Вальд розробив послідовний аналіз у 1943 році в Статистичній дослідницькій групі Колумбійського університету, коли ВМС США попросили допомогти з контролем якості боєприпасів. Метод так добре заощаджував перевірки, що під час війни його використання обмежили. Публічно Вальд опублікував його в 1945 році в Annals of Mathematical Statistics.
Пітер Армітедж, К. Макферсон і Б. Роу в статті «Повторні перевірки значущості на даних, що накопичуються» (Journal of the Royal Statistical Society, серія A, 1969) порахували, як повторні перевірки на рівні 5% дедалі збільшують шанс хибної тривоги. Їхні розрахунки стали основою для меж, які пізніше запропонували Покок і О'Браєн з Флемінгом.
Стюарт Покок опублікував групові послідовні методи в Biometrika у 1977 році, Пітер О'Браєн і Томас Флемінг свою схему в Biometrics у 1979 році. Відтоді проміжні аналізи ліків проводять за такими межами: комітет може зупинити дослідження раніше, не роздуваючи шанс хибного відкриття.
Так називається есей Евана Міллера від 18 квітня 2010 року, після якого про проблему підглядання заговорили веброзробники і маркетологи. Його головна порада: визначте розмір вибірки заздалегідь і не зупиняйте тест раніше, або використовуйте послідовний чи байєсівський дизайн.
21 січня 2015 року Optimizely перевів усіх клієнтів на Stats Engine, розроблений разом зі статистиками зі Стенфорда: послідовні тести плюс контроль частки хибних відкриттів. У поясненні компанія наводила приклад: якщо дивитися на тест кожні 500 відвідувачів, шанс хибно оголосити переможця зростає до 26%.
Дірк Басслер і співавтори (JAMA, 2010) порівняли 91 клінічне дослідження, зупинене раніше через користь, із 424 подібними, які дійшли до кінця. Зупинені показували сильніший ефект: відношення відносних ризиків 0,71. Найбільше перебільшення було в дослідженнях з менш ніж 500 подіями, тобто там, де даних було найменше.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Поглиблено» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.