Математичні парадокси

Курси / Парадокси A/B-тестування

Курс · маркетологам

Парадокси A/B-тестування

Тест: нова кнопка «Купити»день 9
A250 з 5 000 · 5,00% B293 з 5 000 · 5,86%
B +17%впевненість 94%

Такий рядок бачив кожен, хто запускав A/B-тест. Запускати B? Курс відповідає на це питання в три кроки. Спершу вчимося читати дашборд і помічати пастки, без формул: від десяти заголовків від AI до теми листа, яку платформа обирає за дві години. Потім плануємо тест: скільки людей треба, як читати впевненість і байєсівський «шанс перемогти», що робити з виручкою, де одне велике замовлення перевертає результат, як перевірити трафік, скласти план і звіт для керівника. Третя частина для тих, хто проводить десятки тестів. Наприкінці іспит із шести дашбордів, вердикт для цього дашборда з кнопкою «Купити» і практична частина: що з цього вже ловить ваш інструмент, що робите ви, а що аналітик.

≈ 1,5–2 години, можна частинами по 10–15 хвилин; прогрес зберігається.

Складно? Цей курс для тих, хто проводить тести щотижня. Якщо ви вперше чуєте про A/B-тести або тут забагато математики, почніть із простішого курсу «A/B-тести простими словами»: 9 питань без формул, лише лічба і монетка, ≈ 30 хвилин. Потім повертайтеся сюди.

Уже маєте числа з тесту? Перевірте свій тест: вердикт простими словами і всі перевірки курсу на ваших даних.

Пройдено 0 з 21 розділівЗадач з каталогу розв'язано: 0 з 14
Словничок дашбордаконверсія, ліфт, впевненість, значущий результат, A/A-тест, шанс перемогти, MDE, SRM
Конверсія
Частка відвідувачів, які зробили потрібну дію: 250 покупок із 5 000 відвідувачів — це 5%.
Ліфт
На скільки відсотків конверсія B більша за конверсію A: 5,86% проти 5,00% — це +17%.
Впевненість
Якби B нічим не відрізнявся від A, такий самий або більший розрив траплявся б приблизно в 6 тестах зі 100; 94% — це 100 мінус 6. Це не шанс, що B кращий (розділ 10).
Значущий результат
Розрив, який шум дає рідко: за звичаєм, впевненість 95% і вище.
A/A-тест
Тест, де обидві групи бачать ту саму сторінку, тож будь-яка різниця в ньому — шум.
Шанс перемогти
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані. Це не те саме, що впевненість (розділ 11).
MDE
Найменший ефект, який варто ловити: менший ліфт тест може пропустити, і це свідомий вибір (розділ 9).
SRM
Перекіс розподілу трафіку: планували ділити навпіл, а групи вийшли помітно різні (розділ 13).
Перед стартом · 2 хвилини

Перевірте, що вже знаєте

Три дашборди, на кожен — один вердикт. Це не оцінка, а компас: результат підкаже, з якої частини почати, а іспит наприкінці покаже, що змінилося. Відповіді тут не позначають розділи пройденими.

Дашборд 1

Тест: новий банер на головнійдень 4 з 28
A120 з 2 400 · 5,00% B156 з 2 400 · 6,50%
B +30%впевненість 97%

План: MDE +10%, 31 234 на варіант, рішення на 28-й день.

Чекати до 28-го дня: поріг 95% чесний лише для одного погляду наприкінці, а людей поки 2 400 із 31 234. Про це розділ 2.

Дашборд 2

Тест: нова ціна доставки · 12 місттест завершено
A1 500 з 30 000 · 5,00% B1 480 з 30 000 · 4,93%
B −1%впевненість 29%

Зріз за містами: Львів, B +40%, впевненість 96% (60 і 84 покупки з 1 200). Міст у плані не було.

Не висновок, а гіпотеза: 12 міст — 12 шансів на фальшиву «перемогу». Львів варто перевірити окремим тестом, де його названо наперед. Про це розділ 3.

Дашборд 3

Тест: нова картка товарудень 28 з 28
A1 500 з 30 000 · 5,00% B1 530 з 28 900 · 5,29%
B +6%впевненість 89%

План: поділ 50/50, рішення на 28-й день, метрика — покупки на відвідувача.

Спершу перевірити трафік: 30 000 проти 28 900 за плану 50/50 шум дає приблизно в 6 тестах на мільйон (p = 0,000006). Про це розділ 13.

Частина 1 · без формул

Як читати дашборд

Вісім ситуацій, у яких дашборд каже одне, а правда інша. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці. Формул тут немає, досить уважно дивитися.

1

Шум чи ефект

«B +17%. Це справжній ефект чи просто пощастило?»

Так питають після кожного тесту, і відповідь починається з іншого питання: який ліфт дає сам шум, коли ефекту немає зовсім? Щоб це побачити, поставмо стару кнопку «Купити» проти точно такої самої. Такий тест називають A/A-тестом.

Кожен відвідувач купує або ні, трохи як монетка. Тому навіть дві однакові сторінки ніколи не дають однакових чисел.

На кожну сторінку приходить 1 000 людей, і обидві справді конвертують 5%: купує одна людина з двадцяти. Дашборд показує ліфт — на скільки відсотків конверсія B вища за конверсію A. Ті «+17%» — саме такий відносний ліфт, а не 17 .

Який ліфт може показати дашборд у такому A/A-тесті?

За 1 000 відвідувачів сторінка має лише близько 50 покупок, і кожна зайва або відсутня покупка зсуває конверсію на 0,1 пункта, тобто на 2% від 5%. Випадково відхилитися на 7 покупок в один чи інший бік — звична справа. Скажімо, 48 покупок в A і 56 у B — це вже +17%. Ліфт ±20% і більше сам шум дає приблизно в 30 A/A-тестах зі 100. Запустіть кілька нижче.Інтуїція думає про тисячу людей, а рахувати треба покупки: їх лише близько 50, і кожна зайва зсуває конверсію на 2%. 48 покупок в A і 56 у B — це вже +17%, хоча сторінки однакові. Ліфт ±20% і більше шум дає приблизно в 30 тестах зі 100. Запустіть кілька A/A-тестів нижче.

A/A-тест: дві однакові сторінки

A–
B–
Ліфт B до A–

Типовий розмір такого тремтіння називають : на скільки число з вибірки зазвичай відходить від справжнього. Якщо запустити сотні A/A-тестів, ліфти складуться в дзвін: це . Чим більше відвідувачів, тим вужчий дзвін.

  • За 1 000 відвідувачів на сторінку ліфт у десятки відсотків — звичайний шум. Тож і +17% з дашборда вгорі ще нічого не доводить: наскільки саме, порахуємо в розділі 10.

Глибше: та сама ідея як задача з каталогу, з точним підрахунком і симуляцією.

A/A-тест: дві однакові сторінки

Та сама сторінка показується як «A» і як «B», конверсія 5%, по 1 000 відвідувачів. Як часто одна з двох однакових сторінок «переможе» на 20% або більше?

2

Можна зупинити, коли вже 95%?

«Тест розрахований на п'ять тижнів, але на дев'ятий день дашборд уже показує 95%. Навіщо чекати?»

Так міркує майже кожен, хто щодня відкриває дашборд: якщо вже 95%, навіщо чекати ще майже чотири тижні? Перевірмо, чи можна вірити ранньому «95%», на тесті, де перемоги бути не може: знову дві однакові кнопки «Купити», як у розділі 1.

Поріг 95% обіцяє: якщо сторінки однакові, фальшива «перемога» трапиться не частіше ніж у 5 тестах зі 100. Але впевненість на дашборді не стоїть на місці: щовечора додаються нові люди, і число гуляє вгору-вниз.

Магазин той самий: 2 000 відвідувачів на день, по 1 000 на кожну кнопку, купують 5%. Маркетолог відкриває дашборд щовечора протягом 30 днів і зупиняє тест, щойно впевненість торкнеться 95%.

Як часто тест за такими правилами закінчиться «перемогою»?

Ні, не в більшості. Фальшивих перемог справді значно більше, ніж обіцяні 5 зі 100: за 30 вечорів по 1 000 людей на кнопку їх близько 28 зі 100. Але решта однакових тестів так і не торкається 95%. Перевірте нижче.Так, близько 28 зі 100. Поріг обіцяє 5 зі 100 лише для одного погляду наприкінці. Кожен вечір дає шуму ще одну спробу дотягнутися до 95%, і спроби накопичуються, хоча й не множаться на 30: до вчорашніх людей щовечора додається лише один день, тож сусідні вечори майже однакові. Перевірте нижче.Інтуїція рахує один погляд, а їх тридцять. Кожен вечір дає шуму ще одну спробу дотягнутися до 95%, тому «перемог» близько 28 зі 100, у п'ять із половиною разів більше за обіцяні 5. Перевірте нижче.

Нижче такий тест: лінія показує, що бачить маркетолог кожного вечора.

30 вечорів одного A/A-тесту

останній тестпопереднівечір, коли впевненість торкнулася 95%

Тестів запущено–
Хоч раз торкнулися 95%–
Вище 95% на 30-й вечір–

  • Щовечірні погляди з правом зупинитися перетворюють обіцяні 5 фальшивих перемог зі 100 на значно більше. А на запланований 30-й день вище 95% лише близько 5 тестів зі 100: поріг чесний, коли погляд один.

Глибше: та сама історія як задача, з точним підрахунком.

Підглядання в A/B-тест

Дві однакові сторінки, тест на 30 днів, перевірка щовечора і зупинка на першому «95%». Як часто одну з однакових сторінок оголосять переможцем?

3

А в Польщі ж виграло!

«Загалом B нічого не дав. Але в Польщі він значущо кращий. Запускаємо там?»

Команда тестувала новий лист розсилки (B) проти старого (A) у 20 країнах. Загалом різниці немає. Після такого тесту рука сама тягнеться розбити результат: країни, пристрої, джерела трафіку, нові й постійні клієнти. І в Польщі знайшлося «значуще».

Кожен такий зріз — окрема перевірка з тим самим порогом 95%, що й у розділі 2. Країна «світиться», коли її впевненість 95% або вище, у будь-який бік: B кращий або гірший.

У кожній країні старий лист отримали 1 000 людей і новий — ще 1 000, купують 5%. Одна така розсилка на 20 країн — це одна кампанія.

Припустімо, новий лист насправді нічим не кращий за старий. Як часто хоча б одна з 20 країн покаже «значущий» результат?

Ні, не майже завжди: приблизно в третині кампаній жодна з 20 країн не світиться. Але в решті, близько 64 кампаній зі 100, світиться хоча б одна. Перевірте нижче.Кожна країна має свої 5 шансів зі 100 на фальшивий результат. Двадцять країн — двадцять таких шансів, і хоча б одна країна світиться приблизно в 64 кампаніях зі 100, майже у двох із трьох. Навіть якщо рахувати лише «перемоги» B, як у Польщі, це 40 кампаній зі 100. Перевірте нижче.5 зі 100 — це шанс для однієї перевірки. Країн двадцять, і шанси накопичуються: хоча б одна країна світиться приблизно в 64 кампаніях зі 100, майже у двох із трьох. Перевірте нижче.

Нижче одна така кампанія. Листи однакові, тож кожна країна, що світиться, — шум.

20 країн однієї кампанії

Загалом у цій кампанії–
Кампаній запущено–
З хоча б однією «перемогою»–

  • Країна, яка «виграла» після тесту, — гіпотеза для нового тесту, а не висновок. Загальний результат при цьому чесний: це одна перевірка, і вона здебільшого каже «нічого».

Глибше: та сама історія як задача, з точною відповіддю.

Ріжте результат, доки щось не виграє

Новий лист нічим не кращий за старий. Аналітик перевіряє результат у 20 країнах. Який шанс, що хоча б одна покаже «значущу» різницю?

4

10 заголовків від AI

«AI за хвилину написав десять заголовків. Тестуємо всі одразу проти поточного: котрий переможе, той і наш.»

Так тепер міркують багато команд: варіанти майже нічого не коштують, і десяток нових проти поточного став звичною справою. Такий тест називають A/B/n.

Влаштований він так: поточний заголовок і десять нових, на кожен приходить по 5 000 відвідувачів. Тест порівнює кожен новий заголовок з поточним окремо, на тому самому рівні 95%.

Припустімо, AI писав гладко, але марно: насправді жоден заголовок не кращий і не гірший за поточний, у всіх конверсія 5%.

Як часто в такому тесті хоча б один заголовок «значуще» відрізнятиметься від поточного?

Десять порівнянь — десять шансів, як із країнами в розділі 3. Хоча б одна значуща різниця трапляється в 29 тестах зі 100, а «переможець», кращий за поточний заголовок, — у 14. Це менше, ніж 40 зі 100 для десяти незалежних перевірок, бо всі варіанти міряють до того самого контролю: якщо поточному заголовку випадково пощастило чи не пощастило, це зсуває всі десять порівнянь разом. Але це майже вшестеро більше за обіцяні 5.Інтуїція думає про один тест, а порівнянь тут десять, як країн у розділі 3. Кожне має свої 5 шансів зі 100, і разом хоча б одна значуща різниця буває в 29 тестах зі 100, майже в кожному третьому. «Переможець», кращий за поточний, — у 14.

Нижче такий тест. Стовпчик — ліфт варіанта до поточного заголовка. Варіант за пунктиром «виграв» на рівні 95%.

Тест A/B/n: усі варіанти однакові

Тестів запущено–
З «переможцем»–
Ліфт «переможця» в середньому–

  • «Переможець» тесту з багатьма варіантами ще й перебільшений. За 5 000 людей на варіант він показує в середньому +23%, хоча справжній ефект нуль: виграє саме той, кому найбільше пощастило. Це прокляття переможця, до якого ми повернемося в розділі 17.
Історія Коли дизайнер Дуглас Боумен 2009 року пішов з Google, він написав, що команда не могла обрати між двома відтінками синього і перевірила тестом 41 відтінок між ними. Для Боумена це був приклад того, як рішення віддають самим даним. Тепер варіанти генерує AI, і що їх більше, то частіше перемагає шум. Джерело: Douglas Bowman, «Goodbye, Google», stopdesign.com, 20 березня 2009.

Чотири варіанти з точним розрахунком і поправкою Даннета, яка враховує спільний контроль, — у п'ятому раунді задачі про 20 сегментів.

5

Обережний запуск

«Ми пустили на B спершу 10% трафіку, а потім щодня додавали. B кращий у кожен день тижня. Отже, і за тиждень кращий?»

Так питає команда, яка все зробила обережно. Розберімо її тиждень по днях: відповідь ховається в деталях, які легко проскочити.

Навіщо поступовість? B — нова сторінка, і якщо в ній помилка, краще, щоб її побачило мало людей. Тому в понеділок на B іде 10% відвідувачів, щодня частка трохи росте, і в неділю B бачить уже половина.

Магазин щодня відвідує 10 000 людей. У будні купують 6 зі 100, а у вихідні лише 3 зі 100.

B справді кращий щодня, і на ті самі 5%: у будні з ним купують 6,3 зі 100 замість 6, у вихідні 3,15 замість 3. Ці «+5%» — відносна різниця, а не 5 відсоткових пунктів.

У понеділок наступного тижня аналітик робить звіт: складає всіх відвідувачів B за сім днів (21 000), усіх відвідувачів A (49 000), рахує покупки й ділить.

Що покаже звіт за тиждень, коли всіх відвідувачів склали разом?

Звіт покаже, що виграв A: 5,34% проти 4,90%, тобто B гірший на 8%. Причина в тому, коли прийшли відвідувачі. Частка B росла до кінця тижня, тож 44% його відвідувачів припали на вихідні, коли всі купують удвічі рідше. В A на вихідні припало лише 22%. Сума порівнює не B з A, а «B, здебільшого у вихідні» з «A, здебільшого в будні». Подивіться на підсумок таблиці.Інтуїція каже: кращий щодня — кращий і за тиждень. Але звіт покаже, що виграв A: 5,34% проти 4,90%, тобто B гірший на 8%. Частка B росла до кінця тижня, тож 44% його відвідувачів припали на вихідні, коли всі купують удвічі рідше, а в A лише 22%. Сума порівнює не B з A, а «B, здебільшого у вихідні» з «A, здебільшого в будні». Подивіться на підсумок таблиці.

Тиждень поступового запуску

ABрозмір кружка = скільки людей того дня бачили варіант

Тиждень разом: B до A–
Порівняння в межах днів–

А чому б не лишити B на 10% до кінця тесту, так же безпечніше? Безпечніше, але дорого: точність порівняння тримається на меншій групі. Візьмімо розрахунок з розділу 9: конверсія 5%, хочемо помітити ліфт +10%, 2 000 відвідувачів на день.

Поділ A/BВідвідувачів разомУ скільки разів більшеДнів
50/5062 468132
80/2096 5351,5549
90/10170 9702,7486
95/5323 3245,18162

«Безпечний» поділ 90/10 потребує майже втричі більше трафіку, тобто тест іде майже втричі довше. При цьому B побачать лише вдвічі менше людей: 17 097 замість 31 234. А якщо зупинити тест 90/10 через ті самі 32 дні, справжні +10% він помітить лише у 41 випадку зі 100, а не у 80. Просте правило: якщо B отримує частку f трафіку, вибірка росте в 1/(4f(1−f)) разів, це 1,56, 2,78 і 5,26 для рядків таблиці. Точний розрахунок дає трохи менше.

Глибше: класична версія цієї пастки в каталозі.

Парадокс Сімпсона

Метод A успішно лікує камені в нирках у 78% випадків, метод B у 83%. Який метод ви оберете для себе?

6

З кошика купують рідше

«Нова картка товару: у кошик додають більше, але з кошика купують рідше. B гірший?»

Команда переробила картку товару і тепер не знає, радіти чи ні. Звіт тесту показує дві речі: з новою карткою товар кладуть у кошик частіше, а от покупкою закінчується менша частка кошиків.

Цю частку називають конверсією кошика: скільки з тих, хто поклав товар у кошик, потім купили. В A вона 40%, тобто покупкою закінчуються 4 кошики з 10. У B — близько 33%, і різниця значуща, тобто це не шум.

А відвідувачі різні: одні прийшли купити, інші порівнюють, треті просто гортають.

Конверсія кошика впала з 40% в A до 33% у B, і це не шум. B гірший?

Конверсія кошика рахує лише тих, хто дійшов до кошика, а B привів туди інших людей. У моделі нижче з 10 000 відвідувачів A до кошика доходять 2 150 і купують 860, тобто 40%. З B доходять 2 750: ще 600 тих, хто просто гортав, і з них купує лише кожен десятий. Тому частка кошиків падає до 33,5%, а покупок стає 920 замість 860, на 7% більше на відвідувача. Вердикт дає саме метрика на всіх відвідувачів. Посуньте повзунок нижче.Частка серед тих, хто дійшов до кошика, порівнює різних людей: B привів у кошик ще 600 прохолодних відвідувачів, і з них купує лише кожен десятий. І «більше кошиків» теж не вердикт. Рахувати треба покупки на всіх відвідувачів: у моделі нижче це 920 у B проти 860 в A з 10 000, тобто +7%. Посуньте повзунок нижче.

Воронка: 10 000 відвідувачів на кожен варіант

Кожна точка — 10 відвідувачів. Гарячі прийшли купити, теплі порівнюють, прохолодні гортають. Нова картка переконує частину прохолодних покласти товар у кошик, але купують вони рідко.

гарячі, 20%: прийшли купититеплі, 30%: порівнюютьпрохолодні, 50%: гортають

Кошик → покупка · A і B–
Покупок на відвідувача · A і B–

Випадково люди розподіляються лише на вході: кожен відвідувач з рівним шансом бачить A чи B. Тому A і B чесно порівнянні тільки на рівні всіх відвідувачів. Ті, хто дійшов до кошика, вже відібрані самою сторінкою, і в B це інші люди, ніж в A.

Буває й навпаки, і це підступніше: проміжна метрика росте, вона тісно пов'язана з виручкою, а виручка падає. Це називають парадоксом сурогатної метрики. Приклад: знижка 20% на все. Без неї купують 4 зі 100 відвідувачів, середній чек 1 000 грн. Зі знижкою купують 4,6 зі 100, тобто замовлень на 15% більше, але чек 800 грн. Виручка на відвідувача: 40 грн в A і 36,80 грн у B, на 8% менше. Торік тижні з більшою кількістю замовлень мали й більшу виручку, і все одно зміна, що додає замовлень, може забирати виручку: знижка тягне її вниз іншим шляхом, через ціну.

Звідки назва З медицини. У 1980-х ліки від аритмії прибирали зайві скорочення серця, які пов'язані з раптовою смертю. Але в дослідженні CAST пацієнти на цих ліках помирали частіше, ніж на плацебо. The CAST Investigators, New England Journal of Medicine, 1989; термін: Chen, Geng, Jia, JRSS B, 2007.

Глибше: дві класичні пастки відбору з каталогу.

Парадокс Берксона

У місті врода і доброта не пов'язані. Ви ходите на побачення лише з тими, хто досить вродливий і добрий разом. Чи пов'язані ці риси серед ваших побачень?

Помилка тих, хто вижив: літаки Вальда

Бомбардувальники повертаються з дірками у фюзеляжі та крилах, а на двигунах дірок майже немає. Куди ставити броню?

  • Це родич парадоксу Берксона: відбір за пізнішим кроком створює картину, якої немає в усьому натовпі, як риси «вродливий» і «добрий» стають протилежними серед тих, з ким ви ходите на побачення.
7

Перший тиждень +15%, потім нуль

«Після тижня тесту новий банер давав +15%. Ми його запустили, а через місяць виручка така сама, як була. Куди подівся ефект?»

Таке питання ставлять уже після запуску, а підказка була в даних ще під час тесту. Повернімося в той тиждень.

Банер стоїть на головній, і бачать його здебільшого постійні клієнти: вони заходять часто й добре знають стару сторінку.

Дашборд показує накопичений ліфт: конверсію B за всі дні від старту проти конверсії A. Наприкінці тижня там +15%, і команда запускає банер.

Але якщо розбити той самий тиждень на окремі дні, видно інше: ліфт меншав щодня, у понеділок він був найбільший, у неділю найменший.

Якби команда в день рішення подивилася на ці дні, якого ефекту через місяць після запуску вона мала б чекати?

Постійні клієнти помічають нове і клікають з цікавості, а за кілька днів звикають. Ця частина ліфту згасає, і денний ліфт, що тане, — її слід. У моделі нижче тиждень дає в середньому +15%, а після запуску лишається +2%, у 7,7 раза менше.Буває й так, але тут денний ліфт тане, а це прикмета новизни: постійні клієнти клікають на нове з цікавості й за кілька днів звикають. У моделі нижче тиждень дає в середньому +15%, а після запуску лишається +2%.

Модель такого тесту: справжній довгий ефект банера +2%, а в перший день новизна додає ще +30%, і цей додаток щодва дні меншає вдвічі. На кожен варіант щодня приходить 5 000 людей, конверсія A 5%. Оберіть день, коли ви зупиняєте тест.

Ліфт день за днем

ліфт за окремий деньнакопичений ліфт, як на дашбордісправжній денний ефект моделіщо лишиться назавжди

Дашборд у день зупинки–
Лишиться після запуску+2%

Навіть місяць не рятує повністю: накопичений ліфт усереднює всі дні, і перший тиждень тягне його вгору. Чесніше дивитися на ліфт останніх тижнів або на ліфт за днями від першого візиту людини: якщо в перші дні знайомства він великий, а потім тане, це новизна.

Буває й навпаки, і це небезпечніше. Постійні клієнти не люблять змін: кнопка не там, де звикли, меню інше. Перші дні вони спотикаються, а коли звикають, ефект росте. Це відраза до змін. Дзеркальна модель: той самий справжній ефект +2%, але в перший день звичка забирає 20%, і ця втрата щодва дні меншає вдвічі. Перший тиждень у покаже −6,9%, і добру зміну відкинуть. Другий, третій і четвертий тижні дають +1,2%, +1,9% і +2,0%, а накопичений ліфт за 28 днів досі −0,4%. Ліки ті самі: ліфт по тижнях і окремо для нових і постійних відвідувачів. У нових немає звичок, тож немає ні новизни, ні відрази, і їхній ліфт від першого дня ближчий до справжнього.

  • Окрім новизни, тут працює ще й шум: тест, зупинений тоді, коли ліфт виглядав найкраще, фіксує вдалий збіг, і наступні дні, найпевніше, будуть звичайнішими.

Глибше: чому після найкращого дня зазвичай іде звичайніший.

Регресія до середнього

Після похвали гравці грають гірше, а після критики краще. Чи означає це, що критика працює?

8

Тема листа: переможець за 2 години

«Платформа розсилок сама обирає кращу тему: шле дві теми на 10% списку кожну, а через дві години відправляє переможця решті. Що тут може піти не так?»

Так питає маркетолог, який довірив вибір теми платформі. Схема звучить розумно: дві теми пробують на невеликих групах, а решта списку отримує ту, яку відкривали частіше.

Ось як це виглядає в одній розсилці. У списку 50 000 адрес. Тему A отримують 5 000 із них, тему B — інші 5 000, а 40 000 адрес чекають. Через дві години тему A відкрили 49% отримувачів, тему B — 47%, і платформа шле A решті списку.

Хто встигає відкрити лист за дві години? Здебільшого звичні читачі: вони відкривають майже кожен ваш лист, і швидко. Решта відкривають пізніше, протягом дня.

І ще одна деталь. З вересня 2021 року, з виходом iOS 15, Apple Mail має захист конфіденційності пошти (Mail Privacy Protection). Якщо людина його ввімкнула, пошта завантажує картинки листа у фоні, навіть коли лист ніхто не відкривав. Піксель відстеження спрацьовує, і платформа записує «відкриття», яку б тему людина не отримала. За даними, які наводить Litmus у звіті про частки поштових клієнтів, такий захист зачіпає приблизно 55–60% усіх зафіксованих відкриттів.

Як часто правило «переможець за відкриттями через 2 години» обирає тему, яка справді приносить більше кліків?

Не частіше, ніж монетка: у моделі нижче таке правило обирає тему з більшою кількістю кліків лише в 43 розсилках зі 100. Подивіться, хто стоїть за відкриттями перших двох годин. Якщо захист Apple Mail мають 40% адрес, то зі 100 записаних «відкриттів» 82 записав сам Apple Mail, 16 дали звичні читачі, на яких тема не діє, і лише 2 — люди, які справді вирішували, чи відкрити лист. Різниця між темами тоне в шумі. А ці 2 зі 100 частіше відкривають ту тему, за якою рідше клікають, тож правило помиляється навіть частіше, ніж вгадує.5 000 адрес — це багато, але не тих і не для того. Якщо захист Apple Mail мають 40% адрес, то в моделі нижче зі 100 «відкриттів» за дві години 82 записує сам Apple Mail, 16 дають звичні читачі, на яких тема не діє, і лише 2 — люди, які справді вирішували, чи відкрити лист. До того ж тему, яку вони частіше відкривають, не обов'язково частіше клікають. Тож правило вгадує кращу тему лише в 43 розсилках зі 100, рідше за монетку.

Так влаштований A/B-тест тем у багатьох платформах розсилок, і тут разом усі пастки першої частини: мала вибірка і шум (розділ 1), рішення на ранньому погляді (розділ 2), перші години, не схожі на решту, як перший тиждень у розділі 7, і метрика, що рахує не те (розділ 6).

Модель: список 50 000 адрес. Тема A інтригує («Ви не повірите, що всередині»), тема B конкретна («−20% на кросівки до неділі»). 30% читачів звичні: відкривають майже все в першу годину-дві, і тема на них не діє. Решта відкривають протягом дня, і тут тема важить: A вони відкривають трохи частіше, але за B частіше клікають. Тож справді краща тема B: кліків і покупок у неї на 14% більше. Частина адрес належить користувачам Apple Mail із захистом конфіденційності, і їхнє «відкриття» записується саме. Скільки таких у вашому списку, залежить від аудиторії; 40% у повзунку — лише припущення.

Автопереможець теми листа

тема A, інтригуєтема B, конкретна і справді кращамомент рішення

Правило обирає кращу тему–точний розрахунок
У ваших розсилках–
Решта списку отримає–

  • Відкриття через дві години показують, хто з ранніх читачів і автоматичних «відкриттів» Apple Mail відкрив частіше. Тема, яку частіше відкривають, може приносити менше кліків, і тоді що більше даних, то впевненіше правило обирає не ту: за 48 годин у моделі воно помиляється в 80 розсилках зі 100.
Історія Кампанія Барака Обами 2012 року писала листи для збору пожертв у кількох варіантах, часто до 18, і спершу розсилала їх на невеликі частини списку. Червневий лист із темою «I will be outspent» («Мене перевершать у витратах») переміг інші варіанти і, за даними кампанії, зібрав понад 2,5 млн доларів. Джерело: «The Science Behind Those Obama Campaign E-Mails», Bloomberg Businessweek, 29 листопада 2012.

Скільки адрес треба, щоб надійно помітити різницю в кліках, порахує калькулятор у розділі 9, а перевірку результату дає розділ 10.

Що ви вже вмієте Ви бачите на дашборді шум (1), знаєте, чому не можна зупинятися на першому «95%» (2), вірити перемозі в сегменті (3) чи переможцю з десяти варіантів (4), помічаєте, коли змішування днів (5) чи вибір метрики (6) перевертає вердикт, не плутаєте новизну з ефектом (7) і не довіряєте темі листа, обраній за відкриттями за дві години (8). Але всі ці пастки ловили вже після тесту. Друга частина про те, як спланувати тест так, щоб вони не виникали.
Дві швидкі перевірки, за бажанням

A/A-тест: обидві групи бачать ту саму сторінку, по 500 відвідувачів, конверсія близько 4%. Дашборд показує «B +25%». Що це найімовірніше?

За 500 людей і 4% на групу припадає лише близько 20 покупок, і розрив ±25% або більший шум дає приблизно в 43 A/A-тестах зі 100 (розділ 1). Тривожно було б, якби такі розриви траплялися набагато частіше.Сторінки однакові, тож B не може бути кращим, а поломку видно лише тоді, коли такі розриви трапляються набагато частіше, ніж дає шум. За 500 людей і 4% на групу припадає лише близько 20 покупок, і розрив ±25% або більший шум дає приблизно в 43 A/A-тестах зі 100 (розділ 1).

Новий фільтр каталогу: кліків по товарах +20% (значущо), покупок на відвідувача стільки ж. Фільтр переміг?

Проміжна метрика лише пояснює, що сталося: фільтр змусив гортати більше, але купувати більше не змусив (розділ 6).Кліки — проміжна метрика, навіть значуща: фільтр змусив гортати більше, але купувати більше не змусив. Вердикт дає головна метрика на відвідувача (розділ 6).

Частина 2 · трохи чисел

Як планувати тест

Перша частина вчила не вірити дашборду. Друга вчить, як зробити так, щоб йому можна було вірити. Ми візьмемо ту саму кнопку «Купити» і ту саму конверсію 5% і пройдемо шлях від розміру тесту до готового плану і звіту для керівника. Тут з'являться калькулятори, але формули рахують за вас. Якщо вже перша частина далася важко, спершу пройдіть «A/B-тести простими словами»: там основи цієї частини пояснено без чисел.

9

Скільки людей треба

«Добре, шум буває. Скільки відвідувачів треба, щоб йому не вірити?»

З цього питання починається планування. Шум не зникає, але його можна перекрити кількістю людей. Скільки людей треба, залежить від трьох речей.

Перша — звичайна конверсія. З кнопкою «Купити» з дашборда купують 5 відвідувачів зі 100.

Друга — найменший ефект, який вам важливий (). Ліфт +10% означає, що з новою кнопкою купуватимуть 5,5 зі 100 замість 5: одна зайва покупка на 200 відвідувачів.

Третя — наскільки суворо ви судите. Стандарт галузі: не більше 5 фальшивих переможців зі 100 серед однакових сторінок і потужність 80%, тобто справжній ефект потрібного розміру тест помічає в 4 випадках із 5.

За таких умов, щоб помітити +10%, треба 31 234 відвідувачі на кожен варіант.

А скільки треба, щоб помітити вдвічі менший ліфт, +5%, тобто 5,25 покупки зі 100 замість 5?

Ні, вчетверо. Шум зменшується як корінь із кількості людей: щоб зменшити його вдвічі, людей треба вчетверо більше. Різниця, яку треба помітити, тепер 0,25 відсоткового пункта замість 0,5, і тест потребує 122 124 відвідувачі на варіант, у 3,9 раза більше. Для магазину з 2 000 відвідувачів на день це 123 дні замість 32.Шум тане повільно: щоб зменшити його вдвічі, людей треба вчетверо більше. Різниця, яку треба помітити, тепер 0,25 відсоткового пункта замість 0,5, і тест потребує 122 124 відвідувачі на варіант, у 3,9 раза більше. Для магазину з 2 000 відвідувачів на день це 123 дні замість 32.Інтуїція ділить пропорційно, але шум тане повільніше: щоб зменшити його вдвічі, людей треба вчетверо більше. Різниця, яку треба помітити, тепер 0,25 відсоткового пункта замість 0,5, і тест потребує 122 124 відвідувачі на варіант, у 3,9 раза більше. Для магазину з 2 000 відвідувачів на день це 123 дні замість 32.

Калькулятор вибірки

На кожен варіант–
Тривалість–
Такий ліфт дає–на місяць, якщо він справжній

Як обрати MDE? Це бізнесове рішення, а не статистичне: найменший ліфт, заради якого варто робити зміну. Магазин із калькулятора: 2 000 відвідувачів на день, конверсія 5%, тобто 100 покупок, середній чек 800 грн. Ліфт +10% — це 10 зайвих покупок на день, 8 000 грн на день, близько 240 000 грн на місяць, і тест на 5 тижнів. Ліфт +2% — це 48 000 грн на місяць, але щоб його надійно помітити, тест мав би тривати 753 дні. Якщо зміна коштує більше, ніж дає малий ліфт, ловити його немає сенсу.

Звідси ще одне правило: значущий не означає важливий. На мільйонах відвідувачів значущим вийде і ліфт +0,5%, який не покриє вартості розробки. Значущість каже лише, що ефект, найпевніше, не нуль. Чи вартий він грошей, вирішуєте ви.

І ще одне: трафік — це бюджет. Поки тест іде, ту саму сторінку не перевіриш іншою ідеєю, а тест іде повними тижнями. Магазин із калькулятора за рік встигне на одній сторінці близько десяти тестів, які ловлять +10% (по 5 тижнів), або лише два, що ловлять +5% (по 18 тижнів). Що менший ліфт ви хочете бачити, то менше ідей встигнете перевірити.

Звідси й погляд на чужі кейси. Невеликий сайт пише: «+23% конверсії». Якщо там по 1 000 відвідувачів на варіант і конверсія 3%, справжні +23% такий тест помічає лише в 14 випадках зі 100. А коли помічає, то завдяки шуму і показує в середньому майже втричі більше. Тож велика цифра з малого тесту частіше розповідає про розмір тесту, ніж про силу зміни.

Історія 2012 року співробітник Bing запропонував подовжити заголовки рекламних оголошень, приєднавши до них текст із рядка нижче. Ідею вважали неважливою, і вона понад пів року пролежала в черзі, поки розробник не перевірив її тестом. Виручка зросла на 12%, що, за оцінкою Роні Кохаві і Стефана Томке, давало понад 100 млн доларів на рік лише в США. На великому бізнесі навіть кілька відсотків — це великі гроші, тому MDE рахують у грошах. Джерело: Ron Kohavi, Stefan Thomke, «The Surprising Power of Online Experiments», Harvard Business Review, вересень–жовтень 2017.

Глибше: чому найкращі й найгірші цифри дають найменші вибірки.

Найнебезпечніше рівняння

Найменше хворіють у тихих сільських округах. Чисте повітря? Чи щось інше?

  • Це той самий механізм, що з округами: мала вибірка частіше дає крайні цифри в обидва боки. У рейтингу кейсів нагорі й унизу опиняться найменші тести, а не найкращі й найгірші ідеї.
10

Як перевірити результат

«Тест закінчився. Що насправді означає «впевненість 94%»?»

Таке питання ставлять наприкінці тесту, коли треба звітувати керівнику. Повернімося до дашборда вгорі сторінки: по 5 000 відвідувачів на кнопку, з A купили 250 (5,00%), з B — 293 (5,86%). B попереду на 17%.

Поруч із ліфтом інструмент показує ще два числа: «впевненість 94%» і « 97%». А керівник хоче знати одне: наскільки ймовірно, що B справді кращий за A?

Яке число з дашборда відповідає саме на це питання?

Шанс перемогти відповідає саме на це питання: ось дані, наскільки ймовірно, що B кращий. Впевненість відповідає на зворотне: якщо B насправді нічим не кращий, як часто шум дав би такий розрив? Тут у 6 тестах зі 100, звідси 94%. Числа близькі, але питання різні. Різницю пояснює картка нижче.Так його читає майже кожен, але впевненість відповідає на зворотне питання. Вона припускає, що B нічим не кращий, і рахує, як часто шум дав би такий розрив: у 6 тестах зі 100, звідси 94%. А «наскільки ймовірно, що B кращий» — це шанс перемогти, 97%. Різницю пояснює картка нижче.Числа близькі, але відповідають на протилежні питання. Впевненість: якщо B нічим не кращий, як часто шум дав би такий розрив (у 6 тестах зі 100, звідси 94%). Шанс перемогти: ось дані, наскільки ймовірно, що B кращий (97%). Тут вони схожі, а на інших даних можуть розходитися сильніше. Різницю пояснює картка нижче.Ліфт каже, на скільки B кращий у цьому тесті, але не те, наскільки цьому можна вірити: +17% буває і від шуму. На питання «наскільки ймовірно, що B кращий» відповідає шанс перемогти, 97%. А впевненість відповідає на зворотне: якщо B нічим не кращий, як часто шум дав би такий розрив. Різницю пояснює картка нижче.

Два числа — два питання

Впевненість 94% питає: «Якщо B насправді нічим не кращий, як часто шум дав би такий самий або більший розрив?» Відповідь: приблизно в 6 тестах зі 100, і 94% — це 100 мінус 6. Число каже, наскільки дивні ваші дані для світу, де ефекту немає.

Шанс перемогти 97% питає навпаки: «Ось мої дані. Наскільки ймовірно, що B кращий?» Саме це зазвичай і хочеться знати. Як його рахують, — у розділі 11.

Так само відрізняються два речення про медичний аналіз: «у здорової людини він помилково позитивний у 6 випадках зі 100» і «з позитивним аналізом я хворий з імовірністю 94%». Перше не дає другого: воно залежить ще й від того, наскільки рідкісна хвороба. Про це парадокс хибнопозитивного тесту.

Більшість калькуляторів значущості показують лише перше число, хоч як його називають: впевненість, значущість, confidence, significance. Якщо не певні, що бачите, загляньте в довідку інструмента: згадка про означає перше.

Перевірка результату відповідає на одне питання: якби сторінки були однакові, як часто шум дав би розрив не менший за ваш? Ця частка і є p-значення. Якщо вона менша за 5%, тобто впевненість 95% і вище, результат називають значущим. показує інше: усі ліфти, з якими ваші дані ще узгоджуються. Нижче вже вписано числа з дашборда вгорі сторінки.

Перевірка результату

Ліфт B–
p-значення–
Тест надійно помічає–ліфт і більший, з потужністю 80%

Міні-версія сторінки «Перевірте свій тест»: про процес (день рішення, повні тижні, стала частка B, метрика) вона нічого не знає і позначає його «невідомо». Відкрити ці числа в повній перевірці

Інтервал «від −1% до +35%» чесніший за «+17%»: B може бути трохи гіршим, а може бути набагато кращим, і ці дані не вміють вибрати. Третє число показує, чому: з 5 000 людей на варіант тест надійно бачить лише великі ліфти, як і обіцяв калькулятор у розділі 9. Більше про розподіли і потужність — у четвертому раунді задачі про A/A-тест.

Цю перевірку разом із поділом трафіку, розміром тесту і «шансом перемогти» можна зробити для власного тесту: «Перевірте свій тест».

11

«Ймовірність, що B кращий: 95%»

«Наш інструмент показує не впевненість, а «шанс, що B кращий». Це те саме? І на нього вже можна дивитися щодня?»

Багато інструментів рахують результат по-байєсівськи і показують «ймовірність, що B кращий» (англійською chance to beat control). На відміну від впевненості з розділу 10, це саме те число, яке хочеться знати: наскільки ймовірно, що B кращий, з огляду на ці дані. Для цього інструмент бере ще й початкове припущення про конверсії. Зазвичай воно рівне: «будь-яка конверсія однаково можлива», і вже за кількох тисяч відвідувачів усе вирішують дані.

Тепер друге питання: чи можна дивитися щодня. Перевіримо його на тесті, де переможця бути не може: обидві кнопки однакові. Магазин той самий, що в розділі 2: на кожну кнопку щодня приходить по 1 000 відвідувачів, купують 5 зі 100.

Дашборд щовечора оновлює «ймовірність, що B кращий». Команда домовилася: щойно вона сягне 95%, тест зупиняють і оголошують переможцем B. Якщо цього не станеться, тест закінчиться на 30-й вечір.

Як часто B «переможе» за ці 30 вечорів?

Так, приблизно в 24 тестах зі 100. Чому так багато, крок за кроком. Якби ви глянули лише раз, на 30-й вечір, однакові кнопки показали б «шанс 95%» для B лише в 5 тестах зі 100: тут поріг чесний. Але ви дивитеся щовечора, а число щовечора трохи змінюється, бо додаються нові покупки. Кожен вечір — ще одна нагода випадково торкнутися 95%, і досить торкнутися один раз: тест зупинено, «перемогу» записано, повернутися вниз шум уже не встигне. Сусідні вечори майже однакові, тож 30 поглядів не дають 30 × 5, але за місяць таких дотиків набирається близько 24 зі 100, майже вп'ятеро більше за обіцяні 5. Байєсівське число тут не винне: щовечора воно чесне. Винне правило «зупинитися на першому 95%», як і в розділі 2.Приблизно в 24 тестах зі 100, кожному четвертому. Якби ви глянули лише раз, на 30-й вечір, однакові кнопки показали б «шанс 95%» для B лише в 5 тестах зі 100. Але число щовечора трохи змінюється, бо додаються нові покупки, і кожен вечір — ще одна нагода випадково торкнутися 95%. Досить торкнутися один раз: тест зупинено, «перемогу» записано. Сусідні вечори майже однакові, тож 30 поглядів не дають 30 × 5, але за місяць набирається близько 24 зі 100. Байєсівське число щовечора чесне; винне правило «зупинитися на першому 95%», як і в розділі 2.

Шанс перемогти для дашборда з кнопкою «Купити»

де, найпевніше, справжня конверсія Aте саме для B

Ймовірність, що B кращий–
Впевненість, як у розділі 10–
Очікувана втрата–

Для дашборда вгорі сторінки ймовірність, що B кращий, — 97%, а впевненість 94%. Різниця не в силі тесту. Впевненість питає про розрив у будь-який бік, а шанс перемогти — лише про один: чи B кращий. Тому поріг «шанс 95%» м'якший, ніж здається: для таких даних він відповідає впевненості лише 90%.

Третє число, очікувана втрата, відповідає на практичне питання: скільки я втрачу в середньому, якщо оберу B, а він насправді гірший? Тут це 0,005 пункта конверсії, приблизно одна покупка на 20 000 відвідувачів. Деякі інструменти пропонують зупиняти тест, коли ця втрата менша за суму, яку ви вважаєте дрібницею. Це розумне бізнес-правило: дорого помилитися воно дає рідко. Але й воно не обіцяє 5 фальшивих переможців зі 100: серед однакових сторінок «переможець» знайдеться часто, просто помилка коштуватиме мало.

30 вечорів байєсівського дашборда, кнопки однакові

останній тестпопереднівечір, коли шанс B сягнув 95%

Тестів запущено–
B хоч раз сягнув 95%–
B вище 95% на 30-й вечір–

Магазин той самий, що в розділі 2: по 1 000 відвідувачів на кнопку щодня, конверсія 5%, рівне початкове припущення.

  • Щовечірній погляд на «шанс перемогти» з правом зупинитися дає фальшивого переможця B приблизно в кожному четвертому A/A-тесті. А на запланований 30-й вечір вище 95% лише близько 5 тестів зі 100: як і впевненість, байєсівське число чесне, коли погляд один.

Байєсівські дашборди при підгляданні з таблицею і перевіркою на 20 000 тестів — у четвертому раунді задачі про підглядання.

12

Виручка на відвідувача і один великий клієнт

«Головна метрика — виручка на відвідувача. B програв. А раптом через одного клієнта, який купив на 60 000?»

Підозра природна: великі замовлення справді трапляються рідко, але важать багато. Щоб відповісти, спершу подивімося, як шумить ця метрика.

Виручка на відвідувача — чесна метрика: її рахують на всіх, кого випадково віднесли до A чи B (розділ 6). Але вона шумить сильніше за конверсію. До випадковості «купив чи ні» додається випадковість суми чека, а чеки розкидані: багато дрібних, трохи великих і зрідка дуже великі.

Ось група A звичайного тесту: 10 000 відвідувачів, купують 5 зі 100, тобто 500 замовлень, середній чек 800 грн. Виручка на відвідувача — уся виручка групи, поділена на 10 000 людей.

А тепер у групу A випадково потрапляє оптовий покупець і одним замовленням купує на 60 000 грн.

На скільки через це одне замовлення зросте виручка на відвідувача групи A?

Приблизно на 15%. Без оптовика група заробила 500 × 800 = 400 000 грн, тобто 40 грн на відвідувача. Одне замовлення на 60 000 додає ще 6 грн на кожного з 10 000, і виходить 46 грн замість 40: +15%. Це більше, ніж увесь ефект, який зазвичай шукає тест, тож один клієнт справді може перевернути вердикт.Інтуїція рахує замовлення: одне з 500 — це лише 0,2%. Але метрика рахує гроші. Без оптовика група заробила 500 × 800 = 400 000 грн, тобто 40 грн на відвідувача. Одне замовлення на 60 000 додає ще 6 грн на кожного з 10 000, і виходить 46 грн замість 40: +15%.

Модель: по 10 000 відвідувачів на варіант. B справді кращий: конверсія 5,5% проти 5%, тобто виручка на відвідувача на 10% більша, а чеки в обох однакові. Середній чек 800 грн, половина замовлень дешевша за 389 грн, одне зі ста дорожче за 6 350 грн.

Тест на виручку

Виручка вказала на B–
Конверсія вказала на B–

  • Без великих клієнтів виручка вказує на кращий B у 78 тестах зі 100, конверсія — у 94. Один оптовий покупець у групі A знижує це до 35: вердикт перевертається частіше, ніж ні. Обрізаний на 99-му перцентилі, той самий покупець майже нічого не змінює: 78 зі 100.
Історія У аналітиків є закон Тваймана, названий на честь британського дослідника медіа Тоні Тваймана: будь-яке число, яке виглядає цікавим або незвичним, найпевніше, помилкове. Роні Кохаві, Даян Танг і Я Сю присвятили йому окремий розділ своєї книжки про онлайн-експерименти. Перш ніж радіти великому ліфту виручки, пошукайте помилку: дубль замовлення, тестового покупця, оптову закупівлю. Джерело: Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments», Cambridge University Press, 2020, розділ 3.

Як шумить виручка і чому для неї треба більше людей, з графіком показано в четвертому раунді задачі про A/A-тест.

13

Перевірте трафік

«Ділили навпіл, а в групах трохи різна кількість людей. Це ж дрібниця?»

Команда ділила трафік навпіл, а в підсумку місяця бачить 50 000 відвідувачів в A і 48 500 у B. Різниця 1 500 людей, близько 3%.

Ідеально рівного поділу ніхто не чекає: кожного відвідувача відправляють в A чи B, ніби підкидають монетку, і випадковість трохи розгойдує частки. Питання в тому, наскільки сильно.

Розрив у 1 500 людей — це звичайний шум?

Ні. За чесного поділу кожна група мала б по 49 250 людей, і шум зазвичай зсуває це число не далі ніж на ±314. Тут A має на 750 більше за план, а випадково такий перекіс трапляється приблизно у 2 тестах на мільйон (p-значення 0,0000018). Десь губляться відвідувачі B.Конверсії тут ні до чого: поділ перевіряють за самою кількістю людей. І 3% лише здаються дрібницею. За чесного поділу кожна група мала б по 49 250 людей, і шум зазвичай зсуває це число не далі ніж на ±314. Тут A має на 750 більше за план; випадково таке трапляється приблизно у 2 тестах на мільйон. Десь губляться відвідувачі B.

У розділі 5 частку B змінювали навмисно, і вже це псувало підсумок. Тут частка змінюється сама, і ніхто цього не планував. Такий перекіс називають SRM. Найчастіші причини: боти, які частіше потрапляють в одну групу; переадресація на нову сторінку, під час якої частина людей губиться; повільніша сторінка, з якої люди йдуть, перш ніж аналітика їх порахує. В усіх випадках зникають не випадкові люди, а якісь певні, і порівняння A з B вже нечесне.

Ще одне джерело втрат — приватність. Хто відхилив банер згоди на cookie, того аналітика часто не рахує взагалі. Safari з 2019 року обмежує сімома днями життя cookie, які ставить скрипт на сторінці (функція Intelligent Tracking Prevention 2.1 у WebKit), тож людина, що повернулася за тиждень, може потрапити в групу заново. Блокувальники реклами вимикають частину скриптів аналітики й тестування. Поки ці втрати однакові в A і B, вони лише зменшують вибірку. Біда, коли вони різні. Наприклад, B відкривається через переадресацію на нову адресу, і там банер згоди з'являється ще раз: частина людей натискає «Відхилити» і зникає з даних лише в B.

Перевірка поділу трафіку

Відхилення від плану–
Шум зазвичай дає–
p-значення поділу–

Що з цими числами скаже повна перевірка тесту? Конверсії в полях вище потрібні лише їй: поділ трафіку перевіряють за самими відвідувачами.

Міні-версія сторінки «Перевірте свій тест»: про процес (день рішення, повні тижні, стала частка B, метрика) вона нічого не знає і позначає його «невідомо». Відкрити ці числа в повній перевірці

Ця сама перевірка є і в п'ятому раунді задачі про A/A-тест.

14

Чекати п'ять тижнів не можу

«Калькулятор каже 5 тижнів. У мене стільки немає. Що робити?»

Так питає власник магазину з калькулятора в розділі 9. Він хоче помітити +10% до конверсії 5%, а для цього треба 31 234 відвідувачі на кожен варіант.

Магазин отримує 2 000 відвідувачів на день, по 1 000 на варіант. Вибірка набереться за 32 дні, а тест іде повними тижнями, тож виходить 5 тижнів.

Це довго: поки тест іде, сторінку не перевіриш іншою ідеєю, а керівник чекає відповіді. Закінчити раніше можна по-різному. Але поріг 95% обіцяє не більше 5 фальшивих переможців зі 100, і не кожен спосіб цю обіцянку зберігає.

Який із цих способів закінчити раніше чесний?

Дні перегляду, призначені до старту, і суворіший поріг на кожному з них тримають фальшивих переможців на обіцяних 5 зі 100. Інші два способи — це підглядання з розділу 2. Там щовечірні погляди з правом зупинитися на першому 95% за 30 днів дали близько 28 фальшивих перемог зі 100 замість 5. «Зупинитися, коли ліфт перестане рости» — те саме з іншим правилом: ліфт гуляє від шуму, тож день зупинки обирає шум.Це підглядання з розділу 2: кожен погляд з правом зупинитися дає шуму ще одну спробу. Там щовечірні погляди за 30 днів дали близько 28 фальшивих перемог зі 100 замість обіцяних 5. Чесно — призначити кілька днів перегляду до старту і на кожному вимагати суворішого порогу: тоді фальшивих переможців лишається 5 зі 100.

Безкоштовного способу немає: кожен варіант нижче чимось платить. Числа ті самі, що вище: 31 234 відвідувачі на варіант, щоб помітити +10%. Кожен варіант з інтерактивом розібрано в п'ятому раунді задачі про підглядання.

Що робитеЧим платите
1. Призначаєте погляди напередДва-три дні перегляду, на кожному поріг суворіший за 95% Чим платитеТест, що не зупинився раніше, трохи довший; дивитися лише в призначені дні
2. Тестуєте сміливішу змінуДля +20% треба 8 158 на варіант замість 31 234 Чим платитеДрібних покращень не побачите. Пасує малому трафіку: нова пропозиція чи ціна замість відтінку кнопки
3. Прибираєте шум даними «до тесту»Хто багато купував раніше, той і зараз купує більше; це можна відняти. Тест коротшає на чверть, якщо поведінка до тесту і в тесті помірно схожа Чим платитеПотрібні дані про тих самих людей до тесту: залогінені й постійні клієнти, а не нові з реклами
4. Берете частішу подію як метрикуКлік трапляється частіше за покупку, тож шуму відносно менше Чим платитеКлік — лише замінник: більше кліків не гарантує більше грошей (розділ 6). Годиться, коли зв'язок із виручкою вже перевірено
5. Свідомо слабший стандартПоріг 90% і потужність 80%: 24 603; 95% і 50%: 15 288; 90% і 50%: 10 767 на варіант Чим платитеБільше фальшивих переможців або більше пропущених ідей. Для дешевих змін, які легко відкотити; стандарт записано до старту
6. Поступово віддаєте трафік кращомуЩо краще працює варіант, то більше людей його бачать Чим платитеВи заробляєте, а не дізнаєтеся: гірший варіант бачить мало людей. Пасує короткій акції чи темам листів
7. Не називаєте це експериментомЗапускаєте зміну, лишивши невелику контрольну групу на старій версії Чим платитеНе дізнаєтеся, чи зміна допомогла; група ловить лише великі провали. Коли трафіку замало для будь-якого тесту
Детальніше: як ці способи називають фахівці
О'Браєн–Флемінг (спосіб 1)
Найпоширеніший розклад суворіших порогів: на ранніх поглядах поріг дуже суворий, на останньому майже звичайні 95%. Зупинитися рано можна лише за справді великого ефекту.
CUPED (спосіб 3)
Метод, який віднімає від результату людини ту частину, яку можна передбачити з її поведінки до тесту. Скільки шуму він прибирає, залежить від схожості «до» і «під час», яку позначають ρ: від 0 (ніякої) до 1 (повна). Шум множиться на 1 − ρ², тож за ρ = 0,5 лишається 75% шуму і тест коротшає на чверть.
Багаторукий бандит (спосіб 6)
Назва від ігрових автоматів: алгоритм постійно вирішує, на який «автомат» поставити, і поступово ставить на той, що платить більше. Добрий для заробітку, слабкий для висновків.

Якщо платформа обіцяє «AI-оптимізацію» і сама перекидає трафік на кращий варіант, це спосіб 6. Перед підписанням варто спитати чотири речі. Скільки людей побачить гірший варіант і чи зможете ви потім сказати, наскільки переможець кращий? Чи можна вимкнути автоматику і провести звичайний тест із фіксованим поділом? Яку метрику оптимізує алгоритм: кліки чи покупки (розділ 6)? Що він робить, коли ефект з часом згасає, як новизна в розділі 7?

Глибше: два автомати і скільки спроб треба, щоб не помилитися.

Багаторукий бандит

Один автомат виграє в 60% спроб, другий у 50%. Ви тестуєте кожен 10 разів. Як часто ви оберете гірший?

  • Навіть план «по 10 спроб кожного автомата, далі граємо кращий» обирає гірший із автоматів на 60% і 50% у третині випадків. Бандит розумніший, але платить тим самим: гірший варіант бачить мало людей, тож про нього ви знаєте мало.
15

План тесту

«Як усе це не забути, коли запускаю наступний тест?»

Так питає кожен, хто дочитав до цього місця: пасток багато, і в робочій метушні про них легко забути. Допомагає план — півсторінки, написані до старту тесту.

Ось одне з його питань. Тест закінчився, і колега пропонує: «А подивімося окремо мобільних, нових клієнтів, кожну країну — раптом десь B виграв». Окремі зрізи справді бувають корисні. Питання в тому, коли їх обирати.

Коли треба вирішити, на які сегменти ви подивитеся окремо?

Сегмент, обраний після тесту, — це пошук серед 20 країн з розділу 3: коли зрізів 20, хоч один «світиться» від самого шуму в 64 випадках зі 100. Названий наперед, сегмент стає однією чесною перевіркою з обіцяними 5 шансами зі 100 на помилку.Тоді ви шукаєте серед багатьох зрізів, як у розділі 3 з 20 країнами: серед 20 зрізів хоч один «світиться» від самого шуму в 64 випадках зі 100. Названий до старту, сегмент стає однією чесною перевіркою.

План захищає від більшості пасток курсу: день рішення від підглядання (розділ 2), сегменти і кількість варіантів від пошуку переможця (3, 4), метрика на відвідувача від кошика (6), MDE і вибірка від замалого тесту (9), поріг обрізання чеків від одного великого клієнта (12). Числа нижче беруться з калькулятора в розділі 9: змініть їх там, і план оновиться.

Шаблон плану

Порожній шаблон плану для вашого документа (Markdown)

Для наступного тесту: ті самі пункти, що в прикладі вище, з дужками для ваших чисел і пунктами чекліста «Перед стартом» і «Під час тесту». Markdown розуміють Notion, Confluence, GitHub, Google Docs (з увімкненим Markdown) і більшість трекерів задач.


      

16

Звіт для керівника

«Тест закінчився. Як за п'ять хвилин пояснити керівнику, що ми дізналися і що робимо?»

Тест нової сторінки доставки щойно закінчився. Усе йшло за планом з розділу 15: вибірку набрано, тест зупинили в запланований день, поділ трафіку в межах шуму.

У A купили 1 750 з 35 010 відвідувачів (5,00%), у B — 1 960 з 34 990 (5,60%). Перевірка з розділу 10 показує: ліфт +12%, 95% довірчий інтервал від +5% до +19%, впевненість 99,96%.

Нова сторінка коштувала грошей. Фінансисти порахували: вона окупиться, якщо покупок стане щонайменше на 5% більше. Керівник прочитає одне речення, а не таблицю.

Яке речення для звіту чесне?

Це речення називає три речі, які потрібні керівнику: що вийшло (+12%), наскільки точно це відомо (від +5% до +19%) і чому рішення правильне навіть у найгіршому правдоподібному випадку (+5% окупає зміну). Решта два речення видають середину інтервалу за точне число.Звучить упевнено, але неточно. +12% — лише середина інтервалу: правда може бути і +5%, і +19%. А 99,96% каже лише, що однакові сторінки майже ніколи не дали б такого розриву (розділ 10): що B кращий, майже напевно, але не те, на скільки. Про розмір ефекту говорить інтервал, тож чесне речення називає його і рішення.

Звіт — продовження плану з розділу 15: план каже, що і як ви перевірятимете, звіт — що вийшло і що далі. Шаблон нижче заповнено прикладом сторінки доставки. Числа результату він рахує сам: ліфт, інтервал простими словами, впевненість і перевірку поділу трафіку.

Шаблон звіту

Порожній шаблон звіту для вашого документа (Markdown)

Ті самі розділи, що в прикладі вище, з дужками для ваших чисел і пунктами чекліста «Після тесту». Числа результату порахує розділ 10 або «Перевірте свій тест».


      

Історія 2008 року команда Обами тестувала стартову сторінку сайту кампанії: чотири варіанти кнопки і шість картинок чи відео, 24 комбінації. Команда чекала, що переможе відео, але всі відео програли всім картинкам. Найкраща комбінація дала 11,6% підписок проти 8,26% в оригіналу, тобто +40,6%. Звіт, який записує і хибні очікування, вчить команду більше, ніж список перемог. Джерело: Dan Siroker, «How Obama Raised $60 Million by Running a Simple Experiment», блог Optimizely, 2010.
Що ви вже вмієте Ви рахуєте, скільки людей треба і чи вартий ліфт грошей (9), перевіряєте результат і правильно читаєте впевненість (10) і шанс перемогти (11), не даєте одному клієнту вирішити тест на виручку (12), ловите перекіс трафіку (13), знаєте чесні компроміси, коли чекати не можна (14), складаєте план (15) і звіт (16). Для одного тесту цього досить. Третя частина для тих, хто проводить десятки тестів: що відбувається за рік і коли сам інструмент рахує не те. Її можна пропустити і перейти одразу до іспиту.
Дві швидкі перевірки, за бажанням

Конверсія 5%. Щоб надійно помітити +10%, калькулятор просить 31 234 людини на варіант. А щоб помітити +20%?

Вибірка росте як квадрат точності: удвічі більший ефект — приблизно вчетверо менше людей. Калькулятор із розділу 9 дає 8 158.Вибірка росте як квадрат точності, тож удвічі більший ефект потребує приблизно вчетверо менше людей: калькулятор із розділу 9 дає 8 158. Тому малий MDE такий дорогий.

Тест закінчився: ліфт +6%, 95% інтервал від −2% до +14%, p = 0,14. Яке речення для звіту чесне?

Інтервал містить і нуль, і +14%, тож обидва інші речення кажуть більше, ніж знають дані (розділ 10). Що робити далі, вирішує план: якщо вибірку набрано, ефект, якщо він є, менший за MDE.Інтервал містить і нуль, і +14%: «B дав +6%» видає середину за точне число, а «B не працює» ігнорує, що дані не виключають і +14% (розділ 10).

Частина 3 · для просунутих · можна пропустити

Для просунутих

Друга частина навчила проводити один тест чесно. Тут пастки, які видно лише на масштабі: рік чесних тестів, який усе одно не складається у виручку, звіт, що рахує сесії замість людей, попап, який бачать не всі, і акція, що перемагає, забираючи товар у контрольної групи. Розділи спираються на новизну (розділ 7), калькулятор (9) і перевірку (10).

17

Перемоги складаються, а виручка стоїть

«За рік ми запустили всі значущі перемоги. У звіті вони складаються у великий приріст. Чому виручка майже не змінилася?»

Буває, що річний звіт і каса розходяться. Ось як минув рік однієї команди.

Команда провела 40 тестів, кожен по 10 000 відвідувачів на варіант. Конверсія сайту 5%.

Справді працює лише кожна п'ята ідея, тобто 8 із 40, і її ефект скромний: +5% відносно, 5,25 покупки на 100 відвідувачів замість 5. Решта 32 ідеї нічого не змінюють.

Кожного значущого переможця запускають, а його ліфт із дашборда записують у річний звіт. У середньому за рік ці ліфти складаються в +28%.

Після запуску ефекти слабшають: як у розділі 7, за пів року третина справжнього ефекту згасає. А невелика частка відвідувачів увесь рік бачила старий сайт, без жодної запущеної зміни. Це , довга контрольна група: порівняння з нею показує, що всі зміни дали насправді.

Звіт каже +28%. Що покаже порівняння з контрольною групою?

Близько +3%, майже вдев'ятеро менше за звіт. За рік у середньому 1,8 перемоги, і 0,8 з них — порожні ідеї, які виграли завдяки шуму. Справжню ідею тест такого розміру помічає лише в 12 випадках зі 100, тож проходить вона, коли шум допоміг, і її записаний ліфт у середньому +16% замість справжніх +5%. Справжній приріст за рік +4,9%, а після згасання лишається +3,3%. Подивіться нижче.Інтуїція каже: запущені перемоги — це запущений приріст. Але контрольна група покаже в середньому близько +3%, майже вдев'ятеро менше. З 1,8 перемоги за рік 0,8 фальшиві, а справжні проходять, лише коли шум їм допоміг: записаний ліфт +16% замість +5%. І ще третина справжнього ефекту згасає. Подивіться нижче.

Рік тестів

запущено, ідея справді працюєзапущено, ідея порожняне запущено

Тут працюють три механізми. Перший: фальшиві переможці, порожні ідеї, які виграли завдяки шуму, як у розділі 1. Другий: прокляття переможця. З 10 000 людей на варіант тест помічає +5% лише зрідка: калькулятор із розділу 9 просив би для цього 122 124. Тож справжня ідея проходить, лише коли шум цього разу допоміг, і її записаний ліфт у кілька разів більший за справжній. Третій: ефекти згасають після запуску, як новизна в розділі 7. Що більша вибірка, то слабші перші два механізми: посуньте другий повзунок праворуч.

Буває й гірше: малий тест не лише перебільшує, а й плутає знак. Якщо в магазину лише по 1 000 людей на варіант, справжні +5% тест помічає в 6 випадках зі 100. Серед таких значущих результатів ліфт перебільшений у середньому вдев'ятеро, а майже чверть із них кажуть, що B гірший, хоча насправді він кращий. За 10 000 на варіант перебільшення втричі, а знак плутають 2–3 значущі результати зі 100. Фахівці називають ці дві помилки Type M (від magnitude, розмір) і Type S (від sign, знак).

Глибше: занадто добре, щоб бути правдою (закон Тваймана)

У розділі 12 ми вже згадували закон Тваймана: число, яке виглядає цікавим або незвичним, найпевніше, помилкове. Ось чому це правило працює в тестах. Візьмімо команду з цього розділу: 10 000 людей на варіант, конверсія 5%. Типове тремтіння ліфту в такому тесті — близько ±6%. Ідея, що справді дає +5%, покаже на дашборді +40% і більше приблизно в 1–2 тестах на мільйон, а порожня ідея — ще приблизно в 40 разів рідше. Тож коли зміна кольору кнопки дає +40%, найпростіше пояснення — не геніальна ідея, а поломка: перекіс трафіку (розділ 13), подія, яку рахують двічі або лише в одній групі, боти, сесії замість людей (розділ 18), одне величезне замовлення (розділ 12).

Що робити з результатом, який занадто добрий: спершу шукати помилку, і лише потім радіти. Перевірте поділ трафіку, звірте числа дашборда з іншим джерелом (замовлення в CRM, оплати), подивіться ліфт по днях: поломка часто починається з певного дня. Якщо помилки немає, повторіть тест. Справжній ефект повториться, хоча, найпевніше, меншим, як показав цей розділ.

Чому записані перемоги перебільшені і чому серед них трапляються фальшиві, у двох задачах каталогу: прокляття переможця і хибнопозитивний тест.

Джерело закону: Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments», Cambridge University Press, 2020, розділ 3. Ймовірності — точний біноміальний розрахунок для 10 000 відвідувачів на варіант.
Історія У Microsoft підсумували результати своїх онлайн-експериментів: лише близько третини ідей покращували ту метрику, заради якої їх придумали; приблизно третина нічого не змінювала, а ще третина шкодила. Тож припущення в моделі вище, що працює кожна п'ята ідея, не надто похмуре. Джерело: Ron Kohavi, Thomas Crook, Roger Longbotham, «Online Experimentation at Microsoft», 2009.

Глибше: чому переможець торгів майже завжди переплачує.

Прокляття переможця

Десятеро чесно оцінюють банку з монетами на 100 гривень і ставлять свої оцінки. Скільки в середньому заробить переможець аукціону?

  • Торги виграє той, хто найбільше переоцінив банку, а тест — варіант, якому найбільше допоміг шум. Тому записаний ліфт переможця перебільшений так само, як ставка переможця торгів.

Глибше: той самий механізм поза маркетингом.

Парадокс хибнопозитивного тесту

Хворобу має 1% людей. Тест точний на 99%, і ваш результат позитивний. Який шанс, що ви справді хворі?

  • Частка фальшивих серед переможців залежить від того, наскільки рідкісні добрі ідеї. Це той самий механізм, що в парадоксі хибнопозитивного тесту: коли справжнє рідкісне, навіть точний тест дає багато хибних «так».
18

Рахували сесії, а не людей

«Інструмент ділить людей на A і B, а звіт показує конверсію сесій. Яка різниця?»

Слово «сесії» у звіті легко проскочити. Здається, це технічна дрібниця. Перевірмо її на тесті, де правильна відповідь відома наперед.

Це A/A-тест: обидві сторінки однакові, тож справжньої різниці немає. На кожен варіант по 1 000 людей. 900 із них заходять один раз, а 100 постійних клієнтів — по 20 разів на місяць. Разом 2 900 сесій на варіант.

Сесії однієї людини схожі між собою: хто любить купувати, купує в багатьох своїх сесіях, хто ні — рідко в якій. Звіт ділить покупки на сесії, а перевірка, як у розділі 10, рахує кожну сесію окремим спостереженням.

Скільки таких A/A-тестів зі 100 вийдуть «значущими» на порозі 95%?

У прикладі нижче — близько 30 зі 100, ушестеро більше за обіцяне. Перевірка бачить 2 900 незалежних сесій. Насправді 2 000 з них належать лише 100 постійним клієнтам, і сесії кожного ходять пачками: двадцять сесій однієї людини розповідають значно менше, ніж двадцять різних людей. Даних менше, ніж здається, тож шум здається перевірці сигналом. Подивіться нижче.Сесій справді більше, але вони не незалежні: 2 000 із 2 900 належать лише 100 постійним клієнтам, і сесії кожного ходять пачками. Перевірка думає, що даних більше, ніж є, і в прикладі нижче бачить «значущу» різницю між однаковими сторінками приблизно в 30 тестах зі 100. Подивіться нижче.

Тисяча A/A-тестів, рахуючи сесії

Кожен стовпчик — одна людина, кожен квадратик — сесія, зафарбований — сесія з покупкою. Покупки постійних клієнтів ідуть пачками.

ρ = 0: сесії людини , наче кожну робить інша людина; ρ = 1: людина в усіх сесіях поводиться однаково.

розрив A і B у тестах, у стандартних похибках«значущі»: далі за 1,96, тобто за поріг 95%крива, яку припускає перевірка

«Значущих», рахуючи сесії–
За формулою–
Рахуючи людей–

Наскільки перевірка помиляється, оцінює проста формула. Шум насправді більший у 1 + (m − 1)·ρ разів, де m — скільки сесій припадає на людину (для нерівних візитів беруть середнє, зважене кількістю сесій), а ρ — схожість сесій однієї людини. Це число називають ефектом дизайну. Коли кожен заходить раз або сесії однієї людини незалежні, воно дорівнює 1, і помилки немає.

19

Попап бачать не всі

«Попап зі знижкою з'являється, коли людина збирається піти. Серед тих, хто його бачить, покупок на чверть більше. Скільки це для всього магазину?»

Результат тесту попапа вже є. Щоб перевести цю чверть на весь магазин, спершу треба знати, хто саме бачить попап.

Попап з'являється, коли людина вже тягнеться закрити вкладку. Так робить кожен п'ятий відвідувач, і без попапа такі люди купують рідко: 2 зі 100.

Решта попапа не бачать і купують як завжди: 6 зі 100. Разом магазин конвертує 5,2%.

Тест порівняв тих, хто бачив попап у B, з такими самими людьми в контрольній групі. Покупок у них стало на 25% більше: 2,5 зі 100 замість 2.

На скільки зросла конверсія всього магазину?

Близько +1,9%. Порахуйте на 100 відвідувачів: 20 бачать попап і купують 0,5 замість 0,4, решта 80 купують 4,8, як і раніше. Разом 5,3 покупки замість 5,2, тобто +1,9%. Ефект ділять не на частку людей, а на частку покупок: ті, хто бачить попап, — 20% відвідувачів, але лише 7,7% покупок, бо купують утричі рідше за решту.Так рахують найчастіше, і це завищує ефект у 2,6 раза. Ті, хто бачить попап, — 20% людей, але лише 7,7% покупок: вони купують утричі рідше за решту. 25% від 7,7% — це +1,9% для магазину.Попап змінює лише покупки тих, хто його бачить, а їхні покупки — 7,7% від усіх. На 100 відвідувачів це 0,5 покупки замість 0,4, а всього 5,3 замість 5,2: +1,9% для всього магазину.

Калькулятор розведення

Ліфт для всього магазину–
Якби множили на частку людей–
Відвідувачів на варіант, якщо аналізувати всіх–
…якщо аналізувати лише тих, хто бачив–

Тут два розведення. Перше розводить ефект: попап змінює лише частину покупок, а ліфт магазину рахують від усіх. Друге розводить сигнал шумом: люди, яких попап не торкнувся, купують чи не купують випадково, і цей шум лишається в тесті. Тому в прикладі тест, що аналізує всіх, потребує 780 865 відвідувачів на варіант, а аналіз лише тих, хто бачив попап, — 69 045 відвідувачів, з яких попап побачать 13 809. Це в 11 разів менше трафіку.

Але в контрольній групі попапа немає. Кого ж там аналізувати? Тих, кому його показали б: у контролі записують подію «тут з'явився б попап» за тим самим правилом, що й у B. Тоді в обох групах однакові люди, і різниця між ними — це ефект попапа. Фахівці називають це тригерним аналізом.

Та чи завжди вигідно звужувати тест до сегмента? Правило концентрації: якщо в сегменті частка f відвідувачів, тест лише на ньому швидший тільки тоді, коли ефект там щонайменше в 1/√f разів більший, ніж у середньому на всіх. Для 10% відвідувачів це 3,16 раза, для 1% — 10 разів. Звідки корінь: людей із сегмента тест збирає в 1/f разів повільніше, а потрібна вибірка меншає як квадрат ефекту. У прикладі з попапом ефект є лише в сегменті: серед тих, хто бачить попап, на кожні 100 людей додається 0,5 покупки, а в середньому на всіх відвідувачів — 0,1, у 5 разів менше. Поріг для 20% — 2,24 раза, тож звуження окупається з запасом: за однакового шуму воно економило б трафік у 5 разів, а тут в 11, бо ці люди купують рідко і їхній результат менше шумить. А тепер інший випадок: нова форма оплати дає всім +2%, а мобільним, які становлять 10% відвідувачів, удвічі більше, +4%. Двох разів замало до порогу 3,16, і тест лише на мобільних потребує в 2,5 раза більше трафіку, ніж тест на всіх.

Найзрадливіша пастка — коли варіант сам змінює, хто бачить попап. Скажімо, у B він з'являється не на виході, а вже за 10 секунд, і його бачать ще й ті, хто вагається: їх 20%, і вони купують 3 зі 100. Хай попап не робить нічого. Тоді серед тих, хто бачив попап у B, конверсія 2,5% проти 2% у контрольній групі, тобто +25%. Серед решти — 7% проти 6%, теж зростання. А весь магазин як мав 5,2%, так і має: просто люди перейшли з однієї групи в іншу.

Глибше: як одна людина, перейшовши в іншу команду, робить сильнішими обидві.

Феномен Вілла Роджерса

Одна людина переходить із сильної команди в слабку. Чи може середній бал зрости в обох командах?

  • Це феномен Вілла Роджерса: переведіть людей, слабших за середнє своєї групи, але сильніших за середнє іншої, і середнє зросте в обох групах, хоча ніхто не став купувати більше. Тому сегменти, межі яких зміна зсуває, порівнювати не можна.
Джерело Тригерному аналізу присвячено окремий розділ книжки, з якої вчаться A/B-тестування у великих компаніях. Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments», 2020, розділ 20.

Глибше: кому взагалі варто показувати попап зі знижкою.

Кому дати купон

Ідеальна модель знаходить 250 найімовірніших покупців, і вони отримують купони на знижку. Скільки покупок це додасть?

  • Знижку варто показувати не тим, хто найімовірніше купить, а тим, кого вона переконає: найімовірніші покупці куплять і так, а частину людей попап відлякує. Щоб знайти переконуваних, потрібна та сама контрольна група.
20

Перемога, яку B забрала в A

«Акція в групі B дала +12% продажів. Запускаємо її для всіх і чекаємо +12%?»

Тест проведено чесно: чотири тижні, поділ навпіл, розрив значущий. Але є деталь, якої на дашборді не видно, — склад.

Магазин продає ходовий товар. Його привозять 1 000 штук на тиждень, а охочих більше, 1 100, тож щотижня товар розкуповують до кінця.

Під час тесту група B бачить на цей товар акцію, група A — ні. Обидві групи купують з одного складу.

За чотири тижні B купила на 12% більше штук, ніж A.

Скільки штук на тиждень продаватиме магазин, якщо запустити акцію для всіх?

Товару лише 1 000 штук, і їх розкуповували й без акції. У тесті B купила 528 штук на тиждень, A — 472: покупці з B приходили по товар частіше і забирали те, що інакше купила б група A. Без тесту кожна група купила б по 500. Ці +12% — різниця між групами, а не нові продажі.Частка людей тут ні до чого: продажі впираються в склад. Товару лише 1 000 штук, і їх розкуповували й без акції. У тесті B купила 528 штук на тиждень, A — 472: B просто забирала те, що інакше купила б A. Запуск для всіх дасть ті самі 1 000.Товару лише 1 000 штук, і їх розкуповували й без акції. У тесті B купила 528 штук на тиждень, A — 472: B забирала те, що інакше купила б A. Запуск для всіх дасть ті самі 1 000.

Спільний склад

Тест: B проти A–
Запуск для всіх–
B забрала в A–

Акція не привезла на склад нового товару: вона лише допомогла групі B встигати першою. Скільки штук виграла B, стільки ж недорахувалася A, тож розрив між групами подвоюється: B на 28 штук вище за звичайні 500, A на 28 нижче, разом 56 штук, ті самі +12%. Фахівці називають це інтерференцією: результат однієї групи залежить від того, що бачить інша. Якщо акція — це знижка 10%, то виручка в тесті покаже +0,8% для B, а запуск дасть −10%: ті самі 1 000 штук, лише дешевше.

Так буває всюди, де групи щось ділять. Рекламний бюджет і аукціон: якщо B ставить вищі ставки, A програє покази чи платить більше за клік, і тест перебільшує перевагу B. Маркетплейс: знижка в B забирає в A вільних кур'єрів чи товар продавців. Реферали й соцмережі: людина з A бачить запрошення друга з B і теж отримує частину ефекту, тож тут тест його применшує. Той самий механізм усередині продукту — у розділі 12 курсу «Чи працює фіча?»: нова фіча забирає дії в старої.

Позначка «поділити склад» показує, як це лікують: дайте кожній групі її частку спільного ресурсу, таку саму, як частка людей. Тоді B не може взяти чуже, і тест показує те, що дасть запуск. Так у тестах реклами ділять бюджет. Де ресурс не поділиш, ділять не людей, а цілі світи: міста чи регіони (кластерна, або гео-рандомізація) чи час, коли весь магазин живе з акцією в одні дні й без неї в інші (switchback). Плата за це — менше незалежних одиниць, тож такі тести довші.

Глибше: чи може нова дорога зробити поїздку довшою для всіх?

Парадокс Браеса

4000 водіїв їдуть по 65 хвилин. Місто відкриває безкоштовну миттєву перемичку між маршрутами. Поїздка стане коротшою чи довшою?

  • Це парадокс Браеса: нова перемичка скорочує шлях кожному, хто нею поїхав, поки інші їздять по-старому, але коли нею їдуть усі, кожен водій їде 80 хвилин замість 65. Те, що допомагає частині людей, може перестати працювати чи нашкодити, коли так роблять усі: тест порівнює частину з рештою, а запуск змінює всю систему.
Джерело Дослідники eBay показали на аукціонах, що тестова і контрольна групи змагаються за ті самі лоти, і через це тест може помітно завищити ефект. Витоку між варіантами присвячено окремий розділ і в книжці Кохаві. Thomas Blake, Dominic Coey, «Why Marketplace Experimentation Is Harder than It Seems: The Role of Test-Control Interference», EC 2014; Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments», 2020, розділ 22.
Що ви вже вмієте Ви знаєте, чому сума перемог за рік більша за справжній приріст і як це перевірити контрольною групою (17), помічаєте, коли інструмент рахує сесії замість людей (18), знаєте, як рахувати ефект попапа, який бачать не всі (19), і бачите, коли B перемагає, забираючи в A (20). Лишився іспит: шість дашбордів із пастками курсу, а потім вердикт дашборду з кнопкою «Купити».
Дві швидкі перевірки, за бажанням

За рік 12 тестів-переможців записали у звіт ліфти, що разом дають +40%. Річна контрольна група на старому сайті показує, що всі зміни разом дали +9%. Що найімовірніше?

Фальшиві переможці, прокляття переможця і згасання після запуску роздувають суму записаних ліфтів, а контрольна група міряє те, що лишилося насправді (розділ 17).Контрольна група чесніша за суму перемог: фальшиві переможці, прокляття переможця і згасання після запуску роздувають записані ліфти, а вона міряє те, що лишилося насправді (розділ 17).

Група B отримує безкоштовну доставку, а обидві групи возять ті самі кур'єри, тож в A доставка стала повільнішою. Тест: B +15% замовлень. Чого чекати, коли безкоштовну доставку отримають усі?

Частину перемоги B забрав в A: тест порівнював B із погіршеним A, а після запуску кур'єрів ділитимуть усі (розділ 20).Групи ділили кур'єрів, тож тест порівнював B із погіршеним A: частину перемоги B забрав в A. Після запуску кур'єрів ділитимуть усі, і ефект буде меншим (розділ 20).

Фінал

Іспит і вердикт

Усе, що було в курсі, тепер на дашбордах. Пастки з першої частини, перевірки з другої. Якщо ви пропустили третю, іспит від цього не постраждає.

21

Іспит: шість дашбордів

«Ось шість тестів. Що з ними робити?»

Шість дашбордів випадково обрано з банку з 22, і щоразу це інші пастки. Здебільшого в дашборді одна пастка з курсу, але трапляються й чесні тести без жодної. Оберіть вердикт. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося. Набір зберігається: якщо закриєте сторінку, продовжите з тими самими дашбордами.

Дашборд 1

Тест: новий заголовокдень 3 з 35
A150 з 3 000 · 5,00% B187 з 3 000 · 6,23%
B +25%впевненість 96%

План: 31 234 на варіант, рішення на 35-й день. Поділ 3 000 / 3 000, метрика — покупки на відвідувача.

Чекати до 35-го дня. Третій вечір — це той самий щовечірній погляд із розділу 2: поріг 95% розрахований на один погляд наприкінці. Тест має лише 3 000 людей замість 31 234, і інтервал широкий, від +1% до +48%.

Дашборд 2

Тест: нова форма оплатидень 28 з 28
A2 500 з 50 000 · 5,00% B2 650 з 48 500 · 5,46%
B +9%впевненість 99,9%

План: поділ 50/50, рішення на 28-й день, метрика — покупки на відвідувача.

Спершу перевірити трафік. 50 000 проти 48 500 за плану 50/50: шум дає такий перекіс рідше ніж раз на пів мільйона тестів, p = 0,0000018 (розділ 13). Десь губляться певні відвідувачі B, і +9% порівнює вже різних людей.

Дашборд 3

Тест: знижка в листі · 20 країнрозсилку завершено
A1 000 з 20 000 · 5,00% B1 010 з 20 000 · 5,05%
B +1%впевненість 18%

Зріз за країнами: Польща, B +50%, впевненість 96% (40 і 60 покупок з 1 000). Сегментів у плані не було.

Не висновок, а гіпотеза. Загалом лист нічого не дав, а 20 країн — це 20 шансів на фальшиву «перемогу»: у розділі 3 вона траплялася в більшості кампаній. Польщу варто перевірити окремим тестом, де її названо наперед.

Дашборд 4

Тест: сторінка доставкидень 35 з 35
A1 750 з 35 010 · 5,00% B1 960 з 34 990 · 5,60%
B +12%впевненість 99,96%

План: MDE +10%, 31 234 на варіант, 5 повних тижнів, поділ 50/50, метрика — покупки на відвідувача, без сегментів. Рішення в запланований день.

Запускати. Тут пастки немає: вибірку набрано (розділ 9), рішення в запланований день, повні тижні, поділ у межах шуму, p = 0,94 (розділ 13), метрика на відвідувача. Інтервал від +5% до +19%: навіть нижня межа окупає зміну. Після запуску ефект варто перевірити ще раз (розділ 7).

Дашборд 5

Тест: нова картка товару · кошик → покупкадень 14 з 14
A860 з 2 150 · 40,0% B920 з 2 750 · 33,5%
B −16%впевненість понад 99,9%

Відвідувачів по 10 000 на варіант. Дашборд рахує частку покупок серед тих, хто поклав товар у кошик.

Перерахувати на відвідувача. Кошик бачить лише тих, хто до нього дійшов, а B привів туди ще й прохолодних (розділ 6). На всіх відвідувачів: 860 проти 920 покупок з 10 000, тобто +7%. Цей ліфт поки незначущий, впевненість 86%, але вердикт дає саме він, а не кошик.

Дашборд 6

Тест: тема листа · автопереможець2 години після розсилки
A2 460 відкриттів з 5 000 · 49,2% B2 350 відкриттів з 5 000 · 47,0%
A +5% за відкриттямивпевненість 97%

О 12:00 платформа надішле тему A решті 80% списку, 40 000 адрес. Кліків поки: A 72, B 76. Головна мета розсилки — продажі.

Вирішувати за кліками і пізніше. За дві години відкриття — це здебільшого звичні читачі й автоматичні «відкриття» Apple Mail, а тему, яку частіше відкривають, не обов'язково частіше клікають (розділ 8). Кліків поки лише 148, і 72 проти 76 — звичайний шум, впевненість 26%. Перемкніть автопереможця на кліки або покупки з вікном хоча б у добу.

Дашборд

Тест: блок відгуків на картці · байєсівський дашборддень 6 з 28
A300 з 6 000 · 5,00% B345 з 6 000 · 5,75%
B +15%шанс перемогти 97%

Інструмент пише: «B — переможець, тест можна зупиняти». План: MDE +10%, 31 234 на варіант, рішення на 28-й день.

Чекати до 28-го дня. «Шанс перемогти» теж не можна читати щовечора з правом зупинитися: у розділі 11 такий погляд давав фальшивого переможця приблизно в кожному четвертому A/A-тесті. Та й звичайна впевненість тут лише 93%, а людей 6 000 із запланованих 31 234.

Дашборд

Тест: колір кнопки «Купити»день 21 з 21
A2 060 з 41 200 · 5,00% B2 678 з 38 800 · 6,90%
B +38%впевненість понад 99,9%

План: поділ 50/50, рішення на 21-й день, метрика — покупки на відвідувача.

Спершу перевірити трафік. За плану 50/50 кожна група мала б 40 000 людей, і шум зазвичай зсуває це не далі ніж на ±283; тут A має на 1 200 більше, p менше за 0,000000001 (розділ 13). До того ж +38% від кольору кнопки — занадто добре, щоб бути правдою: такий ліфт найчастіше означає поломку в даних, а не відкриття (закон Тваймана, розділ 17).

Дашборд

Тест: 8 заголовків від AI проти поточногодень 28 з 28
A1 000 з 20 000 · 5,00% B51 100 з 20 000 · 5,50%
B5 +10%впевненість 97,5%

Найкращий із восьми — заголовок B5; решта сім — від −6% до +5%. План: 20 000 на кожен із дев'яти варіантів, рішення на 28-й день.

Не висновок, а кандидат. Вісім нових заголовків — вісім спроб для шуму: поріг для кожного — 5%, поділені на 8, тобто 0,00625, а тут p = 0,025 (розділ 4). Переможця такого пошуку підтверджують окремим A/B-тестом проти поточного заголовка, і його ліфт, найпевніше, буде меншим.

Дашборд

Тест: коротша форма реєстраціїдень 28 з 28
A2 401 з 30 010 · 8,00% B2 640 з 29 990 · 8,80%
B +10%впевненість 99,96%

План: MDE +8%, 29 232 на варіант, 4 повні тижні, поділ 50/50, метрика — реєстрації на відвідувача, без сегментів. Рішення в запланований день. Фінансисти: зміна окупається від +4%.

Запускати. Пастки немає: вибірку набрано (розділ 9), рішення в запланований день, повні тижні, поділ у межах шуму, p = 0,94 (розділ 13), метрика на відвідувача. Інтервал від +4,5% до +15,6%: навіть нижня межа більша за поріг окупності +4%.

Дашборд

Тест: нова галерея фото товарудень 28 з 28
A900 з 18 000 · 5,00% B1 000 з 18 000 · 5,56%
B +11%впевненість 98%

План: MDE +10%, 31 234 на варіант, рішення на 28-й день. Відвідувачів цього місяця було менше, ніж чекали.

Продовжити до запланованої вибірки. Дата настала, але людей лише 18 000 із 31 234: справжні +10% тест такого розміру помітив би в 57 випадках зі 100 замість 80 (розділ 9). Значущість замалого тесту — та сама рання зупинка, що в розділі 2, і його ліфт часто перебільшений. Дата в плані — лише прогноз за очікуваним трафіком; закінчує тест набрана вибірка, повними тижнями.

Дашборд

Тест: новий кошик · виручка на відвідувачадень 28 з 28
A505 замовлень · 40,40 грн на відвідувача B520 замовлень · 48,00 грн на відвідувача
B +19%впевненість 62%

По 10 000 відвідувачів на варіант. Найбільше замовлення тесту — 70 000 грн, у групі B. План: чеки понад 6 350 грн (99-й перцентиль минулого місяця) рахувати за цією сумою; рішення на 28-й день.

Перерахувати з обрізаними чеками, як записано в плані. Одне замовлення на 70 000 грн додає по 7 грн кожному з 10 000 відвідувачів B: без нього B має 41,00 грн, лише +1,5% (розділ 12). Вердикт дає метрика з плану, обрізана на 6 350 грн, а не сира виручка, і поріг беруть той, що оголосили до старту, а не підібраний після.

Дашборд

Тест: нова сторінка тарифівдень 28 з 28
A900 з 18 000 · 5,00% B918 з 18 000 · 5,10%
B +2%впевненість 34%

Аналітик переглянув 12 зрізів: нові відвідувачі з мобільного, B +31%, впевненість 96% (98 і 128 покупок з 2 000). Сегментів у плані не було.

Не висновок, а гіпотеза для нового тесту. Загалом B нічого не дав, а 12 зрізів — 12 шансів на фальшиву «перемогу»: хоча б один «світиться» від самого шуму приблизно в 46 випадках зі 100 (розділ 3). Перевірте нових мобільних відвідувачів окремим тестом, де цей сегмент названо наперед.

Дашборд

Тест: новий фільтр каталогудень 14 з 14
A5 180 з 98 000 · 5,29% B1 911 з 42 000 · 4,55%
B −14%впевненість понад 99,9%

Перший тиждень B отримував 10% трафіку, з 8-го дня — 50%. Перший тиждень припав на розпродаж.

Не висновок: суму двох тижнів із різною часткою B порівнювати не можна. B бачили переважно у звичайний тиждень, A — переважно в розпродаж, тож −14% порівнює тижні, а не варіанти (розділ 5). Усередині кожного тижня B якраз на 5% кращий: 6,30% проти 6,00% і 4,20% проти 4,00%, хоча поодинці жоден тиждень не значущий. Чесний вердикт дасть новий тест зі сталою часткою від першого до останнього дня.

Дашборд

Тест: відео на картці товарудень 35 з 35
A1 600 з 32 000 · 5,00% B1 632 з 32 000 · 5,10%
B +2%впевненість 44%

План: MDE +10%, 31 234 на варіант, 5 повних тижнів, поділ 50/50, метрика — покупки на відвідувача. Рішення в запланований день.

Закрити тест і B не запускати. Пастки немає: тест мав досить людей, щоб помітити +10%, і не помітив (розділ 9). Дані узгоджуються з ліфтом від −5% до +9%: навіть верхня межа менша за MDE. Це теж результат: запишіть у звіт «ефект, якщо він є, менший за +10%», щоб не повторювати той самий тест (розділ 16).

Дашборд

Тест: реєстрація перед оплатоюдень 35 з 35
A1 577 з 31 540 · 5,00% B1 428 з 31 460 · 4,54%
B −9%впевненість 99,3%

План: MDE +10%, 31 234 на варіант, 5 повних тижнів, поділ 50/50, метрика — покупки на відвідувача. Команда вірила в B: «з акаунтом клієнти повертатимуться».

Закрити тест і B не запускати. Пастки немає, і тест чесно каже «ні»: вибірку набрано, поділ у межах шуму (p = 0,75), а інтервал від −16% до −3%, тож навіть верхня межа — мінус (розділ 10). Віра команди — не привід «перевірити ще раз»: запишіть у звіт, що обов'язкова реєстрація перед оплатою коштує покупок.

Дашборд

Тест: тема розсилки · автопереможець1 година після розсилки
A1 150 відкриттів з 4 000 · 28,8% B1 280 відкриттів з 4 000 · 32,0%
B +11% за відкриттямивпевненість 99,8%

Через годину платформа надішле тему B решті 80% списку, 32 000 адрес. Кліків поки: A 61, B 54. Мета розсилки — покупки.

Вирішувати за кліками, і пізніше. За першу годину відкриття — це ранні читачі й автоматичні «відкриття» Apple Mail, а тему, яку частіше відкривають, не обов'язково частіше клікають (розділ 8). Кліків лише 115, і 61 проти 54 — шум, впевненість 49%. Перемкніть автопереможця на кліки чи покупки з вікном хоча б у добу.

Дашборд

Тест: кнопка «Спробувати безкоштовно»день 5 з 21
A160 з 4 000 · 4,00% B200 з 4 000 · 5,00%
B +25%впевненість 97%

Інструмент пише: «Статистично значущий результат!». План: MDE +15%, 17 943 на варіант, рішення на 21-й день.

Чекати до 21-го дня. Поріг 95% чесний лише для одного погляду наприкінці, а п'ятий вечір — це щовечірній погляд із розділу 2. Людей поки 4 000 із 17 943: справжні +15% тест такого розміру помічає лише в 26 випадках зі 100, і ранній ліфт малого тесту часто перебільшений.

Дашборд

Тест: нове оформлення замовленнядень 14 з 14
A1 000 з 20 000 · 5,00% B950 з 19 300 · 4,92%
B −2%впевненість 28%

План: поділ 50/50, рішення на 14-й день. B відкривається через переадресацію на нову адресу, і там ще раз з'являється банер згоди на cookie.

Спершу перевірити трафік. За чесного поділу групи мали б по 19 650 людей, і шум зазвичай зсуває це не далі ніж на ±198; тут A має на 350 більше, p = 0,0004, менше за поріг 0,001 (розділ 13). Переадресація і повторний банер гублять певних людей лише в B, тож і «B не кращий» поки не висновок.

Дашборд

Тест: новий опис товарудень 14 з 14
A100 з 2 000 · 5,00% B110 з 2 000 · 5,50%
B +10%впевненість 52%

План: два тижні, вибірку не рахували. Команді важливий ліфт від +10%. Колега: «Незначущо — отже, B не працює, закриваємо».

Не висновок: тест замалий, перевірте новим тестом із порахованою вибіркою. З 2 000 людей на варіант справжні +10% помітні лише в 11 випадках зі 100, а дані узгоджуються з ліфтом від −18% до +38% (розділ 9). «Незначущо» тут не означає «ефекту немає» (розділ 10): для MDE +10% треба 31 234 людини на варіант.

Дашборд

Тест: безкоштовне повернення в описі · байєсівський дашборддень 35 з 35
A1 565 з 31 300 · 5,00% B1 768 з 31 250 · 5,66%
B +13%шанс перемогти понад 99,9%

План: MDE +10%, 31 234 на варіант, 5 повних тижнів, поділ 50/50, метрика — покупки на відвідувача. Рішення в запланований день. Зміна окупається від +5%.

Запускати. Пастки немає: шанс перемогти прочитано один раз, у запланований день (розділ 11), вибірку набрано, поділ у межах шуму (p = 0,84). І звичайна перевірка згодна: впевненість 99,97%, інтервал від +6% до +20%, тож навіть нижня межа більша за поріг окупності +5% (розділ 10).

Дашборд

Тест: новий банер акції · покупки після клікудень 21 з 21
A300 з 1 000 клікнулих · 30,0% B360 з 1 600 клікнулих · 22,5%
B −25%впевненість понад 99,9%

Відвідувачів по 20 000 на варіант. Дашборд рахує частку покупок серед тих, хто клікнув на банер.

Перерахувати на відвідувача. Новий банер привів до кліку ще 600 людей, і серед них більше цікавих, ніж готових купити, тож частка серед клікнулих упала (розділ 6). На всіх відвідувачів: 300 проти 360 покупок з 20 000, тобто +20%, впевненість 98%. Вердикт дає саме це число.

А тепер дашборд із початку курсу

Тест: нова кнопка «Купити»день 9
A250 з 5 000 · 5,00% B293 з 5 000 · 5,86%
B +17%впевненість 94%

Вердикт: поки не запускати і не викидати. Спершу план.

  • Впевненість 94% — це p = 0,058: однакові кнопки дають такий розрив приблизно в 6 тестах зі 100. Це не «94%, що B кращий», і це навіть не звичні 95% (розділ 10).
  • Інтервал від −1% до +35%: B може бути трохи гіршим, а може бути набагато кращим.
  • Тест замалий для +17%. З 5 000 людей на варіант він надійно бачить лише ліфт від +26%. Щоб надійно помітити +17%, треба 11 147 на варіант, а для +10% — 31 234 (розділ 9).
  • День 9 нічого не каже: невідомо, чи це запланований день рішення, чи просто вечір, коли хтось глянув (розділ 2). І ще не перевірено поділ трафіку (розділ 13).
  • Що робити: записати план (розділ 15) з MDE, що окупає зміну, вибіркою і днем рішення, і довести тест до кінця.
✓

Чекліст A/B-тесту

Перевірки з частини 2 на ваших власних числах зібрано на окремій сторінці: «Перевірте свій тест». Її зручно відкривати після кожного тесту і надсилати колегам. Порожні шаблони плану і звіту з пунктами цього чекліста — у розділах 15 і 16.

Хто що ловить: інструмент, ви чи аналітик

Чи враховано це в сервісах? Частково. Сучасні платформи ловлять дедалі більше, але часто лише якщо ввімкнено потрібний режим, тож загляньте в довідку свого інструмента. Чи сумніватися тепер у кожному тесті? Ні. Тест, що пройшов чекліст нижче, — найкращий доказ, який у вас є. Сумніватися варто там, де план порушили. Чи це робота аналітиків? Частина — так. Але більшість пасток курсу виникає ще до аналітики: у плані й у рішенні, коли зупинитися. Тож ловить їх той, хто запускає тест.

Шум у малому тесті 1, 9ІнструментКалькулятор вибірки є майже в кожному.ВиПорахувати вибірку і MDE до старту.
Підглядання 2, 11, 14ІнструментПослідовні тести дозволяють дивитися хоч щодня: в Optimizely вони за замовчуванням, у GrowthBook — окремий режим. Звичайний калькулятор і байєсівський «шанс перемогти» від підглядання не захищають.ВиДізнатися, чи ваш інструмент рахує послідовно. Якщо ні — рішення лише в запланований день.
Сегменти і багато варіантів 3, 4, 15ІнструментДеякі платформи роблять поправку на кілька порівнянь, наприклад Optimizely.ВиНазвати сегменти й варіанти в плані; усе інше — гіпотеза для нового тесту.
Метрика рахує не тих людей 5, 6, 18ІнструментРахує те, що налаштовано: частку кошика чи сесії інструмент порахує слухняно.ВиГоловна метрика — на відвідувача, частка трафіку стала весь тест. Сесії замість людей — питання до аналітика.
Один великий клієнт у виручці 12ІнструментДеякі обрізають крайні значення самі: Statsig за замовчуванням обрізає 0,1% найбільших.ВиЗаписати поріг обрізання в план або попросити аналітика.
Перекіс трафіку 13ІнструментПеревірку поділу роблять автоматично, наприклад Statsig для всіх тестів.ВиНе ігнорувати попередження: результату не довіряти, доки аналітик не знайде причину.
Новизна і сума перемог за рік 7, 17ІнструментНе ловить: інструмент бачить лише один тест.ВиВести тест повними тижнями; контрольну групу на рік налаштовує аналітик.

Можливості інструментів — за їхньою документацією станом на жовтень 2026 року; налаштування за замовчуванням змінюються, тож перевірте свої.

Перед тестом

  1. План написано до старту і показано колегам.
  2. Одна головна метрика на відвідувача — не частка на пізнішому кроці; проміжні метрики лише для діагностики.
  3. MDE у грошах, вибірка і тривалість пораховані заздалегідь, повними тижнями.
  4. Немає часу — обрано чесний компроміс і записано до старту.
  5. Сегменти названо наперед; решта лише як гіпотези.
  6. Мало сміливих варіантів; якщо їх багато, поріг 5% поділено на їхню кількість, а переможця підтверджено окремим тестом.
  7. Виручка: поріг обрізання чеків оголошено в плані, конверсію і середній чек дивимось окремо.
  8. Розсилка: метрика, час рішення і розмір груп записано наперед; переможця обирають за кліками чи покупками, не за відкриттями.
  9. Ділимо і рахуємо одне й те саме: людей, а не сесії.
  10. Зміну бачать не всі — в обох групах записуємо, хто її побачив би; аналізуємо їх, а на весь сайт переводимо через частку покупок.
  11. Групи нічого не ділять: склад, бюджет, аукціон, кур'єрів; якщо ділять — ресурс навпіл або тест за містами чи днями.

Під час тесту

  1. Не зупиняємось на першому «95%»: рішення лише в запланований день.
  2. «Шанс перемогти 95%» — теж не привід зупинитися: це підглядання з іншим числом.
  3. Частка B стала: після короткого старту 50/50 до кінця; якщо ні, порівнюємо в межах днів.
  4. Трафік поділився як планували: p-значення поділу не менше 0,001; втрати через згоду на cookie і блокувальники однакові в групах.
  5. Ліфт по тижнях: чи не тане і не росте він після першого тижня, окремо для нових і постійних.

Після тесту

  1. p-значення і довірчий інтервал, а не лише ліфт; «незначущо» ≠ «нічого».
  2. Значущий — ще не важливий: чи окупає ліфт зміну.
  3. Звіт написано: інтервал простими словами, рішення з причиною, що дізналися, наступний тест.
  4. Записаний ліфт малого тесту ділимо, важливі перемоги повторюємо, довга контрольна група показує, скільки дали всі зміни разом.

Кінець курсу

Знаєте колегу, який теж щотижня читає дашборди? Надішліть йому курс: він почне з того самого питання про «B +17%, впевненість 94%».

Що далі