Курси / Парадокси A/B-тестування
Такий рядок бачив кожен, хто запускав A/B-тест. Запускати B? Курс іде за питаннями, які виникають далі: чи це не шум, скільки людей треба, чи можна зупинитися раніше, що робити з перемогою в одному сегменті. П'ять кейсів показують пастки, яких дашборд не помічає. Наприкінці чекліст. Формул мінімум, кожне слово з назвою спершу пояснено картинкою.
«B +17%. Це справжній ефект чи просто пощастило?»
Кожен відвідувач купує або ні, трохи як монетка. Тому навіть дві однакові сторінки ніколи не дають однакових чисел. Нижче саме так: A і B однакові, обидві мають справжню конверсію 5%, на кожну приходить 1 000 людей. Запустіть кілька таких тестів і подивіться, куди стрибає ліфт.
Типовий розмір такого тремтіння називають стандартною похибкою: на скільки число з вибірки зазвичай відходить від справжнього. Якщо запустити сотні A/A-тестів, ліфти складуться в дзвін: це нормальний розподіл. Чим більше відвідувачів, тим вужчий дзвін. Зверніть увагу, що ліфти в десятки відсотків тут звичайна річ, хоча різниці між сторінками немає.
Та сама сторінка показується як «A» і як «B», конверсія 5%, по 1 000 відвідувачів. Як часто одна з двох однакових сторінок «переможе» на 20% або більше?
«Добре, шум буває. Скільки відвідувачів треба, щоб йому не вірити? І як перевірити мій результат?»
Розмір тесту залежить від трьох речей: звичайної конверсії, найменшого ефекту, який вам важливий, і того, як суворо ви судите. Стандарт галузі: не більше 5% фальшивих переможців серед однакових сторінок і потужність 80%, тобто справжній ефект потрібного розміру тест помічає в 4 випадках із 5. Малий ефект ховається в шумі, тому вимагає багато людей: удвічі менший ліфт потребує приблизно вчетверо більшої вибірки.
Коли тест набрав вибірку, його результат треба перевірити. Перевірка відповідає на одне питання: якби сторінки були однакові, як часто шум дав би розрив не менший за ваш? Ця частка і є p-значення. Якщо вона менша за 5%, результат називають значущим. Довірчий інтервал показує інше: усі ефекти, з якими ваші дані ще узгоджуються. Нижче вже вписано числа з дашборда вгорі сторінки.
«Впевненість 94%» у багатьох інструментах означає 1 мінус p-значення. Це не ймовірність того, що B кращий. Це лише міра того, наскільки рідко шум дає такий розрив. Детальніше про розподіли, потужність і прокляття переможця розповідають четвертий раунд задачі про A/A-тест і п'ятий, з калькулятором і перевіркою розподілу трафіку.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
«Тест розрахований на місяць, але на дев'ятий день дашборд уже показує 95%. Навіщо чекати?»
Дашборд оновлюється щовечора, і щовечора хочеться глянути. Поріг 95% розрахований на один погляд наприкінці тесту. Що відбувається, коли дивитися щодня і зупинятися на першому «95%», показує задача нижче: там обидві сторінки однакові, а маркетолог дивиться щовечора протягом 30 днів.
Дві однакові сторінки, тест на 30 днів, перевірка щовечора і зупинка на першому «95%». Як часто одну з однакових сторінок оголосять переможцем?
«Калькулятор каже 5 тижнів. У мене стільки немає. Що робити?»
Безкоштовного способу немає: кожен варіант нижче чимось платить. Числа для прикладу з калькулятора: конверсія 5%, хочемо помітити +10%, стандарт 95% і потужність 80%, тобто 31 234 відвідувачі на сторінку. Кожен варіант з інтерактивом розібрано в п'ятому раунді задачі про підглядання.
«Загалом B нічого не дав. Але в Польщі, на мобільних, серед нових клієнтів він значущо кращий. Запускаємо там?»
Після тесту, який нічого не показав, рука сама тягнеться розбити результат: країни, пристрої, джерела трафіку, нові й постійні клієнти. Кожен такий зріз є окремою перевіркою, і кожна має свій шанс на фальшивого переможця. Задача нижче рахує, що буде, якщо новий лист нічим не кращий за старий, а результат розбити на 20 країн.
Новий лист нічим не кращий за старий. Аналітик перевіряє результат у 20 країнах. Який шанс, що хоча б одна покаже «значущу» різницю?
«Ми пустили на B спершу 10% трафіку, а потім щодня додавали. B кращий у кожен день тижня. Отже, і за тиждень кращий?»
Поступовий запуск звучить розумно: якщо B зламаний, постраждає мало людей. Але він тихо змінює, які дні потрапляють у кожну групу. Магазин отримує 10 000 відвідувачів на день. У понеділок на B іде 10% із них, щодня частка росте, у неділю вже половина. У вихідні тут купують удвічі рідше, ніж у будні. І щодня B конвертує на 5% краще за A.
Класична версія цієї пастки є в каталозі. Якщо хочете розгадати її самі, зробіть це перед кейсом.
Метод A лікує і малі, і великі камені в нирках краще за метод B. Чи може B бути кращим для всіх пацієнтів разом?
Хто виграв тиждень, якщо скласти всіх відвідувачів разом?
ABрозмір кружка = скільки людей того дня бачили варіант
«Нова картка товару: у кошик додають більше, але з кошика купують рідше. Конверсія кошика впала з 40% до 33%. B гірший?»
Відвідувачі різні. Одні прийшли купити, інші порівнюють, треті просто гортають. Нова картка не змінює тих, хто вже був готовий. Вона переконує частину прохолодних покласти товар у кошик. Ці нові люди купують рідше за тих, хто клав у кошик і раніше, тож частка покупок серед кошиків падає. Кожна точка нижче означає 10 відвідувачів.
гарячі, 20%: прийшли купититеплі, 30%: порівнюютьпрохолодні, 50%: гортають
Випадково люди розподіляються лише на вході: кожен відвідувач з рівним шансом бачить A чи B. Тому A і B чесно порівнянні тільки на рівні всіх відвідувачів. Ті, хто дійшов до кошика, вже відібрані самою сторінкою, і в B це інші люди, ніж в A.
У місті врода і доброта не пов'язані. Ви ходите на побачення лише з тими, хто досить вродливий і добрий разом. Чи пов'язані ці риси серед ваших побачень?
Бомбардувальники повертаються з дірками у фюзеляжі та крилах, а на двигунах дірок майже немає. Куди ставити броню?
«Після тижня тесту новий банер давав +15%. Ми його запустили, а через місяць виручка така сама, як була. Куди подівся ефект?»
Постійні клієнти помічають нове і клікають з цікавості. Через кілька днів звикають, і ефект згасає. Нижче модель такого тесту: справжній довгий ефект банера +2%, а в перший день новизна додає ще +30%, і цей додаток щодва дні меншає вдвічі. На кожен варіант щодня приходить 5 000 людей, конверсія A 5%. Оберіть день, коли ви зупиняєте тест.
ліфт за окремий деньнакопичений ліфт, як на дашбордісправжній денний ефект моделіщо лишиться назавжди
Навіть місяць не рятує повністю: накопичений ліфт усереднює всі дні, і перший тиждень тягне його вгору. Чесніше дивитися на ліфт останніх тижнів або на ліфт за днями від першого візиту людини: якщо в перші дні знайомства він великий, а потім тане, це новизна. Буває й навпаки: до незвичного інтерфейсу звикають, і ефект з часом росте.
Після похвали гравці грають гірше, а після критики краще. Чи означає це, що критика працює?
«За рік ми запустили всі значущі перемоги. У звіті вони складаються у великий приріст. Чому виручка майже не змінилася?»
Команда проводить 40 тестів на рік. Справді працює лише частина ідей, і їхній ефект скромний: +5% до конверсії 5%. Решта ідей нічого не змінюють. Кожен значущий переможець іде в продукт, а його ліфт з дашборда записують у звіт. Припустимо ще, що через пів року третина справжнього ефекту згасає, як у розділі 8. Порівняйте три числа: що записано у звіт, що було насправді і що покаже контрольна група, яка весь рік бачила старий сайт.
запущено, ідея справді працюєзапущено, ідея порожняне запущено
Тут працюють три механізми. Перший: фальшиві переможці, порожні ідеї, які виграли завдяки шуму. Другий: прокляття переможця. Тест із малою потужністю пропускає справжню ідею, якщо шум цього разу був проти неї, і пропускає далі, лише коли шум допоміг. Тому записаний ліфт справжнього переможця зазвичай у кілька разів більший за його справжній ефект. Третій: ефекти згасають після запуску. Що більша вибірка, то слабші перші два механізми: посуньте другий повзунок праворуч.
Хворобу має 1% людей. Тест точний на 99%, і ваш результат позитивний. Який шанс, що ви справді хворі?
«Інструмент ділить людей на A і B, а звіт показує конверсію сесій. Яка різниця?»
Один постійний клієнт приходить двадцять разів на місяць, і його сесії схожі між собою: якщо він любить купувати, то купує часто. Для тесту він не 20 незалежних спостережень, а приблизно одне. Перевірка, яка рахує кожну сесію окремо, думає, що даних набагато більше, ніж є, і тому бачить «значущі» різниці там, де їх немає. Нижче A/A-тест: по 1 000 людей на варіант, 90% з них заходять один раз, а 10% постійних клієнтів заходять багато разів.
Кожен стовпчик — одна людина, кожен квадратик — сесія, зафарбований — сесія з покупкою. Покупки постійних клієнтів ідуть пачками.
z у тестах, рахуючи сесії«значущі»: |z| > 1,96крива, яку припускає перевірка
Наскільки перевірка помиляється, оцінює проста формула ефекту дизайну: шум насправді більший у 1 + (m − 1)·ρ разів, де m — скільки сесій припадає на людину (для нерівних візитів беруть середнє, зважене кількістю сесій), а ρ — наскільки схожі сесії однієї людини. Коли кожен заходить раз або сесії однієї людини незалежні, формула дає 1 і помилки немає.