A/B-тест — це спосіб чесно порівняти дві версії: половина людей бачить A, половина B, і ми рахуємо, хто купив. Ідея проста, а питань навколо неї багато. Навіщо тест, якщо можна порівняти «до» і «після»? Скільки людей треба? Що означає «впевненість 95%»? Коли можна зупинитися? Що робити, якщо переможця немає? Курс відповідає на дев'ять таких питань, по одному в розділі. Формул тут немає: лише лічба («6 покупок зі 100»), монетка і кнопка «Повторити ще раз». Наприкінці іспит із семи дашбордів і відповідь керівникові з цього.
≈ 30–40 хвилин, можна частинами по 5 хвилин; прогрес зберігається.
Це перший крок. Коли захочеться глибше, є курс для тих, хто проводить тести щотижня: «Парадокси A/B-тестування».
Пройдено 0 з 10 розділівЗадач з каталогу розв'язано: 0 з 5
Словничок тестуверсія A і B, конверсія, приріст, контрольна група, A/A-тест, впевненість, переможець
Версії A і B
A — те, що є зараз, B — нова ідея: інша кнопка, тема листа, ціна.
Конверсія
Скільки людей зі 100 зробили потрібну дію: 6 покупок на 100 відвідувачів — це 6%.
Приріст
«B +20%» на дашборді: на скільки число B більше за число A. З 5 до 6 зі 100 — це +20%, хоча різниця лише 1 покупка на 100 людей (розділ 4).
Контрольна група
Ті, хто бачить стару версію A в той самий час, що інші бачать B (розділ 1).
A/A-тест
Тест двох однакових версій. Показує, яку різницю дає сам випадок (розділ 3).
Впевненість
Число на дашборді, яке показує, наскільки рідко такий відрив дав би випадок (розділ 5).
Переможець
Версія, яка в кінці тесту попереду з упевненістю 95% чи більше.
Частина 1 · без формул
Як влаштований тест
Чотири питання про те, чому тест улаштований саме так: дві групи водночас, монетка, і людей має бути багато. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці.
1
Навіщо тест, якщо є «до і після»?
«Ми оновили сайт 1 листопада, і замовлень у листопаді на 30% більше, ніж у жовтні. Хіба це не доказ?»
Найпростіший спосіб перевірити зміну — порівняти місяць до і місяць після. У жовтні інтернет-магазин отримав 4 500 замовлень. 1 листопада запустили новий дизайн, і за листопад замовлень стало 5 850, на 30% більше.
Скільки замовлень додав новий дизайн?
Листопад — це «чорна п'ятниця» і початок подарунків. Торік, без жодного редизайну, замовлень від жовтня до листопада стало на 29% більше. Тож +30% майже цілком дав сезон, а дизайн міг додати трохи, нічого або навіть зашкодити. Увімкніть минулий рік нижче.З цих чисел не видно. Листопад — це «чорна п'ятниця» і початок подарунків. Торік, без жодного редизайну, замовлень від жовтня до листопада стало на 29% більше. Тож +30% майже цілком дав сезон, а дизайн міг додати трохи, нічого або навіть зашкодити. Увімкніть минулий рік нижче.
Замовлення по місяцях
цей рікминулий рік●запуск дизайну
Листопад до жовтня, цей рік+30%з новим дизайном
Листопад до жовтня, минулий рік?без жодних змін
Від місяця до місяця змінюється все одразу: сезон, погода, реклама, ціни конкурентів, новини. «До і після» складає їх усі в одне число і приписує новому дизайну. A/B-тест робить інакше: у ті самі дні половина людей бачить старий сайт, половина новий. Сезон, погода й реклама однакові для обох половин, тож різниця між ними — від дизайну. Половину зі старою версією називають контрольною групою.
«До і після» показує все, що змінилося за цей час, а не лише вашу зміну.
A/B-тест порівнює дві версії в ті самі дні, тож усе інше для них однакове.
Як оцінити зміну, коли тест провести не можна, розповідає курс «Чи працює фіча?».
2
Чому групи ділить монетка?
«Новий кошик бачать ті, хто сам натиснув «Спробувати нову версію». Вони купують у 2,5 раза частіше. Вмикаємо для всіх?»
У магазин за тиждень заходить 1 000 людей. Серед них 200 постійних покупців, які купують часто, і 800 новачків, які здебільшого просто дивляться. На сайті з'явилася кнопка «Спробувати новий кошик», і її натиснули 100 людей.
Із тих, хто натиснув, купили 13 зі 100. Серед решти 900 — лише 5 зі 100.
Новий кошик кращий за старий?
Пробувати нове охочіше йдуть постійні покупці. Серед 100, хто натиснув, їх 60, а серед решти 900 — лише 140. Постійні купують частіше в будь-якому кошику. У цьому прикладі новий кошик узагалі нічого не змінює, а різниця 13 проти 5 усе одно виходить. Подивіться нижче, хто в якій групі.Невідомо. Пробувати нове охочіше йдуть постійні покупці. Серед 100, хто натиснув, їх 60, а серед решти 900 — лише 140. Постійні купують частіше в будь-якому кошику. У цьому прикладі новий кошик узагалі нічого не змінює, а різниця 13 проти 5 усе одно виходить. Подивіться нижче, хто в якій групі.
Хто в якій групі
постійні покупці: купують 20 зі 100новачки: купують 2–3 зі 100
Коли люди обирають самі, у групи потрапляють різні люди, і різниця в покупках показує їх, а не версії. Монетка нічого не знає про людей: постійні й новачки потрапляють в A і B порівну, з невеликим тремтінням. Тому в A/B-тесті групу кожному обирає випадок, а не він сам і не менеджер.
Якщо люди самі обрали версію, різниця показує, хто обирав, а не яка версія краща.
Групи має ділити випадок: монетка, лотерея, генератор у сервісі тестів.
Історія1948 року британська Рада медичних досліджень перевіряла стрептоміцин від туберкульозу. Хто з 107 хворих отримає ліки, а хто ні, вирішували не лікарі, а випадкові числа в запечатаних конвертах. Так лікарі не могли, навіть ненавмисно, давати ліки тим, хто й так мав більше шансів одужати. Це вважають одним із перших рандомізованих випробувань у медицині.Джерело: Medical Research Council, «Streptomycin treatment of pulmonary tuberculosis», BMJ, 30 жовтня 1948.
Найкращий спосіб зрозуміти тест — запустити його на двох однакових сторінках. Таке перевіряння називають A/A-тестом. Монетка ділить відвідувачів, обидві половини бачать ту саму сторінку. На ній купує в середньому 5 людей зі 100.
У кожну групу потрапило по 100 відвідувачів.
Як часто одна група матиме хоча б на 3 покупки більше за іншу, наприклад 4 проти 7?
Приблизно у 41 тесті зі 100 одна з однакових груп обганяє іншу на 3 покупки чи більше. А 4 проти 7 на дашборді виглядає як «B краща на 75%». Покупки — це окремі люди, і в маленькій групі кожен зайвий покупець помітно зсуває число. Запустіть тест нижче кілька разів.Часто: приблизно у 41 тесті зі 100 одна з однакових груп обганяє іншу на 3 покупки чи більше. А 4 проти 7 на дашборді виглядає як «B краща на 75%». Покупки — це окремі люди, і в маленькій групі кожен зайвий покупець помітно зсуває число. Запустіть тест нижче кілька разів.
A/A-тест: по 100 відвідувачів на однакову сторінку
A
B
купивне купив
Тестів проведено0
Різниця 3+ покупки–точно: 41 тест зі 100
Навіть коли версії однакові, числа в групах різні: хто саме зайшов і хто саме купив, вирішує випадок. Що менше людей, то сильніше це тремтіння. Тому різниця на дашборді ще не означає, що одна версія краща. Питання завжди одне: чи більша ця різниця за ту, яку дає сам випадок?
Різниця буває і між однаковими версіями. Перш ніж радіти, спитайте, чи могла б такою вийти різниця між A і A.
Відсотки на маленьких групах обманюють: 4 проти 7 покупок — це «+75%».
«У нас тисяча відвідувачів на версію. Цього не досить?»
Тепер нехай B справді краща. На старій сторінці A купує 5 людей зі 100, на новій B — 6 зі 100. Для бізнесу це багато: кожна п'ята зайва покупка.
Зверніть увагу: тут є два різні відсотки. «5 зі 100» і «6 зі 100» — це конверсія, тобто 5% і 6% відвідувачів купили. А дашборд напише «B +20%»: на скільки число B більше за число A, бо 6 більше за 5 на п'яту частину. Різниця одна й та сама — одна покупка на 100 людей, — але звучить або як «+1%», або як «+20%». Побачивши на дашборді приріст, питайте: з чого на що?
Тест іде, доки кожну версію не побачить 1 000 людей. Тоді порівнюємо, де покупок більше.
Як часто гірша версія A опиниться попереду?
Тисяча людей — це в середньому 50 покупок на A і 60 на B. Різниця в 10 покупок, а випадок легко зсуває кожне число на 7–10 покупок у будь-який бік. Тож приблизно в 15 тестах зі 100 попереду гірша A. Пересуньте кількість людей нижче.Приблизно 1 раз із 7. Тисяча людей — це в середньому 50 покупок на A і 60 на B. Різниця в 10 покупок, а випадок легко зсуває кожне число на 7–10 покупок у будь-який бік. Тож приблизно в 15 тестах зі 100 попереду гірша A. Пересуньте кількість людей нижче.
100 тестів, де B справді краща
людей на кожну версію
попереду Bпопереду гірша Aнічия
Попереду B–
Попереду гірша A–
Тест бачить різницю, лише коли вона більша за тремтіння випадку. А тремтіння слабшає повільно: щоб воно стало вдвічі меншим, людей треба вчетверо більше. Звідси просте правило: що меншу різницю ви хочете помітити, то більше людей треба. Удвічі менша різниця — учетверо більше людей.
Скільки саме, рахують калькулятори розміру вибірки, їх є безкоштовні. Їм треба дати дві речі: яка конверсія зараз і яку найменшу різницю ви хочете помітити. Для 5 проти 6 зі 100 виходить близько 6 500 людей на кожну версію, у шість із половиною разів більше, ніж у нашому прикладі.
Рахуйте, скільки людей треба, до старту тесту, а не після.
Біля «+20%» на дашборді шукайте, з чого на що: з 5 до 6 зі 100 — це лише одна покупка на 100 людей.
Маленька різниця вимагає багато людей. Якщо стільки людей у вас немає, тестуйте сміливіші зміни або довше.
Що ви вже знаєте«До і після» складає зміну з сезоном (1), тому дві версії порівнюють водночас, а групи ділить монетка (2). Навіть однакові версії дають різні числа (3), і щоб помітити справжню різницю, людей треба багато (4). Друга частина про те, як дашборд відокремлює справжню різницю від випадкової, і де цей спосіб можна зламати.
Частина 2 · усе ще без формул
Як читати результат
Що обіцяє число «впевненість 95%», і три звички, які непомітно роблять цю обіцянку порожньою.
«Дашборд пише: B попереду, впевненість 95%. Це гарантія?»
Сервіс тестів знає, як тремтять числа (розділ 3), і порівнює з цим тремтінням відрив B. Що більший відрив і що більше людей, то вища «впевненість». Переможцем зазвичай оголошують, коли вона доходить до 95%.
Щоб зрозуміти, що обіцяє цей поріг, знову візьмемо однакові сторінки, по 1 000 людей на кожну.
A і B однакові. Як часто тест усе одно покаже «B попереду, впевненість 95%» чи більше?
Саме це і означають 95%: якби версії були однакові, такий відрив на користь B давав би випадок рідше, ніж 1 раз на 20 тестів. Це не гарантія, а домовленість про ризик: приблизно кожен двадцятий «переможець» серед однакових версій буде фальшивим. Запустіть 20 тестів нижче.Приблизно 1 раз на 20. Саме це і означають 95%: якби версії були однакові, такий відрив на користь B давав би випадок рідше, ніж 1 раз на 20 тестів. Це не гарантія, а домовленість про ризик: приблизно кожен двадцятий «переможець» серед однакових версій буде фальшивим. Запустіть 20 тестів нижче.
20 A/A-тестів по 1 000 людей на сторінку
«переможець»: B попереду з упевненістю 95%+
Тестів проведено0
Фальшивих переможців–у середньому 1 з 20
Найпростіше уявити поріг 95% як налаштування пожежної сигналізації. Її можна зробити такою чутливою, що вона почує кожну іскру, але тоді вона пищатиме від кожного підгорілого тосту. 95% — це домовленість: від «тосту», тобто від самого лише випадку, тест хибно спрацьовує приблизно 1 раз на 20. А справжню «пожежу», справжню різницю, він помічає тим частіше, чим вона більша і чим більше людей у тесті.
Саме під таку сигналізацію калькулятор із розділу 4 рахує людей. 6 500 на версію — це стільки, щоб справжня різниця 5 проти 6 зі 100 доходила до 95% приблизно у 8 тестах із 10.
Поріг 95% захищає від випадку, але лише на одну двадцяту. І ця обіцянка діє, тільки якщо грати чесно: людей порахували заздалегідь, результат дивляться один раз у кінці, і перевіряють одну версію проти однієї. Наступні три розділи — три способи цю обіцянку непомітно зламати.
Ще одне: 95% нічого не каже про розмір виграшу. «B +27%, впевненість 95%» не обіцяє +27% після запуску (розділ 8). Деякі сервіси показують замість упевненості «шанс перемогти»; він рахується інакше, про нього розділ курсу для маркетологів.
«Впевненість 95%» означає: випадок дає такий відрив рідше, ніж 1 раз на 20. Це не гарантія і не розмір виграшу.
Обіцянка діє, лише якщо людей порахували заздалегідь і результат читають один раз, у кінці.
ІсторіяЗвідки взялися саме 95%? 1926 року статистик Рональд Фішер, який працював із польовими дослідами на агростанції Ротамстед, написав, що особисто він вважає результат вартим уваги, коли випадок дав би його рідше, ніж 1 раз на 20. Це було його особисте правило, а не закон природи. Воно прижилося і тепер стоїть на більшості дашбордів.Джерело: R. A. Fisher, «The Arrangement of Field Experiments», Journal of the Ministry of Agriculture 33 (1926).
«Тест на 14 днів, а на третій день уже 95%. Навіщо чекати?»
Тест заплановано на 14 днів, щодня кожну версію бачать 300 людей. Дашборд оновлюється щоранку, і щоранку його хтось відкриває. Домовилися так: щойно впевненість дійде до 95%, тест зупиняють і оголошують переможця.
Знову візьмемо однакові версії, де переможця бути не може.
Як часто за 14 днів з'явиться фальшивий переможець?
Приблизно в 19 тестах зі 100, учетверо частіше, ніж обіцяє поріг. Впевненість щодня гуляє вгору-вниз, і кожен ранок — новий шанс випадково торкнутися 95%. Якби тест не зупиняли, на 14-й день більшість цих «переможців» знову опустилися б нижче. Подивіться, як гуляє впевненість, нижче.Приблизно 1 раз на 5: у 19 тестах зі 100, учетверо частіше, ніж обіцяє поріг. Впевненість щодня гуляє вгору-вниз, і кожен ранок — новий шанс випадково торкнутися 95%. Якби тест не зупиняли, на 14-й день більшість цих «переможців» знову опустилися б нижче. Подивіться, як гуляє впевненість, нижче.
Впевненість день за днем, версії однакові
впевненість, що B кращапоріг 95%
Тестів проведено0
Торкнулися 95% хоч раз–так зупинили б щоденні перевірки
95% на 14-й день–так, як обіцяє поріг
Поріг 95% розрахований на один погляд у кінці. Кожна щоденна перевірка з правом зупинитися — ще одна спроба, і фальшиві переможці накопичуються. Дивитися на дашборд можна: щоб помітити поломку чи катастрофу. Не можна зупиняти тест через те, що він «уже позеленів».
Заздалегідь запишіть, скільки людей і днів триватиме тест, і читайте результат лише тоді.
Тестуйте цілими тижнями: у понеділок і в суботу купують різні люди.
Якщо зупиняти рано дуже треба, є спеціальні методи з поправкою на підглядання. Звичайне «95%» для цього не годиться.
Історія2010 року розробник Еван Міллер опублікував коротку статтю «Як не треба проводити A/B-тест». Він показав, що звичка зупинятися на першому «значущому» результаті перетворює обіцяні 5% хибних перемог на значно більше, і запропонував просте правило: визначити розмір вибірки заздалегідь і не зупинятися раніше. Відтоді багато сервісів тестів додали захист від підглядання.Джерело: Evan Miller, «How Not To Run an A/B Test», evanmiller.org, 2010.
«AI написав 10 заголовків. Тестуємо всі проти старого, і один переміг з упевненістю 95%. Беремо?»
Нові заголовки нічим не кращі за старий: на кожному купує ті самі 5 людей зі 100. Кожен заголовок бачить 2 000 людей, старий — теж 2 000, і кожен новий порівнюють зі старим.
Як часто хоча б один із 10 однаково добрих заголовків «переможе» з упевненістю 95%?
Приблизно в 24 тестах зі 100. Кожен заголовок має свій шанс 1 на 20 випадково обігнати старий, а заголовків десять. Шанси складаються, і «переможець» знаходиться вже в кожному четвертому тесті, хоча кращих заголовків немає. Запустіть нижче.Приблизно 1 раз на 4: у 24 тестах зі 100. Кожен заголовок має свій шанс 1 на 20 випадково обігнати старий, а заголовків десять. Шанси складаються, і «переможець» знаходиться вже в кожному четвертому тесті, хоча кращих заголовків немає. Запустіть нижче.
10 однаково добрих заголовків проти старого
риска — поріг 95%«переможець»
Тестів проведено0
Тестів із «переможцем»–з одним заголовком було б 1 з 20
Те саме стається, коли результат одного тесту ріжуть на шматки: мобільні й комп'ютери, нові й постійні, міста, дні тижня. Кожен шматок — ще одна спроба, і серед дюжини шматків легко знайдеться «B перемагає на Android у Харкові». Що більше спроб, то певніше хоч одна виграє випадково.
Що більше варіантів чи сегментів, то більше фальшивих переможців. Рахуйте, скільки було спроб.
Переможця з багатьох перевірте окремим тестом: він проти старого, один на один.
Сегменти, які вас цікавлять, запишіть до старту, а не шукайте після.
ІсторіяУ коміксі xkcd «Significant» (2011) науковці перевіряють, чи желейки викликають прищі. Загалом ні. Тоді перевіряють 20 кольорів окремо, і зелені «пов'язані з прищами» з упевненістю 95%. Газета виходить із заголовком про зелені желейки, хоча один збіг із двадцяти саме стільки й мав дати випадок.Джерело: Randall Munroe, xkcd № 882 «Significant», 2011.
«У тесті B дала +20%, а після запуску лише +10%. Хтось помилився?»
Цього разу B справді краща на 10%: на A купують 50 людей з 1 000, на B — 55. Кожну версію бачить 5 000 людей, тест чесний: людей пораховано заздалегідь, результат читають один раз у кінці. Команда проводить багато таких тестів і запускає ті, де B перемогла з упевненістю 95%.
Який приріст у середньому показують тести, де B перемогла?
У середньому близько +21%, удвічі більше за правду. Переможцем стає не кожен тест, а лише той, де випадок підштовхнув B вгору: без цього поштовху +10% на 5 000 людях рідко доходить до 95%. Після запуску поштовху вже немає, і лишаються справжні +10%. Ніхто не помилився. Подивіться на 100 тестів нижче.Більше: у середньому близько +21%, удвічі більше за правду. Переможцем стає не кожен тест, а лише той, де випадок підштовхнув B вгору: без цього поштовху +10% на 5 000 людях рідко доходить до 95%. Після запуску поштовху вже немає, і лишаються справжні +10%. Ніхто не помилився. Подивіться на 100 тестів нижче.
100 чесних тестів, де B справді краща на 10%
B перемоглапереможця немаєправда, +10%середнє переможців
Тестів, де B перемогла–зі 100
Їхній середній приріст–насправді +10%
Це називають прокляттям переможця: коли обираєш найкращих, обираєш і тих, кому пощастило. Що менше людей у тесті, то більший поштовх потрібен, щоб перемогти, і то сильніше переможець перебільшує.
Є й друга причина, уже без випадку: ефект новизни. Нова яскрава кнопка привертає увагу постійних покупців, бо вони її ще не бачили. За кілька тижнів вони звикають, і різниця слабшає. Тому тест, який ішов лише кілька днів, може показати ефект, якого за місяць уже не буде.
Приріст переможця в тесті зазвичай завищений. Плануйте бюджет і прогнози на менше число.
Що більше людей у тесті, то менше перебільшення.
Тест нової помітної зміни тримайте хоча б два тижні, щоб новизна встигла вивітритися.
Щоб побачити справжній ефект, лишіть невелику групу без змін на кілька тижнів після запуску.
ІсторіяУ Microsoft, де щороку проводять тисячі онлайн-експериментів, аналітики керуються «законом Тваймана»: будь-яке число, яке виглядає цікавим чи незвичним, найчастіше хибне. Рон Кохаві, який роками очолював там експерименти, радить перевіряти несподівано великий виграш так само прискіпливо, як і поломку.Джерело: Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments» (2020), розділ 3.
«Тест закінчився, а дашборд сірий: B +4%, впевненість 70%. Значить, B не працює?»
Найчастіший результат A/B-тесту — не перемога і не поразка, а сіре «переможця немає». Ось такий тест. Його чесно розрахували за калькулятором із розділу 4: по 6 500 людей на версію, щоб помітити різницю 5 проти 6 зі 100. Тест дійшов до кінця, і результат прочитали один раз.
Тест: новий текст на кнопцідень 14 з 14
A325 покупок з 6 500B338 покупок з 6 500
B +4%впевненість 70%
Що каже такий результат?
Тест розрахований на різницю +20%, і таку він ловить 8 разів із 10. Тож великої різниці тут, найпевніше, немає. А маленьку він бачить погано: якби B справді була краща на 4%, тест знайшов би переможця лише в 13 випадках зі 100. «Переможця немає» означає «тест не розрізнив», а не «різниці немає». Продовжувати ж тест до 95% — це підглядання з розділу 6. Пограйте нижче з тим, як насправді.Ні. Тест розрахований на різницю +20%, і таку він ловить 8 разів із 10. Тож великої різниці тут, найпевніше, немає. А маленьку він бачить погано: якби B справді була краща на 4%, тест знайшов би переможця лише в 13 випадках зі 100. «Переможця немає» означає «тест не розрізнив», а не «різниці немає» і не «B краща». Продовжувати ж тест до 95% — це підглядання з розділу 6. Пограйте нижче з тим, як насправді.
100 таких самих тестів, по 6 500 людей
B перемоглапереможця немає«перемогла» A
B перемогла–
Переможця немає–
Сірий результат — не провал і не марна праця. Він каже корисну річ: великої різниці, на яку тест розраховували, найпевніше, немає. А от маленька може й бути, просто для неї потрібно набагато більше людей.
Запишіть чесно: «великої різниці немає, маленьку тест помітити не міг», а не «B не працює».
Вирішуйте з інших міркувань. Якщо B простіша, дешевша чи потрібна з іншої причини, а гіршою не виглядає, її можна лишити. Якщо B дорожча — лишайте A.
Не продовжуйте тест, доки не позеленіє: це підглядання з розділу 6.
Якщо навіть маленька різниця важить для бізнесу, плануйте новий тест, більший, з розрахунком наперед. Або тестуйте сміливішу зміну, яку легше помітити.
ІсторіяРон Кохаві з колегами пишуть, що в Microsoft лише приблизно третина ідей, перевірених експериментом, покращувала ту метрику, заради якої їх придумали. Решта не давали помітної різниці або шкодили. Тож сірий дашборд — звичайний день у команді, яка тестує чесно.Джерело: Ron Kohavi, Diane Tang, Ya Xu, «Trustworthy Online Controlled Experiments» (2020), розділ 1.
Що ви вже знаєте«Впевненість 95%» означає, що випадок дає такий відрив рідше, ніж 1 раз на 20 (5). Ця обіцянка ламається, коли зупиняєш тест, щойно позеленіло (6), і коли перебираєш багато варіантів чи сегментів (7). А навіть чесний переможець показує в тесті більше, ніж дасть після запуску (8). Якщо ж переможця немає, це означає «тест не розрізнив», а не «різниці немає» (9). Лишився іспит: сім дашбордів, а потім відповідь керівникові з початку курсу.
Фінал
Іспит і відповідь керівникові
Усе, що було в курсі, тепер у дашбордах, які могли б прийти вам у робочий чат.
У шести дашбордах по одній пастці чи питанню з курсу, а один чистий. Оберіть, що робити. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося.
Дашборд 1
Тема листатестова розсилка
A5 відкриттів із 60B9 відкриттів із 60
B +80%
Пропозиція: надіслати тему B на всю базу, 40 000 адрес.
Замало людей. 5 проти 9 відкриттів — це різниця в 4 людини, а на 60 адресах таке дає й випадок (розділ 3). «+80%» тут звучить гучно лише тому, що числа маленькі. Щоб помітити справжню різницю, тестову розсилку треба на тисячі адрес (розділ 4).
Дашборд 2
Новий банер на головнійз 1 грудня
Лис3 200 продажівГру4 320 продажів
+35%після запуску банера
Пропозиція: зробити такі банери на всіх сторінках.
Це порівняння з минулим, а не тест. Грудень — місяць подарунків, і продажі в ньому ростуть і без банера (розділ 1). Щоб дізнатися, що дав банер, покажіть його випадковій половині відвідувачів, а другій половині — головну без нього, у ті самі дні.
Дашборд 3
Тест ціни доставкидень 3 з 14
A45 замовлень з 900B62 замовлення з 900
B +38%впевненість 95%
Пропозиція: зупинити тест сьогодні й увімкнути B для всіх.
Зарано. Тест розрахований на 14 днів, а 95% на третій день — саме той випадок, коли однакові версії часто торкаються порогу (розділ 6). Дочекайтеся запланованого кінця і читайте результат тоді.
Дашборд 4
Новий опис товарудень 21 з 21
A1 070 покупок з 21 400B1 180 покупок з 21 350
B +11%впевненість 99%
Групи ділив сервіс тестів випадково. Розмір і тривалість — за калькулятором, записаним до старту. Один варіант проти одного. Пропозиція: увімкнути B.
Можна запускати. Пастки тут немає: групи поділено випадково (розділ 2), людей пораховано заздалегідь (розділ 4), результат прочитано в запланований кінець (розділ 6), варіант один (розділ 7). Лише не обіцяйте керівникові рівно +11%: справжній приріст, найпевніше, трохи менший (розділ 8).
Дашборд 5
Нова форма реєстрації12 сегментів
УсіB +1%, впевненість 58%1 з 12B +24%, впевненість 96%
Android, Харків
Результат розбили на 12 сегментів після тесту. Пропозиція: показувати нову форму користувачам Android у Харкові.
Багато спроб. Серед 12 сегментів хоч один часто «перемагає» випадково, особливо коли загалом різниці немає (розділ 7). Якщо цей сегмент справді важливий, перевірте його окремим тестом, записавши це до старту.
Дашборд 6
Нова посадкова сторінка4 тижні
A3,1 заявки зі 100B4,7 заявки зі 100
B +52%впевненість 99%
Нову сторінку B бачать ті, хто прийшов з email-розсилки, а стару A — усі інші. Пропозиція: зробити B головною для всіх.
Групи не випадкові. Читачі розсилки вже знають магазин і реєструються охочіше на будь-якій сторінці (розділ 2). Впевненість 99% тут нічого не рятує: вона відділяє різницю від випадку, а не від того, що в групах різні люди. Поділіть відвідувачів монеткою і повторіть.
Дашборд 7
Чат підтримки на сторінці товарудень 28 з 28
A1 240 покупок з 24 800B1 262 покупки з 24 800
B +2%впевненість 67%
Тест розраховано заздалегідь, групи ділив сервіс випадково. Чат коштує копійки, і клієнти в ньому дякують. Висновок відділу: «чат не впливає на продажі, вимикаємо».
Різниці не видно, тож вирішувати з інших міркувань. «Переможця немає» не доводить, що чат не впливає: тест лише не розрізнив маленьку різницю (розділ 9). Великої шкоди продажам чат, найпевніше, не робить, коштує мало, а клієнтам подобається. Це гарні причини його лишити.
А тепер дашборд із початку курсу
Тест: кнопка «Купити зараз»день 3 з 14
A48 покупок з 1 000B61 покупка з 1 000
B +27%впевненість 90%
Відповідь керівникові: «Поки ні. Повернемося до цього через 11 днів».
Третій день із чотирнадцяти: рішення за ранніми цифрами збільшує шанс фальшивого переможця (розділ 6).
Впевненість 90% не дотягує навіть до звичного порогу 95% (розділ 5).
На 1 000 людях різниця в 13 покупок цілком може бути випадком, а версія, справді краща на 1 покупку зі 100, на такій кількості людей програє приблизно 1 раз із 7 (розділи 3 і 4).
А якщо B переможе в кінці, «+27%» після запуску майже напевно стане меншим (розділ 8).
✓
Перш ніж повірити A/B-тесту
Дев'ять питань, по одному з кожного розділу. Їх можна поставити будь-якому дашборду, не рахуючи нічого самому.
Готові до складніших випадків: виручки замість покупок, байєсівського «шансу перемогти», плану тесту і звіту для керівника? Далі курс «Парадокси A/B-тестування», а свої числа можна перевірити в інструменті «Перевірте свій тест».
Кінець курсу
Знаєте колегу, якому дашборди тестів здаються китайською грамотою? Надішліть йому курс: тут лише лічба і монетка.