Маркетолог показує ту саму сторінку як «A» і як «B». Справжня конверсія в обох 5%. Дашборд рахує конверсії і пише, наскільки краща сторінка-лідер. Як часто одна з двох однакових сторінок обійде іншу на 20% або більше? Зафіксуйте відповідь, а потім перевірте її у грі, на симуляції 20 000 тестів і в поясненнях: що таке розподіл, стандартна похибка, p-значення і скільки відвідувачів насправді треба.
Маркетолог показує ту саму сторінку як «A» і як «B», конверсія в обох 5%. У 36% таких тестів одна сторінка «перемагає» іншу на 20% або більше. При 1 000 відвідувачів на сторінку це звичайний шум: близько 50 конверсій розкидаються на ±7. Нижче гра, симуляція 20 000 тестів і пояснення: розподіл, стандартна похибка, p-значення і скільки відвідувачів насправді треба.
A/A-тест виглядає як звичайний A/B-тест, але обидва варіанти однакові. Його запускають, щоб перевірити інструмент і зрозуміти, скільки «різниці» дає сам шум.
Лендінг із кнопкою «Купити». Інструмент тестування показує його половині відвідувачів як «A», а другій половині як «B». Нічого не відрізняється: ні текст, ні колір, ні ціна.
Кожен відвідувач купує з імовірністю 5%, незалежно від інших і від того, яку «версію» бачив. На кожен варіант приходить 1 000 людей, тож у середньому буде по 50 покупок.
Наприкінці дашборд показує конверсії і на скільки відсотків лідер кращий за іншу сторінку. Наприклад: «A 52, B 61, B +17%». Ми питаємо про «перемогу» на 20% і більше, наприклад 50 проти 60.
У якій частці таких A/A-тестів одна з двох однакових сторінок матиме щонайменше на 20% більше конверсій, ніж інша?
«Рідко, кілька відсотків: сторінки ж однакові»
Насправді в 35,8% тестів, тобто більш ніж у кожному третьому. 50 конверсій означає маленьку вибірку, навіть якщо відвідувачів тисяча. Різниця в 10 покупок тут звичайна справа.
Дві однакові сторінки, конверсія 5%, по 1 000 відвідувачів. У якій частці тестів одна з них отримає щонайменше на 20% більше конверсій?
Тут з'явиться точна відповідь і розбір вашої оцінки.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Рахуйте не відвідувачів, а покупки. Скільки конверсій у середньому отримає кожна сторінка? Чи вважали б ви точним опитування такої кількості людей?
Число покупок із 1 000 відвідувачів при 5% коливається приблизно на √50 ≈ 7 в один і в інший бік. Різниця двох таких незалежних чисел коливається в √2 раза сильніше.
«Перемога» на 20% при 50 покупках означає різницю близько 10 покупок. Порівняйте це число з типовим розкидом різниці. Наскільки рідкісне відхилення на одне типове відхилення?
Ось 10 дашбордів A/B-тестів. За кожним комп'ютер навмання, як монеткою, загадав одне з двох: або сторінки однакові (обидві 5%), або B справді кращий на 10% (5,5%). Позначте, де, на вашу думку, справжній ефект, а де шум, і натисніть «Перевірити». Потім збільште кількість відвідувачів.
«Шанс, що B кращий» рахуємо так, як його показують багато інструментів: Φ(z), де z є різницею конверсій, поділеною на її стандартну похибку. Зірочка ★ означає 95% і більше, тобто той поріг, за яким інструмент зазвичай пише «значущо». У тестах, де сторінки однакові, таке трапляється в одному тесті з двадцяти.
Комп'ютер проводить 20 000 тестів у двох світах. У сірому світі сторінки однакові. У темному B справді кращий на 10%. Для кожного тесту він записує ліфт, який показав би дашборд, і складає ці ліфти в стовпчики. Виходять два «дзвони». Тягніть повзунок: що більше відвідувачів, то вужчі дзвони і то легше їх розрізнити.
Насичені стовпчики за пунктиром: сірі є фальшивими переможцями, темні праворуч є справжнім ефектом, який тест помітив (потужність). Ліфт тут дорівнює різниці конверсій B − A, поділеній на очікувані 5% (при 1 000 відвідувачів це 50 покупок). Дашборд ділить на фактичні конверсії A, картина від цього майже не змінюється. Фальшивий переможець означає A/A-тест, де будь-яка зі сторінок обійшла іншу за пороги p < 0,05 (звичайний двобічний z-тест). Точні значення пораховані додаванням біноміальних імовірностей за всіма парами результатів.
Темна лінія показує ліфт, який бачить маркетолог, поки відвідувачі накопичуються. Сірі лінії показують ще 20 таких самих тестів. Смуга охоплює 95% можливих значень шуму і звужується як 1/√n. На початку тесту дашборд показує величезні «перемоги», яких немає.
Від монетки до формули розміру вибірки. Перший шар без формул, другий з таблицями і калькулятором, третій про теорію та історію.
Шар «На пальцях» приховано на всіх задачах.
Підкиньте дві звичайні монетки по 100 разів. Орлів буде близько 50 у кожної, але одна обійде іншу на 10 і більше орлів у 17,9% випадків. Ніхто не скаже, що одна монетка «краща».
Відвідувач сторінки теж монетка, тільки «орел» випадає в 5% випадків. 1 000 відвідувачів дають ті самі 50 покупок, але розкид більший: ±7 замість ±5, бо рідкісні події коливаються сильніше (√50 ≈ 7). Дві однакові сторінки розходяться на 10 і більше покупок у 32,9% тестів.
Різниця двох сторінок коливається в √2 ≈ 1,4 раза сильніше, ніж кожна з них: шум є в обох. Тож ±20% є не рідкісною подією, а одним «типовим відхиленням». Це спрощення, точний розрахунок у раунді 1 дає 35,8%.
«У нас тисяча відвідувачів, це багато» звучить переконливо. Але інформацію несуть лише ті, хто купив, а таких 50. Опитування 50 людей ніхто не вважає точним, а тест на 50 конверсіях вважають.
Тому сторінка з конверсією 1% потребує вп'ятеро більше трафіку, ніж сторінка з 5%, щоб помітити той самий відносний ліфт. Таблиця в шарі «Строго» це показує.
Після першого дня в кожного варіанта кілька покупок, і 3 проти 6 дає «+100%». Що більше людей, то вужча смуга шуму на графіку труби в раунді 3. Вона звужується як 1/√n: учетверо більше відвідувачів дають удвічі вужчу смугу.
| Відвідувачів на варіант | Шум різниці (95%) |
|---|---|
| 250 | ±76% |
| 1 000 | ±38% |
| 4 000 | ±19% |
| 16 000 | ±9,6% |
p-значення відповідає на питання: якби сторінки були однакові, як часто шум дав би такий самий або ще більший розрив? p < 0,05 означає «рідше ніж 1 раз на 20». Це твердження про шум, а не про вашу сторінку.
Чи справді B кращий, залежить ще й від того, як часто ваші ідеї взагалі працюють. Якщо працює лише кожна десята, то навіть серед «значущих» переможців помітна частка фальшивих. Калькулятор є в раунді 5.
Спершу вирішіть, який найменший ліфт вам важливий. Потім порахуйте, скільки відвідувачів треба, щоб помітити його у 8 тестах із 10 (раунд 5 має калькулятор). Потім чекайте, доки тест набере цю кількість, і лише тоді дивіться на результат. Якщо стільки трафіку немає, тестуйте сміливіші зміни: ліфт +20% потребує вчетверо менше людей, ніж +10%.
Шар «Строго» приховано на всіх задачах.
Ширину дзвона з раунду 3 вимірює стандартна похибка. Для конверсії однієї сторінки вона дорівнює √(p(1 − p)/n), для різниці двох сторінок √(2p(1 − p)/n). Близько 95% результатів шуму лежать у межах ±1,96 стандартної похибки. Ось ці межі для p = 5%.
| n | SE різниці, п. п. | ±1,96·SE, п. п. | у ліфті |
|---|
п. п. означає відсоткові пункти: 5,0% → 5,5% є різницею 0,5 п. п., тобто ліфтом +10%.
z = різниця конверсій, поділена на її стандартну похибку (зі спільною конверсією обох груп). p-значення двобічне, з нормальної кривої. Довірчий інтервал 95% для різниці: ±1,96 стандартної похибки. Для малих чисел нормальна крива трохи оптимістична, тому поруч стоїть точний тест Фішера.
| Базова конверсія | ліфт +5% | +10% | +20% | +50% |
|---|
Статистична потужність 80% означає: якщо ефект справді такий, тест помітить його у 8 випадках із 10. Удвічі менший ліфт потребує вчетверо більше людей, бо розмір вибірки росте як 1/δ², де δ є абсолютною різницею конверсій. Швидке правило n ≈ 16·p(1 − p)/δ² дає 30 400 для 5% і +10% замість точних 31 234. Для малих ліфтів воно помиляється на кілька відсотків, для +50% недораховує до п'ятої частини.
| Тест каже «є ефект» | Тест каже «нічого» | |
|---|---|---|
| B справді кращий | Справжній переможецьчастка = потужність, 1 − β | Пропущена ідеяпохибка II роду, β |
| Сторінки однакові | Фальшивий переможецьпохибка I роду, α = 5% | Чесне «нічого»1 − α = 95% |
Поріг p < 0,05 контролює лише нижній рядок: серед A/A-тестів фальшивих переможців 5%, хоч скільки відвідувачів. Верхній рядок залежить від розміру вибірки. При 1 000 відвідувачів на варіант ефект +10% помічається лише у 7,2% тестів.
Число конверсій у варіанті з n відвідувачів має біноміальний розподіл. Стандартна похибка частки і різниці двох частот.
Наша задача: p = 5%, n = 1 000. Розкид різниці в ліфті, тобто поділений на 5%.
z-тест зі спільною конверсією p̄ обох груп і двобічне p-значення; 95% довірчий інтервал для різниці.
Розмір вибірки на варіант для різниці δ = p₂ − p₁, двобічного α і потужності 1 − β.
Перший рядок пояснює, звідки береться дзвін: число конверсій є сумою тисячі «монеток». Другий дає ширину шуму в нашій задачі: одне стандартне відхилення різниці дорівнює майже 20% ліфту. Третій описує стандартну перевірку, яку робить калькулятор вище. Останній показує, чому учетверо менший ефект коштує в 16 разів більше відвідувачів: δ стоїть у квадраті в знаменнику.
Шар «Глибше» приховано на всіх задачах.
Стовпчики показують точні біноміальні ймовірності того, скільки з 1 000 відвідувачів куплять при конверсії 5%. Лінія показує нормальний розподіл із тим самим середнім 50 і розкидом 6,9. Центральна гранична теорема каже, що сума багатьох незалежних дрібних випадковостей має приблизно такий розподіл, хоч якою була кожна окрема. Тому всі дзвони на цій сторінці однакової форми, змінюється лише ширина.
Рональд Фішер у книжці «Статистичні методи для дослідників» (1925) запропонував дивитися на p-значення і назвав межу 1 на 20 зручною для рішення, чи вважати відхилення значущим. Для нього це була міра доказу в одному досліді.
Єжи Нейман і Еґон Пірсон у статтях 1928–1933 років подивилися інакше: як на правило, яке багато разів ухвалює рішення. Вони ввели похибки першого і другого роду та потужність тесту. Сучасний A/B-тест змішує обидва погляди: p-значення від Фішера і розрахунок розміру вибірки від Неймана і Пірсона.
B справді кращий на 10%. Ми беремо лише ті тести, де B переміг значущо, і дивимося, який ліфт вони показали. При 1 000 відвідувачів на варіант значущим буває лише той тест, де шум випадково додав багато: у середньому такі тести показують на дашборді ліфт +60%. При 5 000 це +24,1%, і лише десь від 30 000 значущий результат перестає брехати про розмір ефекту. Тому «переможець» малого тесту після запуску на всіх майже завжди дає менше, ніж обіцяв.
Дохід на відвідувача шумить сильніше за конверсію: до випадковості «купив чи ні» додається випадковість суми чека. Якщо середній чек 50, але чеки розкидані, як це зазвичай буває (логнормально, σ = 1,2), дисперсія доходу на відвідувача більша в 4,4 раза, і для тієї самої точності треба в 4,4 раза більше відвідувачів. Одне замовлення на кілька тисяч може саме зробити «переможця».
Спершу математика (скільки відвідувачів і скільки днів), потім логіка (що означає «значущо» і «незначущо»), потім практика (як перевірити, що сам інструмент не бреше).
Розмір вибірки росте як 1/δ². Удвічі більший очікуваний ліфт скорочує тест учетверо. Тому сайтам із невеликим трафіком варто тестувати не відтінок кнопки, а нову пропозицію, ціну чи структуру сторінки: зміни, які можуть дати +20–50%.
Тест варто вести повними тижнями, навіть якщо вибірка набралася раніше: у вихідні і в будні купують по-різному. А дивитися на результат щодня і зупинятися на першому «95%» не можна, і це окрема пастка: підглядання в A/B-тест.
Уявіть 1 000 протестованих ідей, з яких працює кожна десята. Тест із потужністю 80% знайде 80 справжніх переможців, а з 900 порожніх ідей 5%, тобто 45, «переможуть» випадково. Серед 125 значущих результатів справжніх лише 64%. За потужності 20% частка падає до 31%. Це той самий механізм, що в парадоксі хибнопозитивного тесту: рідкісне справжнє тоне в частих хибних.
Відсутність доказу не є доказом відсутності. При 1 000 відвідувачів на варіант ефект +10% лишається «незначущим» у 92,8% тестів. Висновок «ми перевірили, і нічого не змінилося» з такого тесту зробити не можна: він майже нічого не міг побачити.
Перед серйозними тестами варто прогнати кілька A/A-тестів. Якщо «значущих» результатів у них помітно більше за 5%, інструмент рахує неправильно: наприклад, один відвідувач потрапляє в обидві групи, або боти йдуть лише в одну.
Друга перевірка нічого не коштує: чи справді трафік поділився так, як планували. 50 000 проти 48 500 при розподілі 50/50 виглядає як дрібниця, але випадково таке буває рідше ніж раз на пів мільйона. Це невідповідність розподілу (sample ratio mismatch): десь губляться відвідувачі одного варіанта, наприклад через повільне завантаження. Результатам такого тесту не можна вірити, хоч яким гарним буде ліфт.
Корабельний лікар Джеймс Лінд на кораблі HMS Salisbury розділив 12 моряків із цингою на шість пар і дав кожній парі інші ліки: сидр, оцет, морську воду, два апельсини й лимон на день та інше. Швидко одужали лише ті, хто їв цитрусові. Лінд описав дослід у «Трактаті про цингу» 1753 року.
Рональд Фішер у книжці «Статистичні методи для дослідників» (1925) писав, що значенню P = 0,05, тобто 1 на 20, відповідає 1,96, «або майже 2» стандартних відхилення, і що цю точку зручно брати за межу значущості. Сам Фішер пізніше радив обирати рівень значущості залежно від обставин.
У 2008 році виборчий штаб Барака Обами тестував кнопку і картинку на сторінці підписки. Кнопка «Learn More» і сімейне фото підняли конверсію з 8,26% до 11,6%. За оцінкою Дена Сірокера, директора з аналітики кампанії, це дало близько 2,9 мільйона додаткових email-адрес і приблизно 60 мільйонів доларів пожертв.
2012 року співробітник Microsoft запропонував інакше показувати заголовки реклами в Bing. Ідею вважали неважливою, і понад пів року нею ніхто не займався. Коли інженер нарешті запустив A/B-тест, дохід зріс на 12%. Роні Кохаві і Стефан Томке в Harvard Business Review (2017) оцінюють це в понад 100 мільйонів доларів на рік лише у США.
Роні Кохаві з колегами в статті «Онлайн-експерименти в Microsoft» (2009) повідомили, що лише близько третини протестованих ідей покращили метрику, заради якої їх робили. Решта виявилися нейтральними або шкідливими. Саме тому малий тест, який «знаходить» переможця щоразу, має викликати підозру.
Дизайнер Дуглас Боумен, ідучи з Google у березні 2009 року, написав прощальний пост. Він розповів, що команда, яка не могла обрати між двома відтінками синього, протестувала 41 відтінок між ними, щоб побачити, який працює краще. Боумен навів це як приклад культури, де кожне дизайнерське рішення має довести дані.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Поглиблено» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.