Словник / Холдаут-група
Велика продуктова команда за рік запустила 20 змін, і кожна чесно виграла свій A/B-тест. Аналітик складає записані ліфти, і звіт обіцяє майже +50% до продажів. А 5% клієнтів увесь рік жили на старому сайті й не бачили жодної з цих змін. Здавалося б, вони мають купувати помітно менше за решту. Порівняння з ними і є головною перевіркою року, а саму групу називають холдаут-групою.
Шар «На пальцях» приховано на всіх задачах.
Магазин перевіряє ідеї A/B-тестами по 400 000 відвідувачів на кожен варіант, конверсія 5%. Ідеї бувають різні: одні трохи допомагають, інші нічого не змінюють, деякі шкодять. Кожну ідею, що перемогла в тесті зі значущим результатом, запускають, а її ліфт із дашборда записують у річний звіт. За рік таких переможців 20.
Звіт: 20 переможців, разом близько +49%. Що покаже порівняння з холдаут-групою наприкінці року?
ліфт, записаний у звітсправжній ефект ідеї
Найпростіше пояснення, трохи спрощене: кожен тест бачить свою зміну окремо, на кілька тижнів і з шумом, а холдаут-група бачить усі зміни разом, за весь рік і без вибору найкращих. Тому звіт складає оптимістичні шматки, а холдаут-група міряє цілу картину. Розрив між ними дають три окремі причини, і кожна з них не залежить від чесності аналітика.
Посуньте повзунок праворуч: з великими тестами шум менший, і перша причина майже зникає. Але навіть з 6,4 млн відвідувачів на варіант звіт у середньому обіцяє +19%, а холдаут-група показує близько +7%: перекриття і згасання тест не бачить за жодного розміру.
Холдаут-група, або довга контрольна група, — невелика випадкова частка клієнтів, яка довго, зазвичай квартал чи рік, не бачить жодної із запущених змін або кампаній. Решта бачить усе. Різниця між ними наприкінці показує, що всі зміни дали разом, з перекриттям і згасанням. У CRM-маркетингу таку групу часто називають глобальною контрольною групою: цим клієнтам не надсилають жодних кампаній. А коли без однієї нової функції лишають частину людей після її запуску, кажуть holdback.
Звичайна контрольна група в A/B-тесті відповідає на питання «чи краща ця зміна за стару версію зараз». Холдаут-група відповідає на інше: «наскільки весь наш рік роботи кращий за рік без неї».
Шар «Строго» приховано на всіх задачах.
Холдаут-група має ціну: ці клієнти цілий рік не отримують покращень. І має точність: що менша група, то більше шуму в її результаті. Нехай у магазину 2 млн клієнтів на рік, і купує з них 30%. Справжній приріст від усіх змін, як у симуляції, +7,1%. Змінюйте частку холдаут-групи.
Відрізнити +7% від обіцяних +49% вистачає навіть 1%: похибка тоді близько ±2,1 пункту. Щоб виміряти сам приріст до пів пункту, потрібна вже п'ята частина клієнтів. Удвічі менша похибка коштує вчетверо більшої групи, тому зазвичай лишають 5–10%: за 5% похибка близько ±1,0 пункту, а ціна — приблизно 0,36% річних продажів.
Як записані перемоги складаються в річний звіт крок за кроком, розібрано в розділі 17 курсу «Парадокси A/B-тестування», а як обрати розмір довгої контрольної групи для однієї функції — в курсі про вплив фіч.
Шар «Глибше» приховано на всіх задачах.
Прокляття переможця. У симуляції справжні ефекти ідей розкидані навколо нуля зі стандартним відхиленням τ = 0,75%, а шум тесту з 400 000 відвідувачів на варіант σ ≈ 0,97%. Якщо тест записав ліфт x, найкраща оцінка справжнього ефекту — лише частка від нього:
E[справжній | записано x] = x · τ² / (τ² + σ²) = x · 0,56 / (0,56 + 0,95) ≈ 0,37 · x
Тому з +49% записаних лишається близько +18%, а 7% переможців насправді шкодять. Чим більший тест, тим ближчий множник до одиниці: за 6,4 млн на варіант він 0,90.
Перекриття. У моделі всі зміни разом можуть додати щонайбільше H = 15%: стільки покупців узагалі можна переконати. Кожна зміна переконує частку e/H тих, хто ще лишився. Тоді разом:
разом = H · (1 − (1 − e₁/H)(1 − e₂/H)…(1 − e₂₀/H))
Для малих ефектів це майже сума, але двадцять змін по 0,9% вже дають +10,7% замість +18,2%. Межа H у симуляції — припущення, і в кожному бізнесі вона своя. Зате формула показує напрямок: що більше змін б'ють в одну й ту саму покупку, то менше їхня сума схожа на правду. Якщо кожен тест іде поверх уже запущених змін, він міряє лише свою добавку, і такі добавки складаються чесно. Перекриття рахується двічі там, де тести йдуть паралельно, кожен проти старої версії.
Згасання. Множник «лишається дві третини» теж припущення моделі. Справжню частку показує лише довгий вимір, а саме для цього і тримають холдаут-групу.
| Відвідувачів на варіант | Ідей на 20 перемог | Звіт | Справжні, окремо | Разом | Холдаут |
|---|
Точний розрахунок у нормальному наближенні, середнє за рік. Симуляція вище щоразу дає трохи інші числа: це один рік, а не середнє.
2018 року Мін'йон Лі і Мілан Шен з Airbnb опублікували на конференції KDD статтю «Winner's Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments». Вони показали, що сума ефектів запущених експериментів, обраних за значущістю, систематично перебільшує справжній загальний ефект, і запропонували поправку на це перебільшення.
Про згасання і довгі ефекти 2015 року писали Геннінг Гонгольд, Дейрдре О'Браєн і Даяна Тан з Google у статті «Focusing on the Long-term: It's Good for Users and Business». На рекламі в пошуку вони показали, що короткий тест не завжди передбачає довгий ефект: користувачі з часом навчаються і змінюють поведінку. Щоб це побачити, групи користувачів тривалий час жили з різними налаштуваннями.
Довгі холдаут-групи і holdback як окремий інструмент описано в книжці Рона Кохаві, Даяни Тан і Я Сюй «Trustworthy Online Controlled Experiments» (Cambridge University Press, 2020), у розділі про вимір довгих ефектів (с. 175).
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.