Математичні парадокси

Словник / Холдаут-група

Словник · холдаут-група

Двадцять перемог за рік — і де приріст?

Велика продуктова команда за рік запустила 20 змін, і кожна чесно виграла свій A/B-тест. Аналітик складає записані ліфти, і звіт обіцяє майже +50% до продажів. А 5% клієнтів увесь рік жили на старому сайті й не бачили жодної з цих змін. Здавалося б, вони мають купувати помітно менше за решту. Порівняння з ними і є головною перевіркою року, а саму групу називають холдаут-групою.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Рік перемог

Магазин перевіряє ідеї A/B-тестами по 400 000 відвідувачів на кожен варіант, конверсія 5%. Ідеї бувають різні: одні трохи допомагають, інші нічого не змінюють, деякі шкодять. Кожну ідею, що перемогла в тесті зі значущим результатом, запускають, а її ліфт із дашборда записують у річний звіт. За рік таких переможців 20.

Звіт: 20 переможців, разом близько +49%. Що покаже порівняння з холдаут-групою наприкінці року?

Куди зникли проценти

Найпростіше пояснення, трохи спрощене: кожен тест бачить свою зміну окремо, на кілька тижнів і з шумом, а холдаут-група бачить усі зміни разом, за весь рік і без вибору найкращих. Тому звіт складає оптимістичні шматки, а холдаут-група міряє цілу картину. Розрив між ними дають три окремі причини, і кожна з них не залежить від чесності аналітика.

  • 1. Перемагають щасливчикиСправжні ефекти ідей малі, менші за шум тесту. Значущу перемогу частіше отримує та ідея, якій шум цього разу додав. Тож записаний ліфт переможця в середньому більший за його справжній ефект, а деякі «переможці» насправді шкодять. Це прокляття переможця.
  • 2. Ефекти перекриваютьсяДва листи про покинутий кошик, кожен у своєму тесті повертає 30% кошиків. Разом вони повернуть не 60%, а 51%: другий лист може повернути лише той кошик, який не повернув перший. Покупця можна переконати лише раз, а кожен тест записує його собі.
  • 3. Новизна згасаєТест триває кілька тижнів, і частину ефекту дає просто те, що щось змінилося. Через пів року люди звикають. У симуляції від ефекту лишається дві третини.

Посуньте повзунок праворуч: з великими тестами шум менший, і перша причина майже зникає. Але навіть з 6,4 млн відвідувачів на варіант звіт у середньому обіцяє +19%, а холдаут-група показує близько +7%: перекриття і згасання тест не бачить за жодного розміру.

Що таке холдаут-група

Холдаут-група, або довга контрольна група, — невелика випадкова частка клієнтів, яка довго, зазвичай квартал чи рік, не бачить жодної із запущених змін або кампаній. Решта бачить усе. Різниця між ними наприкінці показує, що всі зміни дали разом, з перекриттям і згасанням. У CRM-маркетингу таку групу часто називають глобальною контрольною групою: цим клієнтам не надсилають жодних кампаній. А коли без однієї нової функції лишають частину людей після її запуску, кажуть holdback.

Звичайна контрольна група в A/B-тесті відповідає на питання «чи краща ця зміна за стару версію зараз». Холдаут-група відповідає на інше: «наскільки весь наш рік роботи кращий за рік без неї».

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Скільки клієнтів лишити без змін

Холдаут-група має ціну: ці клієнти цілий рік не отримують покращень. І має точність: що менша група, то більше шуму в її результаті. Нехай у магазину 2 млн клієнтів на рік, і купує з них 30%. Справжній приріст від усіх змін, як у симуляції, +7,1%. Змінюйте частку холдаут-групи.

Людей у групі–
Похибка, 95%–
Ціна · частка річних продажів–

Відрізнити +7% від обіцяних +49% вистачає навіть 1%: похибка тоді близько ±2,1 пункту. Щоб виміряти сам приріст до пів пункту, потрібна вже п'ята частина клієнтів. Удвічі менша похибка коштує вчетверо більшої групи, тому зазвичай лишають 5–10%: за 5% похибка близько ±1,0 пункту, а ціна — приблизно 0,36% річних продажів.

Правила холдаут-групи

  • Жереб, а не зручністьГрупу обирають випадково до початку року. «Ті, хто не оновив застосунок» чи «ті, хто відписався» — не холдаут-група: ці люди відрізняються самі по собі.
  • Ті самі люди весь рікДілять за клієнтом, а не за візитом. Якщо людина то потрапляє в групу, то ні, вона бачить половину змін, і порівняння розмивається.
  • Жодних винятківХолдаут-група не бачить ні нових функцій, ні нових листів, ні знижок. Одна «дуже важлива» кампанія для всіх — і група вже міряє рік без цієї кампанії, а не рік без змін.
  • Одне порівняння наприкінціЯкщо щотижня шукати, у якому сегменті холдаут-група «вже показала» різницю, повертаються ті самі хибні відкриття, від яких вона мала захистити.
  • Звіт ділимо, а не складаємоВідношення «холдаут-група / сума ліфтів» за минулий рік — чесний поправковий коефіцієнт для планів на наступний. У симуляції він близько 0,15.

Як записані перемоги складаються в річний звіт крок за кроком, розібрано в розділі 17 курсу «Парадокси A/B-тестування», а як обрати розмір довгої контрольної групи для однієї функції — в курсі про вплив фіч.

Глибшеузагальнення, теорія, історія

Шар «Глибше» приховано на всіх задачах.

Три поправки формулами

Прокляття переможця. У симуляції справжні ефекти ідей розкидані навколо нуля зі стандартним відхиленням τ = 0,75%, а шум тесту з 400 000 відвідувачів на варіант σ ≈ 0,97%. Якщо тест записав ліфт x, найкраща оцінка справжнього ефекту — лише частка від нього:

E[справжній | записано x] = x · τ² / (τ² + σ²) = x · 0,56 / (0,56 + 0,95) ≈ 0,37 · x

Тому з +49% записаних лишається близько +18%, а 7% переможців насправді шкодять. Чим більший тест, тим ближчий множник до одиниці: за 6,4 млн на варіант він 0,90.

Перекриття. У моделі всі зміни разом можуть додати щонайбільше H = 15%: стільки покупців узагалі можна переконати. Кожна зміна переконує частку e/H тих, хто ще лишився. Тоді разом:

разом = H · (1 − (1 − e₁/H)(1 − e₂/H)…(1 − e₂₀/H))

Для малих ефектів це майже сума, але двадцять змін по 0,9% вже дають +10,7% замість +18,2%. Межа H у симуляції — припущення, і в кожному бізнесі вона своя. Зате формула показує напрямок: що більше змін б'ють в одну й ту саму покупку, то менше їхня сума схожа на правду. Якщо кожен тест іде поверх уже запущених змін, він міряє лише свою добавку, і такі добавки складаються чесно. Перекриття рахується двічі там, де тести йдуть паралельно, кожен проти старої версії.

Згасання. Множник «лишається дві третини» теж припущення моделі. Справжню частку показує лише довгий вимір, а саме для цього і тримають холдаут-групу.

Відвідувачів на варіантІдей на 20 перемогЗвітСправжні, окремоРазомХолдаут

Точний розрахунок у нормальному наближенні, середнє за рік. Симуляція вище щоразу дає трохи інші числа: це один рік, а не середнє.

Звідки це відомо

2018 року Мін'йон Лі і Мілан Шен з Airbnb опублікували на конференції KDD статтю «Winner's Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments». Вони показали, що сума ефектів запущених експериментів, обраних за значущістю, систематично перебільшує справжній загальний ефект, і запропонували поправку на це перебільшення.

Про згасання і довгі ефекти 2015 року писали Геннінг Гонгольд, Дейрдре О'Браєн і Даяна Тан з Google у статті «Focusing on the Long-term: It's Good for Users and Business». На рекламі в пошуку вони показали, що короткий тест не завжди передбачає довгий ефект: користувачі з часом навчаються і змінюють поведінку. Щоб це побачити, групи користувачів тривалий час жили з різними налаштуваннями.

Довгі холдаут-групи і holdback як окремий інструмент описано в книжці Рона Кохаві, Даяни Тан і Я Сюй «Trustworthy Online Controlled Experiments» (Cambridge University Press, 2020), у розділі про вимір довгих ефектів (с. 175).

Де це трапляється

Ще в темі «Дані та експерименти»

Усі терміни →