Чому слабкий тест перебільшує свої перемоги?

Парадокс переможця

Комп'ютер 2000 разів проводить той самий A/B-тест кнопки, яка насправді краща на 10%. Кожен стовпчик показує, скільки тестів побачили на дашборді такий «приріст». Пурпурові — тести, що вийшли статистично значущими: саме їх приносять на нараду як «перемогу». Змінюйте кількість відвідувачів на кожен варіант.

Планка вища за ефект

Найпростіше пояснення, трохи спрощене. Щоб тест визнав різницю значущою, вона має бути більшою за звичайний шум. За 1000 відвідувачів на варіант шум великий, і планка значущості лежить десь на «+40%». Справжні +10% до неї не дотягують. Перестрибнути планку можуть лише ті тести, де шум випадково додав ще 30 відсоткових пунктів. Тому кожен «переможець» тут — щасливчик, і його приріст завжди перебільшений.

Частку тестів, які помічають справжній ефект заданого розміру, називають статистичною потужністю, або потужністю тесту. Потужність 20% означає: якщо ідея справді працює саме настільки, тест визнає її в одному випадку з п'яти.

• Тиша — ще не порожнечаЗа потужності 20% тест чотири рази з п'яти скаже «різниці немає», хоча ідея робоча. Слабкий тест без результату не доводить, що зміна марна: він просто нічого не побачив.
• Перемога — ще не розмірКоли слабкий тест таки знайшов ефект, вірте напрямку, але не цифрі. Наступний, більший тест майже завжди покаже менше. Це не «ефект вигорів», а чесна оцінка замість щасливої.
• Потужність рахують до тестуВона залежить від того, який ефект ви хочете помітити, від базової конверсії і від кількості відвідувачів. Порахуйте її заздалегідь, і ви знатимете, чи має тест взагалі сенс.

Від чого залежить потужність

Лінія показує потужність тесту залежно від кількості відвідувачів на кожен варіант (шкала логарифмічна: кожна поділка вдесятеро більша). Звичайне правило — планувати тест так, щоб потужність була щонайменше 80%. Подивіться, як далеко праворуч відсувається ця точка, коли ефект малий або конверсія низька.

Квадрат у знаменнику робить малі ефекти дорогими. Удвічі менший ефект потребує вчетверо більше відвідувачів. Тому, коли трафіку мало, краще тестувати сміливі зміни, а не відтінок кнопки.

Таблиця для кнопки 5% → 5,5%

Точний розрахунок через біноміальний розподіл, без симуляції. «Планка» — найменший приріст, з яким тест за 5% конверсії у варіанті A вже визнає B значущо кращим. Останній стовпчик — середній приріст на дашборді серед значущих перемог B.

Поки потужність нижча за 50%, планка вища за сам ефект, і кожна перемога неминуче перебільшує. Коли потужність доходить до 80%, переможці показують у середньому +11,4%, вже близько до правди.

Що з цим робити

• Спершу ефект, потім трафікВирішіть, який найменший ефект вам ще цікавий, і порахуйте, скільки відвідувачів треба для 80%. Якщо це пів року трафіку, тест у такому вигляді не має сенсу.
• Мало трафіку — сміливіші зміниЕфект +30% помітити приблизно у вісім разів дешевше, ніж +10%: за 5% конверсії треба близько 3800 відвідувачів на варіант замість 31 000. На малому сайті тестуйте нову пропозицію чи ціну, а не колір кнопки.
• Більше подій — більша потужністьВажить кількість конверсій, а не відвідувачів. Клік по кнопці трапляється частіше за покупку, тож тест на кліки потужніший. Але й міряє він інше.
• «Не значуще» ≠ «не працює»Перш ніж закрити ідею, подивіться, яку потужність мав тест. За 20% він пропустив би й робочу ідею чотири рази з п'яти.
• Перемогу слабкого тесту перевіряютьПовторіть тест або продовжте його до запланованого розміру. Чекайте, що приріст зменшиться, і плануйте бюджет на меншу цифру.

Помилки типу M і типу S

Статистики Ендрю Ґелман і Джон Карлін 2014 року запропонували дивитися не лише на потужність, а й на дві інші помилки. Помилка типу M (magnitude, розмір) — у скільки разів значущий результат у середньому перебільшує справжній ефект. Помилка типу S (sign, знак) — яка частка значущих результатів показує ефект з протилежним знаком. Лінія нижче — теорія для нормального наближення, пурпурова точка — ваші 2000 тестів з першої симуляції.

За нормального наближення перебільшення залежить лише від потужності: за 80% — у 1,12 раза, за 50% — у 1,41, за 20% — у 2,26, за 10% — у 3,71. А за потужності 6% кожен п'ятий значущий результат має неправильний знак: тест «доводить», що краща версія гірша. Тож потужність — це не лише шанс знайти ефект, а й міра того, наскільки знахідці можна вірити.

Звідки взялися 80%

Слово «потужність» і помилку другого роду ввели Єжи Нейман і Еґон Пірсон у статті 1933 року про найефективніші тести. Помилка першого роду — побачити ефект, якого немає; другого — пропустити справжній. Потужність дорівнює одиниці мінус імовірність помилки другого роду.

Психолог Джейкоб Коен 1962 року перевірив статті журналу Journal of Abnormal and Social Psychology за 1960 рік і з'ясував, що для ефектів середнього розміру потужність досліджень була в середньому близько 0,48: майже як підкинути монету. У книжці про аналіз потужності (друге видання 1988 року) він запропонував як умовність 80%, коли немає кращих підстав. Логіка така: за рівня значущості 5% і пропуску 20% хибна тривога вважається приблизно вчетверо гіршою за пропущений ефект.

За пів століття мало що змінилося. 2013 року Кетрін Баттон із колегами в журналі Nature Reviews Neuroscience оцінили 730 досліджень із 49 метааналізів у нейронауці: медіанна потужність — 21%. А ще 1995 року статистики Даґлас Олтмен і Мартін Бленд у BMJ дали цьому явищу назву, яку варто пам'ятати після кожного «незначущого» тесту: «Відсутність доказів — не доказ відсутності».