Словник / Статистична потужність
Нова кнопка справді краща: з нею купує 5,5% відвідувачів замість 5%, тобто на 10% більше. Ви запускаєте A/B-тест і чекаєте на дашборді «+10%». Якщо відвідувачів мало, тест здебільшого не помітить нічого. А коли таки покаже переможця, «приріст» буде вдвічі-втричі більшим за справжній. Скільки шансів у тесту помітити справжній ефект, міряє статистична потужність.
Шар «На пальцях» приховано на всіх задачах.
Комп'ютер 2000 разів проводить той самий A/B-тест кнопки, яка насправді краща на 10%. Кожен стовпчик показує, скільки тестів побачили на дашборді такий «приріст». Пурпурові — тести, що вийшли статистично значущими: саме їх приносять на нараду як «перемогу». Змінюйте кількість відвідувачів на кожен варіант.
тест не знайшов різниці«переможець»: значущий результатсправжній ефект, +10%
Найпростіше пояснення, трохи спрощене. Щоб тест визнав різницю значущою, вона має бути більшою за звичайний шум. За 1000 відвідувачів на варіант шум великий, і планка значущості лежить десь на «+40%». Справжні +10% до неї не дотягують. Перестрибнути планку можуть лише ті тести, де шум випадково додав ще 30 відсоткових пунктів. Тому кожен «переможець» тут — щасливчик, і його приріст завжди перебільшений.
Частку тестів, які помічають справжній ефект заданого розміру, називають статистичною потужністю, або потужністю тесту. Потужність 20% означає: якщо ідея справді працює саме настільки, тест визнає її в одному випадку з п'яти.
Шар «Строго» приховано на всіх задачах.
Лінія показує потужність тесту залежно від кількості відвідувачів на кожен варіант (шкала логарифмічна: кожна поділка вдесятеро більша). Звичайне правило — планувати тест так, щоб потужність була щонайменше 80%. Подивіться, як далеко праворуч відсувається ця точка, коли ефект малий або конверсія низька.
Формула для двобічного тесту з рівнем значущості 5% і потужністю 80%: 1,96 відповідає 5%, 0,84 — 80%. Для малих чисел вона трохи наближена, але точний розрахунок через біноміальний розподіл дає майже ті самі значення: для 5% → 5,5% і 31 234 відвідувачів на варіант потужність рівно 80,0%.
Квадрат у знаменнику робить малі ефекти дорогими. Удвічі менший ефект потребує вчетверо більше відвідувачів. Тому, коли трафіку мало, краще тестувати сміливі зміни, а не відтінок кнопки.
Точний розрахунок через біноміальний розподіл, без симуляції. «Планка» — найменший приріст, з яким тест за 5% конверсії у варіанті A вже визнає B значущо кращим. Останній стовпчик — середній приріст на дашборді серед значущих перемог B.
| Відвідувачів на варіант | Потужність | Планка значущості | Приріст у переможців |
|---|
Поки потужність нижча за 50%, планка вища за сам ефект, і кожна перемога неминуче перебільшує. Коли потужність доходить до 80%, переможці показують у середньому +11,4%, вже близько до правди.
Шар «Глибше» приховано на всіх задачах.
Статистики Ендрю Ґелман і Джон Карлін 2014 року запропонували дивитися не лише на потужність, а й на дві інші помилки. Помилка типу M (magnitude, розмір) — у скільки разів значущий результат у середньому перебільшує справжній ефект. Помилка типу S (sign, знак) — яка частка значущих результатів показує ефект з протилежним знаком. Лінія нижче — теорія для нормального наближення, пурпурова точка — ваші 2000 тестів з першої симуляції.
Тут перебільшення рахують через різницю конверсій: середня |p̂B − p̂A| серед значущих тестів, поділена на справжні 0,5 відсоткового пункту. Дашборд, що показує приріст у відсотках, ділить ще й на випадкову конверсію A, тому там перебільшення трохи більше, як у таблиці вище.
За нормального наближення перебільшення залежить лише від потужності: за 80% — у 1,12 раза, за 50% — у 1,41, за 20% — у 2,26, за 10% — у 3,71. А за потужності 6% кожен п'ятий значущий результат має неправильний знак: тест «доводить», що краща версія гірша. Тож потужність — це не лише шанс знайти ефект, а й міра того, наскільки знахідці можна вірити.
Слово «потужність» і помилку другого роду ввели Єжи Нейман і Еґон Пірсон у статті 1933 року про найефективніші тести. Помилка першого роду — побачити ефект, якого немає; другого — пропустити справжній. Потужність дорівнює одиниці мінус імовірність помилки другого роду.
Психолог Джейкоб Коен 1962 року перевірив статті журналу Journal of Abnormal and Social Psychology за 1960 рік і з'ясував, що для ефектів середнього розміру потужність досліджень була в середньому близько 0,48: майже як підкинути монету. У книжці про аналіз потужності (друге видання 1988 року) він запропонував як умовність 80%, коли немає кращих підстав. Логіка така: за рівня значущості 5% і пропуску 20% хибна тривога вважається приблизно вчетверо гіршою за пропущений ефект.
За пів століття мало що змінилося. 2013 року Кетрін Баттон із колегами в журналі Nature Reviews Neuroscience оцінили 730 досліджень із 49 метааналізів у нейронауці: медіанна потужність — 21%. А ще 1995 року статистики Даґлас Олтмен і Мартін Бленд у BMJ дали цьому явищу назву, яку варто пам'ятати після кожного «незначущого» тесту: «Відсутність доказів — не доказ відсутності».
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.