Словник / Мінімальний помітний ефект (MDE)
Здається, що A/B-тест — це питання кількох тижнів: запустили, подивились, вирішили. Але кожен тест бачить лише ефекти, більші за певну планку. Менші він здебільшого пропускає, хоч би якими справжніми вони були. Ця планка залежить від трафіку, конверсії й тривалості тесту і називається мінімальним помітним ефектом, або MDE (від англійського minimum detectable effect). На малому сайті вона буває такою високою, що скромне поліпшення не помітити й за роки.
Шар «На пальцях» приховано на всіх задачах.
До інтернет-магазину щодня заходить 1000 людей, купує 3% з них. Нова сторінка оформлення замовлення справді краща: з нею купуватимуть 3,06% відвідувачів, тобто на 2% більше. Для великого магазину це помітні гроші. Власник ділить трафік навпіл між старою і новою сторінкою і хоче тест, який знайде такий ефект із ймовірністю 80% за звичайного рівня значущості 5%.
Скільки має тривати такий тест?
Близько семи років: 2563 дні.
Різниця між 3% і 3,06% — шість покупок на 10 000 відвідувачів. А випадковий шум у кількості покупок за кілька тижнів набагато більший. Щоб шість зайвих покупок на кожні десять тисяч виділилися з шуму, потрібно приблизно 1,28 млн відвідувачів на кожну сторінку. За два тижні цей магазин надійно побачить лише ефект від +29% і більше.
Лінія показує, який найменший приріст тест помітить залежно від того, скільки днів він триває (шкала днів логарифмічна). Пунктир — приріст, який ви хочете помітити. Там, де лінія опускається до пунктиру, тест уже досить довгий.
MDE за стільки днівбажаний приріст
Найпростіше пояснення, трохи спрощене. У будь-якому тесті кількість покупок трохи тремтить випадково: сьогодні на старій сторінці купили 16 людей, завтра 13, хоча сторінка та сама. Справжня різниця мусить бути помітно більшою за це тремтіння, інакше вона в ньому губиться. Чим більше відвідувачів, тим менше тремтить частка покупців, і тим нижче лежить планка. Розмір цього тремтіння міряє стандартна похибка.
Мінімальний помітний ефект — найменший справжній ефект, який тест заданого розміру знайде з наперед обраною ймовірністю, зазвичай 80%. Його рахують до запуску: з конверсії, трафіку й тривалості. Ефекти, менші за MDE, тест теж іноді знаходить, але здебільшого пропускає.
Підступна частина — швидкість, з якою планка опускається. Удвічі довший тест не робить її вдвічі нижчою: вона опускається лише на 29%. Щоб помітити вдвічі менший ефект, потрібно вчетверо більше відвідувачів. Тому дрібні поліпшення такі дорогі для перевірки.
Комп'ютер 200 разів проводить той самий тест із калькулятора вище: та сама конверсія, той самий трафік, а нова сторінка справді краща рівно на обраний приріст. Кожна точка — один тест. Змінюйте тривалість і дивіться, як часто тест знаходить справжнє поліпшення.
нова сторінка значущо краща: ефект знайдено«різниці немає»«стара значущо краща»
Коли справжній ефект набагато менший за MDE, тест знаходить його не частіше, ніж знаходив би «переможця» серед двох однакових сторінок. Такий тест не відрізняє робочу зміну від марної: що б він не показав, ви дізналися майже нічого.
Шар «Строго» приховано на всіх задачах.
Для двох версій з конверсіями p₁ і p₂ потрібна кількість відвідувачів на кожну версію за рівня значущості 5% (двобічно) і ймовірності знайти ефект 80%:
n ≈ (1,96 + 0,84)² · [p₁(1 − p₁) + p₂(1 − p₂)] / (p₂ − p₁)² ≈ 16 · p(1 − p) / (p₂ − p₁)²
Тут 1,96 відповідає рівню значущості 5%, 0,84 — потужності 80%, а 2 · 2,8² ≈ 15,7 округлюють до 16. MDE — та сама формула, розв'язана навпаки: задано n, шукаємо найменшу різницю. Для конверсії зручно рахувати не відвідувачів, а покупки на кожну версію c = n·p. Тоді відносний MDE приблизно дорівнює 2,8 · √(2(1 − p) / c), а для малих конверсій ще простіше: MDE ≈ 4 / √c.
| Покупок на кожну версію | MDE, точно (конверсія 3%) | Правило 4 / √c |
|---|
Сто покупок на версію — і тест помічає лише ефекти близько +40%. Щоб опуститися до +4%, потрібно 10 000 покупок на кожну версію. Важить саме кількість покупок: сайт з конверсією 1% мусить зібрати приблизно втричі більше відвідувачів, ніж сайт з 3%, щоб мати той самий MDE.
MDE часто уявляють як межу: усе, що більше, тест побачить, усе, що менше, ні. Насправді шанс знайти ефект, тобто статистична потужність, змінюється плавно. Ефект, рівний MDE, тест знаходить у 80% випадків, а не завжди. Ось як шанс залежить від того, яку частку MDE становить справжній ефект (нормальне наближення; від конверсії й трафіку майже не залежить):
| Справжній ефект | Тест знаходить його |
|---|
Ще одна несподіванка: планка значущості лежить нижче за MDE. Тест, розрахований на MDE +10%, визнає значущим уже спостережений приріст близько +7%, бо 1,96 / 2,8 ≈ 0,7. Тож «значущий результат +7%» у такому тесті — не диво, а звичайна справа. Диво було б, якби тест, у якому справжній ефект +10%, завжди показував щонайменше +10%: у половині випадків він покаже менше.
Шар «Глибше» приховано на всіх задачах.
1992 року статистик Роберт Лер із фармацевтичної компанії Berlex опублікував у журналі Statistics in Medicine коротку статтю «Шістнадцять s у квадраті на d у квадраті». Він запропонував рахувати розмір кожної групи як n ≈ 16·s²/d², де s² — дисперсія вимірювання, а d — різниця, яку хочуть помітити. Правило працює саме для звичного набору: потужність 80% і двобічний рівень значущості 5%. Для конверсії s² = p(1 − p), і виходить формула вище.
Звідки 16: різниця середніх двох груп по n тремтить зі стандартною похибкою s·√(2/n). Щоб справжня різниця d знаходилась у 80% випадків, вона має лежати на 1,96 + 0,84 = 2,8 таких похибки від нуля: d = 2,8 · s · √(2/n). Звідси n = 2 · 2,8² · s²/d² ≈ 15,7 · s²/d². Квадрат у знаменнику й робить малі ефекти такими дорогими: зменшіть d удесятеро, і n зросте в сто разів.
Цю саму логіку використовують усі калькулятори A/B-тестів: вони питають конверсію і MDE і відповідають кількістю відвідувачів. Якщо ж вести тест від наявного трафіку, корисно рахувати навпаки, як у калькуляторі вище: скільки днів є, такий MDE і вийде. Буває, що чесна відповідь — «цей тест на нашому трафіку не має сенсу», і це теж корисне рішення, ухвалене ще до запуску.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.