Математичні парадокси

Словник / Мінімальний помітний ефект (MDE)

Словник · мінімальний помітний ефект

Скільки триватиме тест на +2%?

Здається, що A/B-тест — це питання кількох тижнів: запустили, подивились, вирішили. Але кожен тест бачить лише ефекти, більші за певну планку. Менші він здебільшого пропускає, хоч би якими справжніми вони були. Ця планка залежить від трафіку, конверсії й тривалості тесту і називається мінімальним помітним ефектом, або MDE (від англійського minimum detectable effect). На малому сайті вона буває такою високою, що скромне поліпшення не помітити й за роки.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Магазин на тисячу відвідувачів

До інтернет-магазину щодня заходить 1000 людей, купує 3% з них. Нова сторінка оформлення замовлення справді краща: з нею купуватимуть 3,06% відвідувачів, тобто на 2% більше. Для великого магазину це помітні гроші. Власник ділить трафік навпіл між старою і новою сторінкою і хоче тест, який знайде такий ефект із ймовірністю 80% за звичайного рівня значущості 5%.

Скільки має тривати такий тест?

Калькулятор тривалості тесту

Лінія показує, який найменший приріст тест помітить залежно від того, скільки днів він триває (шкала днів логарифмічна). Пунктир — приріст, який ви хочете помітити. Там, де лінія опускається до пунктиру, тест уже досить довгий.

MDE за стільки днівбажаний приріст

Тест триватиме–
Відвідувачів на кожну версію–
MDE за 4 тижні–

Планка, нижче якої тест сліпий

Найпростіше пояснення, трохи спрощене. У будь-якому тесті кількість покупок трохи тремтить випадково: сьогодні на старій сторінці купили 16 людей, завтра 13, хоча сторінка та сама. Справжня різниця мусить бути помітно більшою за це тремтіння, інакше вона в ньому губиться. Чим більше відвідувачів, тим менше тремтить частка покупців, і тим нижче лежить планка. Розмір цього тремтіння міряє стандартна похибка.

Мінімальний помітний ефект — найменший справжній ефект, який тест заданого розміру знайде з наперед обраною ймовірністю, зазвичай 80%. Його рахують до запуску: з конверсії, трафіку й тривалості. Ефекти, менші за MDE, тест теж іноді знаходить, але здебільшого пропускає.

Підступна частина — швидкість, з якою планка опускається. Удвічі довший тест не робить її вдвічі нижчою: вона опускається лише на 29%. Щоб помітити вдвічі менший ефект, потрібно вчетверо більше відвідувачів. Тому дрібні поліпшення такі дорогі для перевірки.

Тест, якому бракує днів

Комп'ютер 200 разів проводить той самий тест із калькулятора вище: та сама конверсія, той самий трафік, а нова сторінка справді краща рівно на обраний приріст. Кожна точка — один тест. Змінюйте тривалість і дивіться, як часто тест знаходить справжнє поліпшення.

нова сторінка значущо краща: ефект знайдено«різниці немає»«стара значущо краща»

MDE за цей час–
Тест знайшов ефект–
За формулою–

Коли справжній ефект набагато менший за MDE, тест знаходить його не частіше, ніж знаходив би «переможця» серед двох однакових сторінок. Такий тест не відрізняє робочу зміну від марної: що б він не показав, ви дізналися майже нічого.

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Формула

Для двох версій з конверсіями p₁ і p₂ потрібна кількість відвідувачів на кожну версію за рівня значущості 5% (двобічно) і ймовірності знайти ефект 80%:

n ≈ (1,96 + 0,84)² · [p₁(1 − p₁) + p₂(1 − p₂)] / (p₂ − p₁)² ≈ 16 · p(1 − p) / (p₂ − p₁)²

Тут 1,96 відповідає рівню значущості 5%, 0,84 — потужності 80%, а 2 · 2,8² ≈ 15,7 округлюють до 16. MDE — та сама формула, розв'язана навпаки: задано n, шукаємо найменшу різницю. Для конверсії зручно рахувати не відвідувачів, а покупки на кожну версію c = n·p. Тоді відносний MDE приблизно дорівнює 2,8 · √(2(1 − p) / c), а для малих конверсій ще простіше: MDE ≈ 4 / √c.

Покупок на кожну версіюMDE, точно (конверсія 3%)Правило 4 / √c

Сто покупок на версію — і тест помічає лише ефекти близько +40%. Щоб опуститися до +4%, потрібно 10 000 покупок на кожну версію. Важить саме кількість покупок: сайт з конверсією 1% мусить зібрати приблизно втричі більше відвідувачів, ніж сайт з 3%, щоб мати той самий MDE.

MDE — не поріг, а 80%

MDE часто уявляють як межу: усе, що більше, тест побачить, усе, що менше, ні. Насправді шанс знайти ефект, тобто статистична потужність, змінюється плавно. Ефект, рівний MDE, тест знаходить у 80% випадків, а не завжди. Ось як шанс залежить від того, яку частку MDE становить справжній ефект (нормальне наближення; від конверсії й трафіку майже не залежить):

Справжній ефектТест знаходить його

Ще одна несподіванка: планка значущості лежить нижче за MDE. Тест, розрахований на MDE +10%, визнає значущим уже спостережений приріст близько +7%, бо 1,96 / 2,8 ≈ 0,7. Тож «значущий результат +7%» у такому тесті — не диво, а звичайна справа. Диво було б, якби тест, у якому справжній ефект +10%, завжди показував щонайменше +10%: у половині випадків він покаже менше.

Що з цим робити

  • MDE обирають з грошей, а не з надійСпитайте, з якого приросту зміна окупає себе. Це і є найменший ефект, який варто ловити. Порахуйте, скільки днів він потребує, ще до запуску.
  • Довше — повільноПодовжити тест удвічі — це лише на 29% нижчий MDE. Якщо потрібні роки, жодне «потримаємо ще тиждень» не допоможе.
  • Мало трафіку — сміливіші зміниМалий сайт може перевірити нову ціну, пропозицію чи весь процес оформлення, де ефект +30% реальний. Дрібні правки він бачить лише як шум.
  • Частіша подія — нижчий MDEДодавання в кошик трапляється частіше за покупку, тож тест на нього помічає менші ефекти. Але міряє він інше, і зв'язок із виручкою треба перевіряти окремо.
  • Кожна нова версія підвищує MDEЧотири версії замість двох — кожна отримує вдвічі менше трафіку, і MDE зростає в √2 ≈ 1,41 раза. А ще частіше трапляються випадкові «переможці».
  • «Не значуще» читають через MDEТест без результату каже лише, що ефекту, більшого за MDE, найімовірніше немає. Про ефекти, менші за MDE, він не каже нічого.
Глибшеузагальнення, теорія, історія

Шар «Глибше» приховано на всіх задачах.

Правило шістнадцяти

1992 року статистик Роберт Лер із фармацевтичної компанії Berlex опублікував у журналі Statistics in Medicine коротку статтю «Шістнадцять s у квадраті на d у квадраті». Він запропонував рахувати розмір кожної групи як n ≈ 16·s²/d², де s² — дисперсія вимірювання, а d — різниця, яку хочуть помітити. Правило працює саме для звичного набору: потужність 80% і двобічний рівень значущості 5%. Для конверсії s² = p(1 − p), і виходить формула вище.

Звідки 16: різниця середніх двох груп по n тремтить зі стандартною похибкою s·√(2/n). Щоб справжня різниця d знаходилась у 80% випадків, вона має лежати на 1,96 + 0,84 = 2,8 таких похибки від нуля: d = 2,8 · s · √(2/n). Звідси n = 2 · 2,8² · s²/d² ≈ 15,7 · s²/d². Квадрат у знаменнику й робить малі ефекти такими дорогими: зменшіть d удесятеро, і n зросте в сто разів.

Цю саму логіку використовують усі калькулятори A/B-тестів: вони питають конверсію і MDE і відповідають кількістю відвідувачів. Якщо ж вести тест від наявного трафіку, корисно рахувати навпаки, як у калькуляторі вище: скільки днів є, такий MDE і вийде. Буває, що чесна відповідь — «цей тест на нашому трафіку не має сенсу», і це теж корисне рішення, ухвалене ще до запуску.

Де це трапляється

Ще в темі «Дані та експерименти»

Усі терміни →