Удвічі точніше — вчетверо дорожче

Парадокс середнього чека

Замовлення в магазині дуже різні: хтось купує на 150 грн, хтось на 3000, а в середньому виходить 800. Верхній графік — 2000 окремих замовлень. Нижній — 2000 «тижнів»: щоразу беремо n замовлень і рахуємо їхній середній чек. Збільшуйте n учетверо й стежте за шириною нижньої гірки.

Два різні розкиди

Пояснення без формул, трохи спрощене. Верхня гірка описує покупців, і її ширина не змінюється: люди не стають однаковішими від того, що ви їх більше порахували. Нижня гірка описує вашу оцінку. У середньому з багатьох замовлень великі й малі чеки частково гасять одне одного, тому середнє тремтить менше. Але гасіння йде повільно: розкид падає не в n разів, а в √n. Учетверо більше замовлень — удвічі вужча гірка.

Типовий розкид окремих значень — це стандартне відхилення σ. Типовий розкид середнього, яке ви порахували з вибірки, — це стандартна похибка. Вона показує, на скільки ваша цифра зазвичай промахується повз справжнє середнє.

Найкращі сторінки — найменші

Агенція має 200 посадкових сторінок, і всі однаково хороші: справжня конверсія кожної рівно 5%. Трафік різний: від 50 до 20 000 відвідувачів за місяць. Кожна точка — одна сторінка; праворуч більший трафік (шкала логарифмічна). Хто потрапить у звіт «10 найкращих сторінок місяця»?

Різниці між сторінками немає жодної, а звіт усе одно знаходить «зірок» і «аутсайдерів», і майже всі вони малі. У малої сторінки велика стандартна похибка, тож її конверсія розлітається далеко вгору й униз. Велика сторінка тримається біля справжніх 5%. Пунктирна лійка показує, де лежать звичайні коливання для кожного трафіку.

Формула σ / √n

SE = σ / √n   ·   для конверсії  SE = √(p(1 − p) / n)

Для середнього чека σ — стандартне відхилення окремих замовлень. Для конверсії кожен відвідувач або купив (1), або ні (0), і σ таких нулів та одиниць дорівнює √(p(1 − p)). За 5% це √0,0475 ≈ 0,218. Стандартна похибка конверсії за 1000 відвідувачів: 0,218 / √1000 ≈ 0,69 відсоткового пункту.

Приблизно 95% вибірок дають оцінку в межах ±2 стандартних похибок від правди (точніше ±1,96). Звідси «похибка ±…» в опитуваннях і в довірчих інтервалах. Ось що це означає для сторінки зі справжньою конверсією 5%:

За 1000 відвідувачів сторінка з конверсією 5% цілком може показати будь-що від 3,6% до 6,4%. Ще одне: похибка різниці двох незалежних оцінок дорівнює √(SE₁² + SE₂²). Для двох однакових сторінок це в √2 ≈ 1,41 раза більше, ніж для однієї. Тому в A/B-тесті з 1000 відвідувачів на варіант звичайне коливання різниці — до ±1,9 пункту, тобто «приріст» до ±38% між однаковими сторінками.

Що з чим не плутати

• Стандартне відхилення — про людей«Чеки зазвичай відходять від середнього на 600 грн». Воно не зменшується з даними. Потрібне, щоб планувати склад, кадри, запас.
• Стандартна похибка — про вашу цифру«Середній чек 800 ± 19 грн». Вона зменшується як 1/√n. Потрібна, щоб вирішити, чи вірити зміні в звіті.
• Рахуйте події, а не трафікДля конверсії похибка відносно самої конверсії приблизно 1 / √(кількість конверсій). 50 покупок — це ±14%, хоч би скільки було відвідувачів.
• Рейтинги люблять малихНайкращі й найгірші в будь-якому рейтингу за частками — зазвичай найменші: менеджери з кількома угодами, оголошення з кількома кліками, міста з кількома клієнтами.
• Вусики на графікуЗавжди питайте, що це: стандартне відхилення, стандартна похибка чи 95% інтервал. Вони відрізняються в рази, а підпис часто забувають.

«Найнебезпечніше рівняння»

2007 року статистик Говард Вейнер написав для журналу American Scientist есей «Найнебезпечніше рівняння». Так він назвав формулу σ / √n, яку приписав Абрахаму де Муавру і його книжці Miscellanea Analytica (1730). Небезпечна вона тим, що її століттями ігнорували.

• Монетний двірЗ 1150 року в Англії монети перевіряють на «суді Піксу»: партію, скажімо, зі 100 монет зважують разом. Допуск для однієї монети становив 1/400 ваги, і для 100 монет його просто множили на 100. За правилом √n мало бути лише вдесятеро. Зайвий запас дозволяв відбирати важчі монети, переплавляти їх у монети правильної ваги й лишати різницю в золоті собі, не порушуючи правил. За Вейнером, ця помилка трималася майже 600 років.
• Рак нирокОкруги США з найнижчою частотою раку нирок — переважно сільські й малонаселені. Легко пояснити це чистим сільським життям: свіже повітря, вода, їжа. Але округи з найвищою частотою — теж сільські й малонаселені. Спільне в них одне: мале населення і тому велика похибка.
• Малі школиСеред найкращих шкіл за тестами непропорційно багато малих. Фонд Білла і Мелінди Ґейтс почав підтримувати малі школи наприкінці 1990-х, і до 2001 року його гранти на освітні проєкти сягнули приблизно 1,7 млрд доларів. Вейнер показав, що серед найгірших шкіл малих теж забагато. 2005 року фонд відійшов від цієї ідеї.

Сторінки з другої симуляції — та сама історія в маркетингу. Звіт «найкращі кампанії місяця» без поправки на розмір — це здебільшого рейтинг удачі малих кампаній.

Коли √n бреше: візити замість людей

Формула σ / √n працює, лише коли спостереження незалежні. У веб-аналітиці це часто не так: ті самі люди приходять кілька разів. Тут 10 000 візитів, і кожна людина робить k візитів. Десята частина людей «теплі» й купують у 41% візитів, решта — в 1%, тож загальна конверсія все одно 5%. Комп'ютер повторює місяць 2000 разів і міряє, як насправді тремтить конверсія.

Візити однієї людини схожі між собою, тож нової інформації вони приносять менше, ніж окремі люди. Для однакових груп похибка зростає в √(1 + (k − 1)ρ) раза, де ρ — наскільки схожі між собою візити однієї людини (тут ρ ≈ 0,30). За 10 візитів на людину 10 000 візитів важать як приблизно 2600–2700 незалежних. Тому A/B-тести ділять і рахують за користувачами, а не за сесіями.