Словник / Стандартна похибка
Ви рахуєте середній чек за тиждень і хочете знати, наскільки цій цифрі можна вірити. Здається, що вдвічі більше замовлень дасть удвічі точнішу цифру. Ні: удвічі точнішою вона стане лише за вчетверо більшої кількості замовлень. Те, наскільки тремтить середнє від вибірки до вибірки, називають стандартною похибкою.
Шар «На пальцях» приховано на всіх задачах.
Замовлення в магазині дуже різні: хтось купує на 150 грн, хтось на 3000, а в середньому виходить 800. Верхній графік — 2000 окремих замовлень. Нижній — 2000 «тижнів»: щоразу беремо n замовлень і рахуємо їхній середній чек. Збільшуйте n учетверо й стежте за шириною нижньої гірки.
Окремі замовлення
Середній чек тижня
Пояснення без формул, трохи спрощене. Верхня гірка описує покупців, і її ширина не змінюється: люди не стають однаковішими від того, що ви їх більше порахували. Нижня гірка описує вашу оцінку. У середньому з багатьох замовлень великі й малі чеки частково гасять одне одного, тому середнє тремтить менше. Але гасіння йде повільно: розкид падає не в n разів, а в √n. Учетверо більше замовлень — удвічі вужча гірка.
Типовий розкид окремих значень — це стандартне відхилення σ. Типовий розкид середнього, яке ви порахували з вибірки, — це стандартна похибка. Вона показує, на скільки ваша цифра зазвичай промахується повз справжнє середнє.
Агенція має 200 посадкових сторінок, і всі однаково хороші: справжня конверсія кожної рівно 5%. Трафік різний: від 50 до 20 000 відвідувачів за місяць. Кожна точка — одна сторінка; праворуч більший трафік (шкала логарифмічна). Хто потрапить у звіт «10 найкращих сторінок місяця»?
10 найкращих10 найгірших5% ± 2 стандартні похибки
Різниці між сторінками немає жодної, а звіт усе одно знаходить «зірок» і «аутсайдерів», і майже всі вони малі. У малої сторінки велика стандартна похибка, тож її конверсія розлітається далеко вгору й униз. Велика сторінка тримається біля справжніх 5%. Пунктирна лійка показує, де лежать звичайні коливання для кожного трафіку.
Шар «Строго» приховано на всіх задачах.
SE = σ / √n · для конверсії SE = √(p(1 − p) / n)
Для середнього чека σ — стандартне відхилення окремих замовлень. Для конверсії кожен відвідувач або купив (1), або ні (0), і σ таких нулів та одиниць дорівнює √(p(1 − p)). За 5% це √0,0475 ≈ 0,218. Стандартна похибка конверсії за 1000 відвідувачів: 0,218 / √1000 ≈ 0,69 відсоткового пункту.
Приблизно 95% вибірок дають оцінку в межах ±2 стандартних похибок від правди (точніше ±1,96). Звідси «похибка ±…» в опитуваннях і в довірчих інтервалах. Ось що це означає для сторінки зі справжньою конверсією 5%:
| Відвідувачів | Стандартна похибка | 95% вимірів між | Відносно 5% |
|---|
За 1000 відвідувачів сторінка з конверсією 5% цілком може показати будь-що від 3,6% до 6,4%. Ще одне: похибка різниці двох незалежних оцінок дорівнює √(SE₁² + SE₂²). Для двох однакових сторінок це в √2 ≈ 1,41 раза більше, ніж для однієї. Тому в A/B-тесті з 1000 відвідувачів на варіант звичайне коливання різниці — до ±1,9 пункту, тобто «приріст» до ±38% між однаковими сторінками.
Шар «Глибше» приховано на всіх задачах.
2007 року статистик Говард Вейнер написав для журналу American Scientist есей «Найнебезпечніше рівняння». Так він назвав формулу σ / √n, яку приписав Абрахаму де Муавру і його книжці Miscellanea Analytica (1730). Небезпечна вона тим, що її століттями ігнорували.
Сторінки з другої симуляції — та сама історія в маркетингу. Звіт «найкращі кампанії місяця» без поправки на розмір — це здебільшого рейтинг удачі малих кампаній.
Формула σ / √n працює, лише коли спостереження незалежні. У веб-аналітиці це часто не так: ті самі люди приходять кілька разів. Тут 10 000 візитів, і кожна людина робить k візитів. Десята частина людей «теплі» й купують у 41% візитів, решта — в 1%, тож загальна конверсія все одно 5%. Комп'ютер повторює місяць 2000 разів і міряє, як насправді тремтить конверсія.
2000 місяцівщо обіцяє формула для 10 000 незалежних візитів
Візити однієї людини схожі між собою, тож нової інформації вони приносять менше, ніж окремі люди. Для однакових груп похибка зростає в √(1 + (k − 1)ρ) раза, де ρ — наскільки схожі між собою візити однієї людини (тут ρ ≈ 0,30). За 10 візитів на людину 10 000 візитів важать як приблизно 2600–2700 незалежних. Тому A/B-тести ділять і рахують за користувачами, а не за сесіями.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.