Словник / Довірчий інтервал
Звіт каже: «конверсія 5,2%, 95% довірчий інтервал від 3,8% до 6,6%». Інтервал — це чесне визнання: точного числа ми не знаємо, ось діапазон. Але 95% стосуються не цього діапазону, а методу. Якщо повторювати вимірювання знову і знову, приблизно 19 інтервалів із 20 накриють справжню конверсію, а один промахнеться. І зсередини жоден не знає, чи він той самий двадцятий.
Шар «На пальцях» приховано на всіх задачах.
Справжня конверсія сторінки — 5,0%. Її знає лише симуляція. Сто маркетологів незалежно міряють її на своїх вибірках відвідувачів і кожен малює свій інтервал. Вертикальна лінія — правда. Інтервали, що її не зачепили, позначені кольором.
накрив правдупромахнувсясправжні 5,0%
Це спрощений образ, але точний. Метод побудови інтервалу — сітка, яку закидають у воду. Справжнє число — риба, вона стоїть на місці. 95% — це якість сітки: з кожних 100 закидів 95 ловлять рибу. Коли сітку вже витягли, риба або в ній, або ні; «95% шансу» до цього конкретного улову вже не прикладеш. Але не знаючи, де риба, ви не бачите, вдалий улов чи ні. Натисніть «Сховати правду» вгорі: інтервали, що промахнулися, нічим не відрізняються від решти.
Шар «Строго» приховано на всіх задачах.
p̂ ± z · √(p̂ (1 − p̂) / n) · z = 1,28 (80%), 1,64 (90%), 1,96 (95%), 2,58 (99%)
p̂ — виміряна конверсія, n — кількість відвідувачів. Корінь — це стандартна похибка SE: на скільки виміряна конверсія зазвичай відхиляється від справжньої. z показує, скільки таких похибок відкласти в кожен бік, щоб нормальна крива накрила потрібну частку. Ось половина ширини 95% інтервалу при конверсії 5%:
| Відвідувачів | Конверсій | ± у в. п. | ± від 5% |
|---|---|---|---|
| 1 000 | 50 | 1,35 | 27% |
| 4 000 | 200 | 0,68 | 13,5% |
| 16 000 | 800 | 0,34 | 6,8% |
На 1000 відвідувачів «5%» насправді означає «десь від 3,6% до 6,4%». Ті самі «±3%», що пишуть під результатами опитувань, — це теж половина ширини 95% інтервалу. Скільки людей для цього треба опитати і чому це майже не залежить від розміру країни, розбирає задача про передвиборче опитування.
Поширене правило: «якщо інтервали A і B перекриваються, різниці немає». Воно хибне. Версія A: 500 конверсій на 10 000. Посуньте результат B. Зверху інтервали кожної версії, знизу інтервал різниці B − A. Значущість вирішує саме нижній: чи накриває він нуль.
Чому так: невизначеності A і B додаються не як відрізки, а як квадрати. Інтервал різниці ширший за кожен окремий лише в √2 ≈ 1,41 раза, а не вдвічі. Тому інтервали можуть трохи перекриватися, а різниця вже значуща: тут це B від 563 до 588 конверсій. Якщо ж інтервали не перекриваються зовсім, різниця значуща напевно. На цю пастку звертали увагу Натаніель Шенкер і Джейн Джентлмен у статті 2001 року в The American Statistician.
Шар «Глибше» приховано на всіх задачах.
Формула p̂ ± 1,96 · SE спирається на нормальну криву, а конверсії — цілі числа. Точний розрахунок для 5% показує, що «95%» інтервал на 1000 відвідувачів накриває правду в 94,2% вибірок, а на 100 відвідувачів (лише п'ять очікуваних конверсій) — у 87,7%. До того ж покриття стрибає пилкою: додайте десяток відвідувачів, і воно може змінитися на кілька пунктів. Лоуренс Браун, Тоні Цай і Анірбан Дасгупта 2001 року в журналі Statistical Science показали, що ця хаотичність стійкіша, ніж писали підручники, і порадили інтервал Вільсона.
простий інтервал p̂ ± 1,96 · SEінтервал Вільсонаобіцяні 95%
Справжня конверсія 5%, від 30 до 500 відвідувачів. Кожна точка — точна сума біноміальних імовірностей усіх результатів, чиї інтервали накривають 5%.
Вільсон: (p̂ + z²/2n ± z · √(p̂ (1 − p̂)/n + z²/4n²)) / (1 + z²/n)
Теорію довірчих інтервалів створив Єжи Нейман. Він народився 1894 року в Бендерах, а з 1912 року навчався в Харківському університеті, де теорію ймовірностей йому читав Сергій Бернштейн. Головну статтю, «Нарис теорії статистичного оцінювання на основі класичної теорії ймовірностей», Нейман опублікував 1937 року в Philosophical Transactions of the Royal Society. Саме там з'явилася ідея, яку показує симуляція вгорі: ймовірність стосується не невідомого числа, а процедури, що раз у раз будує інтервали.
Сказати «95% шансу, що правда в цьому інтервалі» можна в іншому, баєсівському підході: там у невідомого числа є розподіл ще до вимірювань, і з ним рахують інтервал іншого типу, баєсівський. Коли даних багато, обидва інтервали зазвичай майже збігаються, тому повсякденне прочитання рідко шкодить. Помиляються там, де даних мало.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.