Словник / Довірчий інтервал
Звіт каже: «конверсія 5,2%, 95% довірчий інтервал від 3,8% до 6,6%». Інтервал — це чесне визнання: точного числа ми не знаємо, ось діапазон. Але 95% стосуються не цього діапазону, а методу. Якщо повторювати вимірювання знову і знову, приблизно 19 інтервалів із 20 накриють справжню конверсію, а один промахнеться. І зсередини жоден не знає, чи він той самий двадцятий.
Шар «На пальцях» приховано на всіх задачах.
Справжня конверсія сторінки — 5,0%. Її знає лише симуляція. Сто маркетологів незалежно міряють її на своїх вибірках відвідувачів і кожен малює свій інтервал. Вертикальна лінія — правда. Інтервали, що її не зачепили, позначені кольором.
накрив правдупромахнувсясправжні 5,0%
Це спрощений образ, але точний. Метод побудови інтервалу — сітка, яку закидають у воду. Справжнє число — риба, вона стоїть на місці. 95% — це якість сітки: з кожних 100 закидів 95 ловлять рибу. Коли сітку вже витягли, риба або в ній, або ні; «95% шансу» до цього конкретного улову вже не прикладеш. Але не знаючи, де риба, ви не бачите, вдалий улов чи ні. Натисніть «Сховати правду» вгорі: інтервали, що промахнулися, нічим не відрізняються від решти.
Шар «Строго» приховано на всіх задачах.
p̂ ± z · √(p̂ (1 − p̂) / n) · z = 1,28 (80%), 1,64 (90%), 1,96 (95%), 2,58 (99%)
p̂ — виміряна конверсія, n — кількість відвідувачів. Корінь — це стандартна похибка SE: на скільки виміряна конверсія зазвичай відхиляється від справжньої. z показує, скільки таких похибок відкласти в кожен бік, щоб нормальна крива накрила потрібну частку. Ось половина ширини 95% інтервалу при конверсії 5%:
| Відвідувачів | Конверсій | ± у в. п. | ± від 5% |
|---|---|---|---|
| 1 000 | 50 | 1,35 | 27% |
| 4 000 | 200 | 0,68 | 13,5% |
| 16 000 | 800 | 0,34 | 6,8% |
На 1000 відвідувачів «5%» насправді означає «десь від 3,6% до 6,4%». Ті самі «±3%», що пишуть під результатами опитувань, — це теж половина ширини 95% інтервалу. Скільки людей для цього треба опитати і чому це майже не залежить від розміру країни, розбирає задача про передвиборче опитування.
Поширене правило: «якщо інтервали A і B перекриваються, різниці немає». Воно хибне. Версія A: 500 конверсій на 10 000. Посуньте результат B. Зверху інтервали кожної версії, знизу інтервал різниці B − A. Значущість вирішує саме нижній: чи накриває він нуль.
Чому так: невизначеності A і B додаються не як відрізки, а як квадрати. Інтервал різниці ширший за кожен окремий лише в √2 ≈ 1,41 раза, а не вдвічі. Тому інтервали можуть трохи перекриватися, а різниця вже значуща: тут це B від 563 до 588 конверсій. Якщо ж інтервали не перекриваються зовсім, різниця значуща напевно. На цю пастку звертали увагу Натаніель Шенкер і Джейн Джентлмен у статті 2001 року в The American Statistician.
Шар «Глибше» приховано на всіх задачах.
Формула p̂ ± 1,96 · SE спирається на нормальну криву, а конверсії — цілі числа. Точний розрахунок для 5% показує, що «95%» інтервал на 1000 відвідувачів накриває правду в 94,2% вибірок, а на 100 відвідувачів (лише п'ять очікуваних конверсій) — у 87,7%. До того ж покриття стрибає пилкою: додайте десяток відвідувачів, і воно може змінитися на кілька пунктів. Лоуренс Браун, Тоні Цай і Анірбан Дасгупта 2001 року в журналі Statistical Science показали, що ця хаотичність стійкіша, ніж писали підручники, і порадили інтервал Вільсона.
простий інтервал p̂ ± 1,96 · SEінтервал Вільсонаобіцяні 95%
Справжня конверсія 5%, від 30 до 500 відвідувачів. Кожна точка — точна сума біноміальних імовірностей усіх результатів, чиї інтервали накривають 5%.
Вільсон: (p̂ + z²/2n ± z · √(p̂ (1 − p̂)/n + z²/4n²)) / (1 + z²/n)
Теорію довірчих інтервалів створив Єжи Нейман. Він народився 1894 року в Бендерах, а з 1912 року навчався в Харківському університеті, де теорію ймовірностей йому читав Сергій Бернштейн. Головну статтю, «Нарис теорії статистичного оцінювання на основі класичної теорії ймовірностей», Нейман опублікував 1937 року в Philosophical Transactions of the Royal Society. Саме там з'явилася ідея, яку показує симуляція вгорі: ймовірність стосується не невідомого числа, а процедури, що раз у раз будує інтервали.
Сказати «95% шансу, що правда в цьому інтервалі» можна в іншому, баєсівському підході: там у невідомого числа є розподіл ще до вимірювань, і з ним рахують інтервал іншого типу, баєсівський. Коли даних багато, обидва інтервали зазвичай майже збігаються, тому повсякденне прочитання рідко шкодить. Помиляються там, де даних мало.
Число посередині: якщо всіх вишикувати за зростанням, половина буде нижче, половина вище.
До бару заходить мільйонер, і середній дохід відвідувачів злітає, а медіана ледь ворухнеться.
Сума всіх значень, поділена на їхню кількість: скільки дісталося б кожному, якби поділити порівну.
Майже кожна людина має більше ніг, ніж у середньому: середнє трохи менше за дві.
Середній результат, якого можна чекати, якщо повторювати те саме дуже багато разів.
У грального кубика сподівання 3,5, хоча такої грані немає.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Міра розкиду: наскільки значення в середньому відходять від середнього. Стандартне відхилення — корінь з дисперсії, у тих самих одиницях.
Два міста з однаковою середньою температурою: в одному весь рік близько +15, в іншому то −20, то +50.
Розподіл у формі дзвона: більшість значень біля середнього, а що далі від нього, то рідше.
Кожна кулька на дошці Гальтона падає навмання, а тисячі кульок щоразу складаються в той самий дзвін.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки разів треба помножити основу саму на себе, щоб отримати число: log₂ 8 = 3, бо 2 · 2 · 2 = 8.
Аркуш паперу, складений навпіл 42 рази, був би товщим за відстань до Місяця.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.