Словник / p-значення
Ви показуєте ту саму сторінку двом половинам відвідувачів і рахуєте p — число від 0 до 1, яке видає будь-який інструмент для A/B-тестів. Здається, що коли різниці немає, p має бути близьким до 1. Насправді всі значення однаково ймовірні: p нижче за 0,05 трапляється так само часто, як p між 0,50 і 0,55. Тому навіть між однаковими сторінками приблизно один тест із двадцяти виглядає «значущим».
Шар «На пальцях» приховано на всіх задачах.
Кожен тест тут — дві версії лендингу по 10 000 відвідувачів, базова конверсія 5%. Комп'ютер рахує p так само, як рахують звичайні інструменти (z-тест для двох часток), і кладе його в один із 20 стовпчиків. Почніть з однакових сторінок, а потім дайте версії B справжню перевагу.
p < 0,05: інструмент каже «значущо»решта тестівточний розрахунок
Це спрощене пояснення, але суть у ньому вся. p відповідає на одне питання: якби сторінки були однакові, як часто сам лише випадок дав би розрив щонайменше такий, як ви бачите? p = 0,03 означає «три рази зі ста». Що менше p, то дивніший ваш результат для світу без різниці. Межа 0,05, або «один раз із двадцяти», — просто домовленість.
Звідси і рівний розподіл. У світі без різниці ваш тест — ще одна випадкова спроба з тих самих, з якими його порівнюють. Тож він з однаковим шансом опиняється серед 5% найдивніших, серед 5% найзвичайніших чи будь-де посередині.
Шар «Строго» приховано на всіх задачах.
Версія A: 500 конверсій на 10 000 відвідувачів, 5,0%. Посуньте, скільки конверсій зібрала B. Дзвін — як розкидалася б різниця B − A, якби сторінки були однакові. Розфарбована площа хвостів, де розрив не менший за ваш (в обидва боки), і є p.
p̄ = (kA + kB) / 2n · SE = √(p̄ (1 − p̄) · 2 / n) · z = (kB − kA) / n / SE · p = 2 · (1 − Φ(|z|))
SE — стандартна похибка різниці: на скільки зазвичай гуляє B − A від самого лише випадку. Φ — площа під нормальною кривою ліворуч від z. При |z| = 1,96 виходить рівно p = 0,05.
Поріг 0,05 обіцяє інше: з ідей, які насправді нічого не дають, крізь фільтр проскочить 5%. Яка частка хибних серед усіх «переможців», залежить від того, скільки ідей справді працюють і як часто тест помічає справжній ефект (це його потужність). Ось 1000 ідей, які команда перевірила A/B-тестами.
працює, тест помітивпрацює, тест пропустивне працює, але p < 0,05не працює, тест мовчить
Це та сама логіка, що й у задачі про хибнопозитивний тест: точний фільтр на рідкісній події дає багато хибних тривог. Що рідше справжні покращення, то більше «переможців» — шум.
Шар «Глибше» приховано на всіх задачах.
p — це частка можливих результатів «світу без різниці», дивніших за ваш. Отже, p ≤ 0,2 рівно тоді, коли ваш результат потрапив у 20% найдивніших. Якщо різниці справді немає, ваш результат вибирається з того самого розподілу, тож у ці 20% він потрапляє з імовірністю рівно 0,2. Те саме для будь-якого порогу t: P(p ≤ t) = t. Це і є рівномірний розподіл від 0 до 1. Так само ваш зріст у процентилях випадкового натовпу з однаковим шансом опиниться в будь-якому процентилі.
Точний розрахунок для однакових сторінок дає 4,99% тестів з p < 0,05 і 4,8–5,3% у кожному з наступних стовпчиків. Останній, від 0,95 до 1, отримує лише 3,9%: конверсії рахуються цілими числами, і p вище за 0,95 буває тільки тоді, коли лічильники A і B збігаються або різняться на одиницю. Рівність — властивість неперервної моделі; на цілих числах вона майже точна.
Коли ефект є, розподіл p стискається до нуля: за 10 000 відвідувачів і справжніх +10% p < 0,05 виходить у 35,4% тестів, за +20% — у 87,4%. Саме цю частку називають потужністю тесту.
Перший відомий розрахунок такого типу зробив шотландський лікар Джон Арбутнот 1710 року. Він переглянув лондонські записи про хрещення за 82 роки і побачив, що хлопчиків щороку хрестили більше, ніж дівчаток. Якби шанси були рівні, таке траплялося б з імовірністю (½)82, приблизно 2 · 10−25. Арбутнот вирішив, що це не випадок.
Поріг 0,05 походить від Рональда Фішера, з книжки «Статистичні методи для дослідників» 1925 року. Фішер зазначив, що p = 0,05 відповідає відхиленню приблизно в 1,96, тобто майже у два стандартні відхилення, і що цю точку «зручно взяти за межу» (convenient to take this point as a limit), щоб судити, чи значуще відхилення. Зручна межа з часом затверділа в правило.
У березні 2016 року Американська статистична асоціація вперше від імені всієї спільноти статистиків видала заяву про p-значення (Рональд Вассерстайн і Ніколь Лазар, журнал The American Statistician). Шість її принципів своїми словами:
Число посередині: якщо всіх вишикувати за зростанням, половина буде нижче, половина вище.
До бару заходить мільйонер, і середній дохід відвідувачів злітає, а медіана ледь ворухнеться.
Сума всіх значень, поділена на їхню кількість: скільки дісталося б кожному, якби поділити порівну.
Майже кожна людина має більше ніг, ніж у середньому: середнє трохи менше за дві.
Середній результат, якого можна чекати, якщо повторювати те саме дуже багато разів.
У грального кубика сподівання 3,5, хоча такої грані немає.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Міра розкиду: наскільки значення в середньому відходять від середнього. Стандартне відхилення — корінь з дисперсії, у тих самих одиницях.
Два міста з однаковою середньою температурою: в одному весь рік близько +15, в іншому то −20, то +50.
Розподіл у формі дзвона: більшість значень біля середнього, а що далі від нього, то рідше.
Кожна кулька на дошці Гальтона падає навмання, а тисячі кульок щоразу складаються в той самий дзвін.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки разів треба помножити основу саму на себе, щоб отримати число: log₂ 8 = 3, бо 2 · 2 · 2 = 8.
Аркуш паперу, складений навпіл 42 рази, був би товщим за відстань до Місяця.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.