Словник / p-значення
Ви показуєте ту саму сторінку двом половинам відвідувачів і рахуєте p — число від 0 до 1, яке видає будь-який інструмент для A/B-тестів. Здається, що коли різниці немає, p має бути близьким до 1. Насправді всі значення однаково ймовірні: p нижче за 0,05 трапляється так само часто, як p між 0,50 і 0,55. Тому навіть між однаковими сторінками приблизно один тест із двадцяти виглядає «значущим».
Шар «На пальцях» приховано на всіх задачах.
Кожен тест тут — дві версії лендингу по 10 000 відвідувачів, базова конверсія 5%. Комп'ютер рахує p так само, як рахують звичайні інструменти (z-тест для двох часток), і кладе його в один із 20 стовпчиків. Почніть з однакових сторінок, а потім дайте версії B справжню перевагу.
p < 0,05: інструмент каже «значущо»решта тестівточний розрахунок
Це спрощене пояснення, але суть у ньому вся. p відповідає на одне питання: якби сторінки були однакові, як часто сам лише випадок дав би розрив щонайменше такий, як ви бачите? p = 0,03 означає «три рази зі ста». Що менше p, то дивніший ваш результат для світу без різниці. Межа 0,05, або «один раз із двадцяти», — просто домовленість.
Звідси і рівний розподіл. У світі без різниці ваш тест — ще одна випадкова спроба з тих самих, з якими його порівнюють. Тож він з однаковим шансом опиняється серед 5% найдивніших, серед 5% найзвичайніших чи будь-де посередині.
Шар «Строго» приховано на всіх задачах.
Версія A: 500 конверсій на 10 000 відвідувачів, 5,0%. Посуньте, скільки конверсій зібрала B. Дзвін — як розкидалася б різниця B − A, якби сторінки були однакові. Розфарбована площа хвостів, де розрив не менший за ваш (в обидва боки), і є p.
p̄ = (kA + kB) / 2n · SE = √(p̄ (1 − p̄) · 2 / n) · z = (kB − kA) / n / SE · p = 2 · (1 − Φ(|z|))
SE — стандартна похибка різниці: на скільки зазвичай гуляє B − A від самого лише випадку. Φ — площа під нормальною кривою ліворуч від z. При |z| = 1,96 виходить рівно p = 0,05.
Поріг 0,05 обіцяє інше: з ідей, які насправді нічого не дають, крізь фільтр проскочить 5%. Яка частка хибних серед усіх «переможців», залежить від того, скільки ідей справді працюють і як часто тест помічає справжній ефект (це його потужність). Ось 1000 ідей, які команда перевірила A/B-тестами.
працює, тест помітивпрацює, тест пропустивне працює, але p < 0,05не працює, тест мовчить
Це та сама логіка, що й у задачі про хибнопозитивний тест: точний фільтр на рідкісній події дає багато хибних тривог. Що рідше справжні покращення, то більше «переможців» — шум.
Шар «Глибше» приховано на всіх задачах.
p — це частка можливих результатів «світу без різниці», дивніших за ваш. Отже, p ≤ 0,2 рівно тоді, коли ваш результат потрапив у 20% найдивніших. Якщо різниці справді немає, ваш результат вибирається з того самого розподілу, тож у ці 20% він потрапляє з імовірністю рівно 0,2. Те саме для будь-якого порогу t: P(p ≤ t) = t. Це і є рівномірний розподіл від 0 до 1. Так само ваш зріст у процентилях випадкового натовпу з однаковим шансом опиниться в будь-якому процентилі.
Точний розрахунок для однакових сторінок дає 4,99% тестів з p < 0,05 і 4,8–5,3% у кожному з наступних стовпчиків. Останній, від 0,95 до 1, отримує лише 3,9%: конверсії рахуються цілими числами, і p вище за 0,95 буває тільки тоді, коли лічильники A і B збігаються або різняться на одиницю. Рівність — властивість неперервної моделі; на цілих числах вона майже точна.
Коли ефект є, розподіл p стискається до нуля: за 10 000 відвідувачів і справжніх +10% p < 0,05 виходить у 35,4% тестів, за +20% — у 87,4%. Саме цю частку називають потужністю тесту.
Перший відомий розрахунок такого типу зробив шотландський лікар Джон Арбутнот 1710 року. Він переглянув лондонські записи про хрещення за 82 роки і побачив, що хлопчиків щороку хрестили більше, ніж дівчаток. Якби шанси були рівні, таке траплялося б з імовірністю (½)82, приблизно 2 · 10−25. Арбутнот вирішив, що це не випадок.
Поріг 0,05 походить від Рональда Фішера, з книжки «Статистичні методи для дослідників» 1925 року. Фішер зазначив, що p = 0,05 відповідає відхиленню приблизно в 1,96, тобто майже у два стандартні відхилення, і що цю точку «зручно взяти за межу» (convenient to take this point as a limit), щоб судити, чи значуще відхилення. Зручна межа з часом затверділа в правило.
У березні 2016 року Американська статистична асоціація вперше від імені всієї спільноти статистиків видала заяву про p-значення (Рональд Вассерстайн і Ніколь Лазар, журнал The American Statistician). Шість її принципів своїми словами:
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.