Словник / Впевненість і шанс перемогти
Під одним і тим самим тестом дашборд показує два числа: «впевненість 94%» і «шанс перемогти 97%». Вони відповідають на протилежні питання. Впевненість тримає свою обіцянку, хоч які ідеї ви тестуєте, але обіцяє не те, про що ви питаєте. Шанс перемогти відповідає саме на ваше питання, але чесний лише тоді, коли ваші ідеї схожі на ті, що він припустив. У симуляції нижче, коли чотири ідеї з п'яти нічого не змінюють, B справді кращий лише в третині тестів із таким дашбордом.
Шар «На пальцях» приховано на всіх задачах.
Це спрощене пояснення, але суть у ньому вся. Тест: по 5 000 відвідувачів на кнопку, з A купили 250 (5,00%), з B — 293 (5,86%). B попереду на 17%. Дашборд додає два числа:
Ці питання не можна поміняти місцями. Якщо людина грає в NBA, вона майже напевно вища за 190 см. Але якщо людина вища за 190 см, в NBA вона майже напевно не грає: високих людей мільйони, а баскетболістів NBA кілька сотень. Відповідь на друге питання залежить від того, скільки на світі баскетболістів. Так само шанс, що B кращий, залежить від того, як часто ваші ідеї взагалі щось покращують. Таку саму пастку з аналізом на хворобу розбирає задача про хибнопозитивний тест.
Звідки дашборд знає, як часто ваші ідеї працюють? Нізвідки. Він припускає, що будь-яка зміна однаково можлива, і на +20%, і на −20%. Що з цього виходить, показує симуляція.
Кожна ідея тут — A/B-тест на 5 000 відвідувачів на версію, конверсія A 5%. Частина ідей нічого не змінює, решта змінює конверсію B на випадкову величину від −30% до +30%. Комп'ютер запускає тисячі таких тестів і відбирає ті, де дашборд показує те саме, що наш: B попереду, впевненість від 93% до 95%, шанс перемогти близько 97%. Тоді дивиться правду: чи справді B кращий. Почніть зі світу, де кожна ідея щось змінює, а потім посуньте повзунок.
тест із нашим дашбордом, B справді кращийтой самий дашборд, а B не кращий
Обидва числа щось обіцяють. Впевненість: якщо ідея нічого не змінює, впевненість 94% і вище побачите лише в 6 тестах зі 100. Ця обіцянка тримається за будь-якого положення повзунка, бо говорить лише про марні ідеї. Шанс перемогти: серед тестів із таким дашбордом B кращий у 97 зі 100. Ця обіцянка тримається лише у світі, який дашборд припустив, де кожна ідея щось змінює. Що більше марних ідей, то більше серед «97%» таких, де B не кращий.
Шар «Строго» приховано на всіх задачах.
Впишіть свій тест. Повзунок — ваш досвід: яка частка ідей у вашій команді зазвичай нічого не змінює. Решта, як і в симуляції, змінює конверсію на величину від −30% до +30%.
z = (p̂B − p̂A) / √(p̄ (1 − p̄) (1/nA + 1/nB)) · впевненість = 1 − p = 2Φ(|z|) − 1 · шанс перемогти = P(pB > pA | дані) ≈ Φ(z)
p̄ — спільна конверсія обох версій, Φ — площа під нормальною кривою ліворуч від z. Шанс перемогти на дашборді рахують з рівним початковим припущенням Beta(1, 1) для кожної конверсії; за тисяч відвідувачів він майже точно дорівнює Φ(z). Шанс із вашим досвідом додає до цього припущення частку ідей, що нічого не змінюють, і перераховує за формулою Баєса (нормальне наближення).
Впевненість рахує розрив в обидва боки: «6 тестів зі 100» — це приблизно 3, де шум підняв B, і 3, де він підняв A. Шанс перемогти питає лише про один бік: чи B кращий. За великих вибірок і рівного припущення виходить просте правило:
шанс перемогти ≈ 100% − (100% − впевненість) / 2 · 100 − 6/2 = 97
Звідси пастка порогів. «Шанс перемогти 95%» відповідає впевненості лише 90%, а «впевненість 95%» — шансу 97,5%. Якщо команда переходить з одного інструмента на інший і лишає поріг 95%, вона непомітно змінює правило гри.
Великий сайт: по 4,5 млн відвідувачів на версію, A купують 5,00%, B — 5,05%. Впевненість 99,94%, шанс перемогти 99,97%. Обидва числа кричать «B переміг», і B справді майже напевно кращий. Але лише на 1%: одна додаткова покупка на 2 000 відвідувачів, а довірчий інтервал ліфту — від +0,4% до +1,6%. Обидва числа міряють, наскільки ви певні в напрямку, а не те, скільки B вартий. Якщо зміна чогось коштує, рішення вирішує розмір.
Шар «Глибше» приховано на всіх задачах.
Візьмімо світ, де половина ідей нічого не змінює, а решта розкидані від −30% до +30%. І чотири тести, кожен із впевненістю близько 95%, але різного розміру.
| Відвідувачів на версію | Ліфт B | Шанс перемогти на дашборді | B справді кращий | Ідея нічого не змінює |
|---|---|---|---|---|
| 5 000 | +17,6% | 97,4% | 67% | 31% |
| 50 000 | +5,5% | 97,5% | 43% | 56% |
| 500 000 | +1,7% | 97,5% | 19% | 80% |
| 5 000 000 | +0,5% | 97,5% | 7% | 93% |
Що більший тест, то менший розрив дає ті самі 95%. На 5 млн відвідувачів це +0,5%: таку крихту набагато легше пояснити марною ідеєю, яку шум трохи підштовхнув, ніж ідеєю з розкидом до ±30%. Дашборд із рівним припущенням цього не бачить, його шанс скрізь близько 97,5%. Це парадокс Ліндлі: Деніс Ліндлі описав його 1957 року в журналі Biometrika. За тієї самої впевненості й дедалі більшої вибірки байєсівський висновок можна відвести від частотницького як завгодно далеко. Точні цифри залежать від припущення про розкид: що ширший розкид, то сильніший ефект.
За двома числами стоять дві школи статистики. Частотницька вважає випадковими лише дані: ефект якийсь є, ми його не знаємо, але ймовірностей йому не приписуємо. Тому вона питає «як часто такі дані з'являлися б, якби ефекту не було» і відповідає p-значенням, впевненістю, довірчим інтервалом. Байєсівська дозволяє говорити ймовірностями і про сам ефект, якщо чесно сказати, у що вірили до даних. Тому вона питає «наскільки ймовірний ефект після цих даних» і відповідає шансом перемогти.
Обидва питання поставили до одних і тих самих даних: хто народжується частіше, хлопчики чи дівчатка. 1710 року Джон Арбутнот спитав по-частотницьки: якби шанси були рівні, наскільки неймовірно, що хлопчиків 82 роки поспіль хрестили більше? Близько 1781 року П'єр-Симон Лаплас спитав по-байєсівськи. За паризькими записами 1745–1770 років (251 527 хлопчиків і 241 945 дівчаток) він порахував, наскільки ймовірно, що шанс народити хлопчика не перевищує ½. Вийшло близько 10−42: шанс перемогти хлопчиків був практично 100%.
У XX столітті Рональд Фішер і Єжи Нейман побудували частотницьку статистику, бо початкове припущення здавалося їм надто суб'єктивним, а Гарольд Джеффріс 1939 року відстоював підхід Баєса. Байєсівські розрахунки довго були надто важкими для практики, доки 1990-ті не принесли потужні комп'ютерні методи. Сьогодні A/B-інструменти показують і те, і те, часто на одному екрані. Помилка не в тому, щоб обрати школу, а в тому, щоб прочитати число однієї школи як відповідь на питання іншої.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.