Курси / Парадокси A/B-тестування / Перевірте свій тест
Впишіть числа з дашборда і дайте кілька відповідей про те, як ішов тест. Сторінка зробить ті самі перевірки, що й курс: поділ трафіку, результат, розмір тесту і процес. Наприкінці — вердикт простими словами і причини. Посилання «Поділитися» зберігає ваші числа, тож колега побачить той самий звіт.
Сторінка вірить вашим числам і відповідям. Три речі вона перевірити не може, і кожна здатна перевернути вердикт:
Поділ трафіку: хі-квадрат з одним ступенем свободи проти планової частки; тривога, якщо p-значення менше за 0,001, як у розділі 13.
Результат: двосторонній z-тест для двох часток зі спільною конверсією; впевненість = 1 − p. Довірчий інтервал 95% для різниці конверсій, поділеної на конверсію A. Якщо зрізів k, а нових варіантів v, поріг для кожного порівняння — 5%, поділені на k·v, як у розділах 3 і 4.
Шанс перемогти: рівне початкове припущення Beta(1, 1) для обох конверсій і чисельне інтегрування за сіткою з 4 000 точок; очікувана втрата — середнє max(pA − pB, 0), у пунктах конверсії, як у розділі 11.
Розмір: формула вибірки з розділу 9 (двосторонні 5%, потужність 80%, база — конверсія A), для нерівного поділу — з плановою часткою. Потужність — частка тестів такого розміру, які помітили б ліфт рівно на MDE.