Чи можна довіряти цьому впливу?

Чого ця анкета не бачить

• Шум. Навіть чесне порівняння може показати різницю випадково, якщо людей мало. Скільки людей треба, щоб помітити ефект, — у розділі 10; про шум однакових груп — у розділі 1 курсу «Парадокси A/B-тестування».
• Чи справді поділ випадковий. Якщо контрольну групу склали з тих, хто «не встиг оновитися», вона відрізняється сама по собі. Для A/B-тесту перевірте поділ на сторінці «Перевірте свій тест».
• Що метрику обрали до запуску. Якщо головну метрику шукали серед двадцяти вже після запуску, хоч одна «виграє» випадково (розділ 3 курсу «Парадокси A/B-тестування»).