Скільки «перемог» в A/B-тестах хибні
- Ситуація
- Значущий результат тесту — це позитивний аналіз, а «базова частота» — частка ідей, які справді працюють. Ронні Когаві, який керував експериментами в Microsoft і Airbnb, наводить такі частки успішних ідей: близько третини в Microsoft, близько 15 % у Bing, 8 % в Airbnb.
- Де пастка
- З типовими налаштуваннями (рівень значущості 5 %, потужність 80 %) хибна кожна сімнадцята «перемога», якщо працює третина ідей, кожна сьома при 15 % і кожна четверта при 8 %. Що зріліший продукт і що рідше ідеї працюють, то більша частка перемог хибна, хоч поріг значущості той самий.
- Як врахувати
- Оцініть частку успішних ідей у своїй команді й рахуйте з нею частку хибних перемог. Для великих рішень і несподівано великих приростів робіть повторний тест або беріть суворіший поріг.
Джерело: Kohavi, Deng, Vermeer, «A/B Testing Intuition Busters», KDD 2022; Kohavi, Tang, Xu, «Trustworthy Online Controlled Experiments», 2020.