Сума виграних тестів більша за реальний ріст
- Ситуація
- Команда за рік запускає десятки A/B-тестів і випускає ті, що показали значущий приріст. У звіті за рік прирости переможців додають: +2 %, +1,5 %, +3 %…
- Де пастка
- Випускають саме ті тести, яким пощастило з виміром, тож виміряний приріст переможця в середньому більший за справжній. Аналітики Airbnb показали, що проста сума завищує загальний ефект запущених функцій, і запропонували поправку.
- Як врахувати
- Не обіцяйте бізнесу суму приростів. Дисконтуйте ефекти переможців, перевіряйте великі виграші повторним тестом і тримайте довгий holdout, який показує сумарний ефект усіх запусків напряму.
Джерело: Minyong R. Lee, Milan Shen, «Winner's Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments», KDD 2018.