A/B-тест, у якому змінили частку трафіку
- Ситуація
- Новий варіант запускають обережно: першого дня на нього йде 1 % трафіку, потім 50 %. А дні тижня конвертують по-різному.
- Де пастка
- Варіант може виграти кожного дня окремо і програти в сумі за весь тест, бо більшість його відвідувачів припала на «слабкі» дні. Команда експериментів Microsoft описала це як одну із семи типових пасток онлайн-експериментів.
- Як врахувати
- Не зводьте в одну таблицю дні з різною часткою трафіку. Рахуйте ефект окремо для кожного періоду з однаковим розподілом і зважуйте, або аналізуйте лише період після останньої зміни частки.
Джерело: Crook, Frasca, Kohavi, Longbotham, «Seven Pitfalls to Avoid when Running Controlled Experiments on the Web», KDD 2009.