Курси / Чи працює фіча?

Курс · продуктовим командам

Чи працює фіча? Вплив без експерименту

Звіт: фіча «Збережені пошуки»3 місяці після запуску

З фічеюутримання на 30-й день 63% Рештаутримання на 30-й день 32%

Утримання ×221 500 користувачів фічі з 100 000

Висновок звіту: фіча подвоює утримання. Пропозиція: показати її всім у спливному вікні.

Такі звіти пишуть після кожного запуску. Чи справді фіча подвоює утримання? Курс відповідає на це питання в три кроки. Спершу без формул розбираємо, чому звичні цифри фічі обманюють: хто нею користується, що показує частка тих, хто спробував, що ще змінилося того місяця. Потім вчимося оцінювати вплив без A/B-тесту: поступовий запуск, різниця різниць, поріг, схожі групи, довга контрольна група. Третя частина про когорти, каннібалізацію, загальні цифри і про те, коли варто наполягти на експерименті. Наприкінці іспит із шести продуктових звітів і вердикт для цього звіту про «Збережені пошуки».

≈ 1,5 години, можна частинами по 10–15 хвилин; прогрес зберігається.

Уже маєте звіт про свою фічу? Чи можна довіряти цьому впливу? Кілька питань про запуск дають список ризиків і метод оцінки.

Пройдено 0 з 15 розділівЗадач з каталогу розв'язано: 0 з 5

Словничок продуктової аналітикиутримання, когорта, п.п., DAU/MAU, частка тих, хто спробував, головна метрика, guardrail, контрольна група, природний експеримент

Утримання: Частка людей, які ще користуються продуктом через певний час: утримання на 30-й день 40% означає, що з 100 нових користувачів через місяць лишилося 40.
Когорта: Усі, хто прийшов за один період, наприклад зареєструвався в березні. Когорти порівнюють між собою за однаковий вік (розділ 11).
П.п.: Відсотковий пункт, різниця між двома відсотками: з 30% до 32% — це +2 п.п., або +7% від 30%.
DAU/MAU: Скільки з тих, хто заходив за місяць, заходять у звичайний день: 20% означає, що місячний користувач заходить у середньому 6 днів із 30 (розділ 3).
Частка тих, хто спробував: Скільки користувачів хоч раз скористалися фічею. Показує, скільки людей її побачили, а не чи вона допомогла (розділ 2).
Головна метрика і guardrails: Одна метрика користі, за якою вирішують, і кілька «запобіжних», які не мають погіршитися: видалення застосунку, скарги, швидкість (розділ 3).
Контрольна група: Частина користувачів, яка свідомо не отримує фічу, щоб було з ким порівняти (розділ 10).
Природний експеримент: Випадок, коли обставини самі поділили людей на групи майже як у тесті: одна країна отримала фічу раніше за іншу, статус дають від певного порогу (розділи 6–8).

Частина 1 · без формул

Чому цифри фічі обманюють

П'ять звичних способів показати, що фіча працює, і чому кожен із них може показати успіх там, де його немає. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці.

Хто користується фічею, лишається вдвічі частіше

«Користувачі фічі утримуються вдвічі краще. Отже, фіча подвоює утримання?»

Фічу ніхто не роздає навмання. Її знаходять і вмикають самі користувачі, і частіше це роблять ті, хто й так багато користується продуктом. Тому порівняння «з фічею проти решти» порівнює не фічу, а людей.

Кнопка «Зберегти пошук» зламалася і місяць нічого не зберігала, хоча натискалася як звичайно. Як через місяць утримуються ті, хто її натискав, порівняно з рештою?

Кнопку частіше натискають ті, хто часто шукає, а вони й так рідко йдуть. Тому навіть кнопка, що нічого не робить, «утримує» майже вдвічі краще. Перевірте нижче.Ні, навпаки: ті, хто натискав, утримуються помітно краще, майже вдвічі. Кнопку натискають активні, а вони й так рідко йдуть. Перевірте нижче.Кнопка нічого не робила, але натискали її здебільшого активні, а вони й так рідко йдуть. Тому різниця велика, майже вдвічі. Перевірте нижче.

Нижче 10 000 користувачів трьох типів: рідко, інколи і часто заходять. Кнопка не робить нічого. Повзунок задає, наскільки частіше її знаходять активні.

Кнопка, яка нічого не робить

Наскільки активні частіше знаходять кнопку: Нехай кнопка справді працює і додає +3 п.п. утримання

Натискали кнопку–

Не натискали–

«Ефект» у звіті–

Усередині кожного типу ті, хто натискав, і ті, хто ні, утримуються однаково: кнопка нічого не робить. Різницю в загальному рядку дає лише те, хто її натискав. Тож «утримання ×2» у звіті вгорі само по собі не каже про фічу нічого.

Порівняння «з фічею проти без» — це кореляція. Перш ніж приписати різницю фічі, спитайте, чим ці люди відрізнялися ще до неї.
Найпростіша перевірка — подивитися на тих самих людей до запуску: якщо користувачі фічі й тоді утримувалися краще, різниця не від неї.
Та сама пастка поза продуктом, з клієнтами застосунку і бонусом за встановлення, — у розділі 9 курсу «Як не обдурити себе даними».

Історія Facebook порівняв 12 рекламних кампаній, для яких мав і справжній експеримент, і звичні оцінки. В одній з них ті, хто бачив рекламу, купували у 5 разів частіше за тих, хто не бачив: «ефект» +416%. Експеримент на тих самих людях дав +77%. Рекламу частіше бачать ті, хто більше сидить у Facebook і частіше купує сам. Джерело: Brett Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, «A Comparison of Approaches to Advertising Measurement», white paper, 2016; Marketing Science, 2019.

Глибше: як відбір людей створює зв'язок там, де його немає.

Парадокс Берксона

У місті врода і доброта не пов'язані. Ви ходите на побачення лише з тими, хто досить вродливий і добрий разом. Чи пов'язані ці риси серед ваших побачень?

Спробували ≠ допомогло

«Фічу спробували 41% користувачів. Це успіх?»

Частку тих, хто спробував фічу, рахують першою: вона росте швидко і гарно виглядає на слайді. Але спробувати можна з цікавості, через спливне вікно чи випадково. Користь видно лише за тим, хто повертається до фічі.

Фічу тихо додали в меню, і за тиждень її спробували 9% користувачів. Потім додали спливне вікно при вході, і спробували 41%. Скільки людей користуватимуться фічею через місяць?

Фіча справді потрібна лише 6 людям зі 100. Вікно показує її всім, і з цікавості її пробують багато, але лишаються ті самі, кому вона потрібна, тепер трохи більше з них її знаходить. Перевірте нижче.Ні, трохи більше: вікно допомагає знайти фічу тим, кому вона потрібна. Але таких лише 6 зі 100, тож через місяць користуються десь 5 зі 100 замість 3. Перевірте нижче.Вікно змушує спробувати, а не потребувати. Фіча потрібна лише 6 людям зі 100, тож через місяць користуються десь 5 зі 100 замість 3. Перевірте нижче.

Воронка фічі: спробували, повернулися, лишилися

Спливне вікно піднімає частку тих, хто спробував, з 9% до 41%, а тих, хто лишився через місяць, — з 3,2% до 5,1%. Перша цифра вчетверо більша, друга — в 1,6 раза, і тільки друга говорить про користь.

Частка тих, хто спробував, міряє, як фічу показали, а не яка вона. Порівнюйте її лише між однаковими способами показу.
Дивіться далі по воронці: скільки повернулися на другому тижні і скільки користуються через місяць. А чи змінила фіча утримання всього продукту, ці цифри теж не кажуть: про це частина 2.

Метрика, яку легко зрушити

«DAU/MAU виріс з 20% до 30%. Люди отримують від продукту більше?»

Економіст Чарльз Гудгарт помітив, що показник, на який починають тиснути, перестає показувати те, що показував. Антропологиня Мерилін Стратерн сформулювала це коротше: коли міра стає ціллю, вона перестає бути доброю мірою. У продукті найлегше зрушити те, що рахує заходи і хвилини: DAU, сесії, час у застосунку.

Сервіс оголошень додав щоденні пуш-нагадування, і за місяць DAU/MAU виріс з 20% до 30%. Що це каже про користь продукту для людей?

Пуш приводить людину в застосунок, і DAU росте, навіть якщо вона нічого там не зробила. Щоб говорити про користь, потрібна метрика того, що люди отримують: тут контакти з продавцями. Перевірте нижче.Може бути й так, але з DAU/MAU цього не видно: пуш приводить людину в застосунок, і DAU росте, навіть якщо вона нічого там не зробила. Про користь скаже інша метрика. Перевірте нижче.DAU/MAU рахує заходи, а пуш приводить людину в застосунок, навіть якщо вона нічого там не зробила. Про користь тут поки нічого не відомо. Перевірте нижче.

Важелі, які рухають метрики

Щоденні пуш-нагадування Оголошення на двох екранах замість одного Нескінченна стрічка з автопрокруткою Справжнє покращення: пошук знаходить точніше

Яку метрику зробити головною для «Збережених пошуків»?

Пуші піднімають DAU/MAU з 20% до 30%, а контакти з продавцями не змінюються, зате видалень застосунку більшає. Справжнє покращення пошуку DAU майже не рухає і навіть зменшує хвилини: людина швидше знаходить потрібне.

Перед запуском оберіть одну головну метрику, яка рахує користь для людини: угоду, покупку, виконану задачу на користувача. Частку тих, хто спробував, і хвилини лишіть як допоміжні.
Додайте два-три guardrails, які не мають погіршитися: видалення застосунку, відписки від пушів, скарги, швидкість. Перемога в головній метриці з провалом у guardrail — не перемога.

Історія До 2012 року YouTube радив відео насамперед за кількістю переглядів, і автори навчилися кликати глядачів яскравими обкладинками, з яких люди швидко йшли. 15 березня 2012 року рекомендації почали рахувати час перегляду замість переглядів, а в жовтні те саме зробили з пошуком. Джерела: «The 'terrifying' moment in 2012 when YouTube changed its entire philosophy», Business Insider, 2015; «YouTube Changes Its Search Ranking Algorithm To Focus On Engagement, Not Just Clicks», TechCrunch, 12 жовтня 2012.

Історія У банку Wells Fargo працівникам ставили плани з продажу продуктів наявним клієнтам. Щоб їх виконати, працівники відкривали рахунки без відома клієнтів: за підрахунком самого банку, близько 1,5 мільйона депозитних рахунків і 565 000 кредитних карток. У вересні 2016 року регулятори оштрафували банк на 185 мільйонів доларів. Джерело: Consumer Financial Protection Bureau, прес-реліз від 8 вересня 2016 року.

До і після запуску

«Запустили фічу 1 вересня, і у вересні конверсія на 12% вища, ніж у серпні. Ось ефект.»

Порівняння «до і після» просте і тому найпоширеніше. Але за той самий місяць змінюється багато чого: сезон, реклама, ціни, релізи інших команд. Усе це потрапляє в «ефект» фічі.

У вересні конверсія на 12% вища, ніж у серпні. Минулого року з серпня на вересень вона теж зросла, на 6%. А цього вересня ще й ішла рекламна кампанія. Скільки з цих 12% дала фіча?

Сезон забирає близько 6%, а з решти частину дала кампанія. Скільки лишається на фічу, звичайне «до і після» не каже. Розкладіть ці 12% нижче.Може бути й так, але з цих чисел цього не видно: сезон забирає близько 6%, а скільки з решти дала кампанія, невідомо. Розкладіть ці 12% нижче.Торішній вересень показує, що сезон дає близько 6%, а кампанія забирає частину решти. Тож фічі лишається менше 6%, і скільки саме, не видно. Розкладіть ці 12% нижче.

Два роки конверсії і вересень із фічею

цей рікторік

Прибрати сезон: порівняти з торішнім вереснем Прибрати рекламну кампанію Прибрати реліз команди оплати, про який не згадали

У цьому прикладі 12% складаються з сезону (+6%), кампанії (+3%), нової оплати від іншої команди (+2%) і самої фічі (+1%). У звіті «до і після» вони злиті в одне число.

Порівнюйте з тим самим періодом торік, а не з попереднім місяцем: так видно сезон.
Ведіть спільний календар змін: релізи всіх команд, кампанії, ціни, збої. Перш ніж приписати рух метрики фічі, перевірте, що ще сталося того тижня.
Найкраще — мати групу, яка того самого місяця жила без фічі: тоді сезон і кампанія діють на обидві групи однаково (розділи 6–7).

Запустили після найгіршого тижня

«Утримання впало до мінімуму за рік, ми терміново випустили фікс, і воно відновилося. Фікс спрацював!»

Тижневі метрики гуляють навіть без жодних змін: різні люди, погода, свята. А фікси і нові фічі часто запускають саме тоді, коли метрика найгірша. Це і є пастка розділу.

Тижневе утримання зазвичай близько 40%. Одного тижня воно впало до 36%, найнижче за рік. Команда випустила фікс, і наступного тижня знову 40%. Що з цього випливає про фікс?

Найгірший тиждень за рік — це здебільшого невдалий шум, і наступний тиждень майже завжди ближчий до звичних 40%. Щоб побачити внесок фікса, треба порівняти з тим, що було б без нього. Перевірте нижче на фіксах, які нічого не роблять.З цих чисел цього не видно. Найгірший тиждень за рік — здебільшого невдалий шум, і метрика повертається до звичних 40% сама, тож відновлення нічого не каже про фікс. Перевірте нижче.Найгірший тиждень за рік — здебільшого невдалий шум, і метрика повертається до звичних 40% сама. Тож відновлення нічого не каже про фікс. Перевірте нижче на фіксах, які нічого не роблять.

Нижче утримання продукту, у якого нічого не змінюється: щотижня близько 40% плюс шум. Команда випускає «фікс» щоразу, коли тиждень найгірший за останні пів року. Фікс нічого не робить.

Два роки фіксів, які нічого не роблять

утримання за тижденьтиждень фікса

Фіксів випущено–

Тиждень фікса, у середньому–

«Ефект» фікса за тиждень–

Фікс, який нічого не робить, «додає» в середньому близько 4 п.п. за тиждень: найгірший тиждень за пів року лежить приблизно на 4 п.п. нижче звичного, і наступний тиждень просто повертається до норми. Те саме буває з людьми, яких беруть у програму після найгіршого місяця.

Порівнюйте з нормальним рівнем до падіння, а не з найгіршим тижнем.
Якщо фікс справжній, він має тримати метрику вище норми тижнями, а не лише повернути її. Краще ще й лишити невелику групу без фікса (розділ 10).

Глибше: та сама сила як задача з каталогу. Загальний розділ про неї є і в курсі «Як не обдурити себе даними».

Регресія до середнього

Після похвали гравці грають гірше, а після критики краще. Чи означає це, що критика працює?

Що ви вже вмієте Ви знаєте, що користувачі фічі відрізнялися ще до неї (1), що частка тих, хто спробував, міряє показ, а не користь (2), що DAU і хвилини легко зрушити без користі (3), що «до і після» змішує сезон, кампанії й чужі релізи (4) і що після найгіршого тижня метрика повертається сама (5). Усі п'ять пасток мають одні ліки: група людей, яка жила без фічі в той самий час. Друга частина про те, де таку групу знайти, коли A/B-тесту не було.

Частина 2 · трохи чисел

Як оцінити вплив без A/B-тесту

A/B-тест — найчистіший спосіб, але його часто не було: фічу вже запустили всім, або її не можна показати лише частині людей. Тоді шукають групу, яка в той самий час жила без фічі і була схожа на тих, хто з нею. П'ять способів, від найнадійнішого до найслабшого, з віднімання і середніх.

Поступовий запуск як природний експеримент

«Android отримав фічу в березні, iOS — лише в травні. Це погано для аналізу?»

Навпаки, це подарунок. Поки iOS чекає, він живе в тому самому сезоні, під тими самими кампаніями, але без фічі. А коли фіча доходить і до нього, ефект можна побачити вдруге.

Фіча прийшла на Android на 9-му тижні, на iOS — на 18-му. Як найкраще оцінити її ефект за перші тижні на Android?

iOS за ті самі тижні показує, що сталося б з Android без фічі: свята, кампанії, сезон. Різниця змін — це і є ефект. Перевірте нижче.«До і після» на Android захопить свята, порівняння платформ — їхню давню різницю в рівні, а ті, хто спробував, — самовідбір з розділу 1. Чесно — порівняти зміну Android зі зміною iOS за ті самі тижні. Перевірте нижче.

Дві платформи, два запуски

AndroidiOSсіра смуга — свята, тижні 10–12

Android: після мінус до–тижні 9–12 проти 5–8

iOS за ті самі тижні–без фічі

Різниця змін–

Другий запуск: iOS–тижні 18–21 проти 14–17, мінус Android

«До і після» на Android дає близько +4 п.п., бо захоплює свята. Різниця змін з iOS дає близько +2 п.п. — справжній ефект у цій моделі. Другий запуск на iOS показує ті самі +2 п.п.: коли ефект повторюється при кожному запуску, йому можна вірити набагато більше.

Якщо фічу все одно запускають поступово, плануйте хвилі як експеримент: запишіть наперед порядок країн чи платформ і дати, а метрику рахуйте для всіх хвиль, а не лише для користувачів фічі.
Порядок хвиль краще обрати жеребом. Якщо першою йде найсильніша країна, вона й так могла рости швидше.
Поступовий запуск усередині A/B-тесту має свою пастку, коли частку B змінюють день у день: про неї розділ 5 курсу «Парадокси A/B-тестування».

Історія У 1854 році в Лондоні частину вулиць водою постачали дві компанії. Lambeth брала воду з Темзи вище міста, Southwark & Vauxhall — нижче, куди стікала каналізація. Сусідні будинки отримували воду від різних компаній, не обираючи. Лікар Джон Сноу порахував смерті від холери: 315 на 10 000 будинків у Southwark & Vauxhall і 37 у Lambeth. Джерело: John Snow, «On the Mode of Communication of Cholera», 2-ге видання, 1855, таблиця IX.

Різниця різниць

«У країні з фічею утримання виросло на 6 п.п. Але воно виросло і там, де фічі немає. То який ефект?»

Розділ 6 уже рахував різницю різниць, тепер розберімо її окремо. Береться зміна в групі з фічею і від неї віднімається зміна в групі без фічі за той самий час. Друга зміна — це сезон, кампанії і все інше, що діяло на обидві групи.

У Польщі, яка отримала фічу, утримання за квартал виросло з 30% до 36%. У Чехії, яка ще без фічі, — з 28% до 32%. Який ефект фічі?

Польща виросла на 6 п.п., Чехія без фічі — на 4. Ці 4 п.п. сталися б і в Польщі, тож фічі лишається 6 − 4 = 2 п.п. Але лише якщо до запуску країни рухалися паралельно. Перевірте нижче.+6 — це «до і після» в Польщі, +4 — різниця країн після запуску, +8 — обидві помилки разом. Чехія показує, що 4 п.п. росту сталися б і без фічі, тож ефект 6 − 4 = 2 п.п. Перевірте нижче.

Дві країни до і після запуску

Справжній ефект фічі: Польща й без фічі росте швидше на:

Польща, з фічею з 7-го місяцяЧехія, без фічі

Польща: після мінус до–

Польща мінус Чехія після–

Різниця різниць–

Поки країни до запуску йдуть паралельно, різниця різниць показує справжній ефект. Якщо Польща й без фічі росте швидше, її власний ріст потрапляє в «ефект». Видно це ще до запуску: лінії розходяться.

Перед підрахунком подивіться на кілька місяців до запуску. Якщо лінії йдуть паралельно, порівнянню можна вірити більше; якщо розходяться, шукайте іншу контрольну групу.
Беріть за контроль схоже: країну з подібним продуктом і аудиторією, ту саму платформу, ті самі тарифи. Кілька контрольних груп краще за одну.

Історія 1 квітня 1992 року Нью-Джерсі підняв мінімальну зарплату з 4,25 до 5,05 долара на годину, а сусідня Пенсильванія — ні. Девід Кард і Алан Крюгер опитали 410 закусочних фастфуду в обох штатах до і після підвищення. Зайнятість у Нью-Джерсі порівняно з Пенсильванією не впала, хоча теорія обіцяла падіння. Висновок досі оскаржують, але сам підхід став класикою, а Кард у 2021 році отримав Нобелівську премію з економіки. Джерело: David Card, Alan B. Krueger, «Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania», American Economic Review, 1994.

Поріг

«"Золоті" клієнти витрачають удвічі більше. Золотий статус окупається?»

Коли фічу чи статус дають від певного порогу — балів, замовлень, суми, — порівняння «з ним проти без» знову порівнює різних людей, як у розділі 1. Але на самому порозі з'являється природний експеримент: клієнт із 995 балами і клієнт із 1 005 майже однакові, а статус має лише другий.

Золотий статус дають від 1 000 балів. «Золоті» витрачають у середньому 2 630 грн на місяць, решта — 1 280 грн. Клієнти з 990–999 балами витрачають 1 895 грн, з 1 000–1 009 — 1 985 грн. Скільки дає сам статус?

Біля порога клієнти майже однакові, і стрибок там — це ефект статусу: близько 90 грн. Решта великої різниці — це те, що «золоті» просто купують більше. Перевірте нижче.Не зовсім: біля порога є стрибок, близько 90 грн, і це ефект статусу. А решту великої різниці справді дають бали: «золоті» просто купують більше. Перевірте нижче.Велика різниця порівнює різних людей: «золоті» купують більше, бо вони найактивніші. Чесне порівняння — біля порога, де клієнти майже однакові, і стрибок там близько 90 грн. Перевірте нижче.

20 000 клієнтів біля порога 1 000 балів

Вікно навколо порога: ±

«Золоті» проти решти–

Над порогом проти під ним у вікні–

Справжній ефект статусу–

Вузьке вікно дає ефект близько справжнього, хоч і з шумом, бо клієнтів у ньому мало. Чим ширше вікно, тим ближче оцінка до наївної різниці: у порівняння потрапляють усе більш різні клієнти.

Поріг працює, лише якщо клієнти не можуть точно під нього підлаштуватися. Якщо бали можна докупити, щоб перескочити поріг, над ним опиняються найзацікавленіші, і порівняння знову нечесне. Перевірка: кількість клієнтів біля порога з обох боків має бути приблизно однаковою.
Ефект на порозі стосується клієнтів біля порога. Для тих, у кого 300 балів, статус може діяти інакше.

Історія У 1960 році психологи Дональд Тістлтвейт і Дональд Кемпбелл хотіли зрозуміти, чи допомагає американським школярам почесна грамота National Merit. Її давали тим, хто набрав певну кількість балів у тесті. Автори порівняли учнів трохи вище і трохи нижче цього порогу. Так з'явився метод, який тепер називають розривом регресії. Джерело: Donald L. Thistlethwaite, Donald T. Campbell, «Regression-Discontinuity Analysis: An Alternative to the Ex Post Facto Experiment», Journal of Educational Psychology, 1960.

Схожі групи, які все одно обманюють

«Ми підібрали кожному користувачу фічі пару без неї: той самий тариф, той самий вік акаунта. Тепер порівняння чесне?»

Коли групи без фічі немає, найчастіше беруть схожих людей. Підбір за тарифом, країною, віком акаунта прибирає ту частину самовідбору з розділу 1, яку видно в даних. А ту, якої не видно — мотивацію, потребу, звички, — він лишає.

Наївно користувачі фічі утримуються на 20 п.п. краще. Після підбору пар за тарифом і віком акаунта різниця зменшилась до 8 п.п. Який справжній ефект фічі?

Підбір прибрав видиму частину самовідбору: 12 з 20 п.п. Але невидима частина могла лишитися будь-якою, тож +8 — це лише верхня межа. Перевірте нижче.Навпаки, найімовірніше менше: невидима частина самовідбору (мотивація, потреба) ще сидить у цих 8 п.п. Перевірте нижче.Підбір прибрав лише те, що видно в даних. Мотивація і потреба лишилися, тож справжній ефект може бути набагато меншим за 8 п.п. Перевірте нижче.

Підбір пар: що видно в даних і що ні

Підібрати за тарифом (платний чи безкоштовний) Підібрати за віком акаунта (новий чи давній) Підібрати за мотивацією (у справжніх даних її немає)

У цій моделі фіча додає +2 п.п. Підбір за тарифом і віком дає +8, і лише підбір ще й за мотивацією, якої в даних немає, повертає +2. Підбір зменшує похибку, але не каже, скільки її лишилося.

Результат зіставлення — це гіпотеза з верхньою межею, а не ефект. Якщо після підбору різниця зникла, це добра новина; якщо лишилася, вона ще може бути самовідбором.
Найкраща змінна для підбору — та сама метрика до запуску: утримання чи активність користувача за місяць до фічі. Вона несе частину невидимої мотивації.

Історія eBay рахував, скільки приносить пошукова реклама. Звичайна регресія давала окупність понад 4 100%, а з поправками на час і регіони — понад 1 400%. Тоді компанія вимкнула рекламу за небрендовими запитами приблизно в 30% регіонів США. Експеримент показав окупність −63%: реклама коштувала більше, ніж приносила, бо її бачили здебільшого ті, хто купив би й так. Джерело: Thomas Blake, Chris Nosko, Steven Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment», NBER Working Paper 20171, 2014; Econometrica, 2015.

Довга контрольна група

«Фічу показуємо всім, але хочемо знати її ефект за три місяці. Скільки людей лишити без неї?»

Контрольна група — найпростіший спосіб чесно виміряти фічу, яку вже вирішили запустити: невелику випадкову частку користувачів лишають без неї на кілька місяців. Чим вона менша, тим дешевше, але тим більший шум у порівнянні.

Активних користувачів 200 000, утримання 40%. Хочемо надійно помітити ефект фічі від 1 п.п. Яку частку лишити без фічі?

З 10% контрольна група має 20 000 людей, і порівняння надійно бачить ефект від 1 п.п. З 1% воно бачить лише ефекти від 3 п.п., а половина майже не точніша за 10%, зате фіча не дійде до 100 000 людей. Перевірте нижче.Точність залежить від розміру меншої групи. З 1% контрольна група бачить лише ефекти від 3 п.п., з 5% — від 1,4 п.п., а для 1 п.п. треба близько 10%. Половина майже не точніша, але дорога. Перевірте нижче.

Розмір контрольної групи

Активних користувачів: Частка без фічі:

Без фічі–

Надійно видно ефект від–утримання 40%, 80% шанс помітити

Похибка оцінки, ±–95% довірчий інтервал

Точність контрольної групи впирається в її власний розмір: подвоєння частки з 10% до 20% звужує похибку лише на чверть, а з 20% до 50% — ще приблизно на п'яту частину. Тому зазвичай лишають 5–10%, а не половину.

Контрольну групу обирають жеребом до запуску, а не з тих, хто «не встиг оновитися»: ті відрізняються самі по собі, як у розділі 1.
Рішення про розмір — те саме, що про розмір A/B-тесту: спершу ефект, який варто помітити, потім кількість людей. Калькулятор є в розділі 9 курсу «Парадокси A/B-тестування», а контрольна група для всіх змін за рік — у розділі 17.

Глибше: чому шум однакових груп такий великий.

A/A-тест: дві однакові сторінки

Та сама сторінка показується як «A» і як «B», конверсія 5%, по 1 000 відвідувачів. Як часто одна з двох однакових сторінок «переможе» на 20% або більше?

Що ви вже вмієте Ви бачите природний експеримент у поступовому запуску (6), рахуєте різницю різниць і перевіряєте паралельність до запуску (7), шукаєте стрибок на порозі (8), розумієте, чому підбір схожих — лише верхня межа (9), і знаєте, скільки людей лишити без фічі (10). Третя частина про те, що ховається в самих метриках: старі й нові користувачі, дії, які лише переїхали з однієї фічі в іншу, і загальні цифри, що рухаються не туди. А наприкінці — коли все це не замінить експерименту.

Частина 3 · трохи більше математики

Когорти, каннібалізація і коли потрібен експеримент

Перші дві частини питали, з ким порівнювати. Третя — що саме рахує метрика. Утримання «всіх активних» залежить від того, хто серед них, дії можуть переїхати з однієї фічі в іншу, а загальна конверсія — впасти, хоча в кожній групі вона виросла. Наприкінці — коли всього цього мало і треба наполягти на експерименті.

Утримання і «старі користувачі кращі»

«За рік утримання активних користувачів виросло з 60% до 80%. Продукт став кращим?»

Нові користувачі йдуть найчастіше: багато хто подивився і не повернувся. Ті, хто пробув пів року, лишаються майже всі. Тому утримання всіх активних разом залежить від того, скільки серед них новачків, а не лише від продукту.

Рік тому з тих, хто був активний за місяць, наступного місяця лишалося 60%. Тепер лишається 80%. Ніхто не змінював продукт так, щоб утримання зросло. Як таке можливо?

Давні користувачі, які вже пройшли перші місяці, лишаються майже всі. Коли реєстрацій меншає, частка новачків серед активних падає, і загальне утримання росте саме, хоча кожна когорта утримується так само. Перевірте нижче.Можливо і без покращення: коли реєстрацій меншає, серед активних більшає давніх користувачів, які лишаються майже всі. Загальне утримання росте, хоча кожна когорта утримується так само. Перевірте нижче.

Два роки одного продукту

Реєстрації і далі ростуть на 25% щомісяця З другого року нові когорти утримуються на 5 п.п. гірше

усі активні: скільки лишаються наступного місяцяновачки: скільки лишаються після першого місяця

Коли реєстрації перестають рости, утримання всіх активних піднімається з 60% до 80%, хоча жодна когорта не стала кращою. Навіть якщо нові когорти стали гіршими на 5 п.п., загальна цифра все одно росте. Це той самий ефект виживших: серед активних лишаються ті, хто вже довів, що не піде.

Рахуйте утримання за когортами: «з тих, хто зареєструвався в березні, на 30-й день лишилося…». Порівнюйте когорти одного віку до і після запуску.
Фічу для давніх користувачів оцінюйте на когортах, які отримали її в однаковому віці, а не на всіх активних разом.

Глибше: та сама пастка як задача про літаки, що повернулися. Про виживших у звітах і опитуваннях — розділ 6 курсу «Як не обдурити себе даними».

Помилка тих, хто вижив: літаки Вальда

Бомбардувальники повертаються з дірками у фюзеляжі та крилах, а на двигунах дірок майже немає. Куди ставити броню?

Каннібалізація

«"Швидку відповідь" використали 50 000 разів за тиждень. Отже, вона дала 50 000 відповідей?»

Нова фіча часто робить те саме, що вже вміла стара, лише інакше. Тоді частина її використань — це дії, які просто переїхали зі старого способу в новий. Лічильник фічі росте, а загальна кількість дій майже стоїть.

До запуску продавці писали 200 000 відповідей на тиждень. Після запуску «швидкої відповіді» її використали 50 000 разів за тиждень. На скільки зросла кількість відповідей?

Більшість швидких відповідей продавці написали б і так, лише довше. Приріст — це загальна кількість відповідей після мінус до, а не лічильник фічі. Перевірте нижче.Загальна кількість відповідей навряд чи впала, але й не виросла на 50 000: більшість швидких відповідей замінили звичайні. Приріст — це загальна кількість після мінус до. Перевірте нижче.Лічильник фічі не каже, скільки з цих відповідей нових. Більшість швидких відповідей продавці написали б і так, тож приріст може бути +10 000 або менше. Перевірте нижче.

Звідки взялися 50 000 швидких відповідей

З них замінили звичайну відповідь:

Якщо 80% швидких відповідей замінили звичайні, фіча дала +10 000 відповідей, а не +50 000. Звіт за лічильником фічі завищив би ефект уп'ятеро.

Міряйте ціле: усі відповіді, усі замовлення, увесь дохід, а не дії через нову кнопку.
Якщо нова фіча лише пришвидшує стару дію, її користь — у часі чи якості, а не в кількості. Тоді й метрику обирайте відповідно (розділ 3).

Ефект, схований у загальних цифрах

«Нова оплата підняла конверсію і на телефонах, і на комп'ютерах. А загальна конверсія впала. Фіча шкодить?»

Загальна конверсія — це середнє з груп, зважене на їхні частки. Якщо після запуску змінилося, скільки людей у якій групі, загальна цифра може піти в інший бік, ніж кожна група окремо. Це парадокс Сімпсона.

До запуску половина відвідувачів приходила з телефонів (конверсія 2,0%), половина з комп'ютерів (5,0%). Після запуску нової оплати на телефонах 2,2%, на комп'ютерах 5,3%. А загальна конверсія впала з 3,5% до 3,1%. Що сталося?

Наприклад, кампанія в соцмережах привела багато людей з телефонів: їхня частка виросла з 50% до 70%. Кожна група купує краще, але груп із низькою конверсією стало більше. Перевірте нижче.Конверсія на комп'ютерах якраз виросла, з 5,0% до 5,3%. Змінилася частка: людей з телефонів стало більше, з 50% до 70%, а в них конверсія нижча. Перевірте нижче.Так буває, і фіча тут ні до чого: людей з телефонів стало більше, з 50% до 70%, а в них конверсія нижча. Кожна група купує краще, а середнє падає. Перевірте нижче.

Телефони, комп'ютери і загальна цифра

Частка відвідувачів з телефонів після запуску:

Поки частка телефонів після запуску 50%, загальна конверсія росте з 3,5% до 3,75%. Уже з 60% телефонів вона падає до 3,44%, а з 70% — до 3,13%, хоча обидві групи купують краще.

Коли загальна цифра і групи розходяться, спершу перевірте, чи змінився склад: пристрої, джерела трафіку, нові й давні користувачі, країни.
Порівнюйте групи з групами, а загальну цифру перераховуйте зі старими частками. Але зріз, обраний після того, як побачили дані, — лише гіпотеза (розділ 3 курсу «Парадокси A/B-тестування»).

Глибше: парадокс Сімпсона як задача з каталогу, а в звітах про продажі — розділ 4 курсу «Як не обдурити себе даними».

Парадокс Сімпсона

Метод A лікує і малі, і великі камені в нирках краще за метод B. Чи може B бути кращим для всіх пацієнтів разом?

Коли наполягти на експерименті

«На A/B-тест немає часу. Запустимо, а потім подивимось на цифри.»

Методи частини 2 корисні, але кожен тримається на припущенні: паралельні лінії, чесний поріг, схожі групи. Експеримент не потребує жодного з них. Не кожна зміна варта тесту, але деякі варто тестувати навіть тоді, коли це незручно.

Який із цих чотирьох запусків найбільше потребує A/B-тесту?

Тут обіцяють конкретний ефект, від нього залежить велике рішення, а помилитися дорого. Опечатку виправляють без тесту, банер вимагає закон, темну тему просять самі користувачі, і великих грошей вона не обіцяє.Найбільше тест потрібен там, де обіцяють конкретний ефект, від нього залежить велике рішення, а помилитися дорого: це нові рекомендації і бюджет на рік. Решту можна запускати без тесту.

Дешевий експеримент, коли «неможливо»

Що заважає тесту? Оберіть перешкоду, і нижче підсвітиться спосіб, який її обходить.

СпосібЯк і на що зважати

«Фальшиві двері»ціна: день роботи

ЯкПоловині людей показують кнопку майбутньої фічі, а натиск веде до сторінки «скоро буде». Порівнюють, скільки людей у кожній половині натиснули і чи змінилися головна метрика й guardrails. Попит видно до того, як фічу зробили; про її користь це ще не каже.

Контрольна групаціна: кілька відсотків людей без фічі

ЯкЗапускаєте всім, крім випадкових 5–10% на 2–3 місяці (розділ 10). Рішення не гальмується, а ефект виміряний чесно.

Тест лише на новихціна: довше чекати

ЯкНові користувачі ще нічого не мають, тож їх можна ділити навпіл без втрат. Ефект на давніх може бути іншим, але це вже чесна оцінка.

Ділити міста або дніціна: менше груп, більше шуму

ЯкЯкщо продавці й покупці впливають одне на одного, ділять не людей, а цілі міста чи регіони, або вмикають фічу через день у всіх (чергування). Груп менше, тому тест довший, але вплив між групами не змішує результат.

Ближча метрика і більший ефектціна: менша впевненість щодо кінцевої метрики

ЯкБеріть метрику, яка реагує швидше (контакт із продавцем замість покупки за місяць), і тестуйте сміливіші зміни: великий ефект видно на меншій вибірці. Компроміси для тих, хто не може чекати, — у розділі 14 курсу «Парадокси A/B-тестування».

Тест потрібен найбільше тоді, коли обіцяють конкретний ефект, від нього залежить велике рішення, а помилка коштує дорого. Опечатки, вимоги закону і дрібні зміни, які просять користувачі, можна запускати без нього.

Наполягайте на експерименті, коли: обіцяють конкретний ефект у грошах; від нього залежать бюджет, найм або дорожня карта; фіча мала б окупити себе; або методи частини 2 дають різні відповіді.
Як спланувати тест і прочитати його результат, — у курсі «Парадокси A/B-тестування», а свої числа можна перевірити на сторінці «Перевірте свій тест».

Історія У березні 2012 року eBay вимкнув рекламу за запитами зі словом «eBay» у пошуковиках Yahoo! і Bing, а в Google лишив. Звіти приписували цій рекламі багато продажів. Але 99,5% кліків, які раніше йшли через рекламу, перейшли на звичайне посилання в результатах пошуку: люди, які шукали «eBay», і так потрапляли на eBay. Джерело: Thomas Blake, Chris Nosko, Steven Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment», NBER Working Paper 20171, 2014.

Що ви вже вмієте Ви рахуєте утримання за когортами, а не для всіх активних (11), міряєте ціле замість лічильника фічі (12), перевіряєте склад, коли загальна цифра і групи розходяться (13), і знаєте, коли наполягти на експерименті та як зробити його дешевим (14). Лишився іспит: шість продуктових звітів, у кожному одна пастка з курсу, а потім вердикт для звіту про «Збережені пошуки».

Фінал

Іспит і вердикт

Усе, що було в курсі, тепер у звітах, які приходять після запуску. Якщо ви пропустили частину 3, іспит від цього майже не постраждає.

Іспит: шість продуктових звітів

«Ось шість звітів про запуски. Чому з них вірити?»

У кожному звіті рівно одна пастка з курсу, а в одному їх немає зовсім. Оберіть, що з ним не так. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося.

Звіт 1

Нова сторінка оплати · запуск 20 жовтнялистопад

Жовтень41 000 замовлень Листопад55 000 замовлень

+34%замовлень після запуску

Висновок звіту: нова оплата дала +34% замовлень. Торік з жовтня на листопад замовлення виросли на 31%: у листопаді «чорна п'ятниця».

«До і після» змішало фічу з сезоном (розділ 4). Торік листопад без жодної нової оплати дав +31%, тож на фічу лишається хіба кілька відсотків, і то якщо того листопада не було інших змін.

Звіт 2

Інтеграція з CRM · B2B-сервісза 2 роки

З інтеграцієюплатять у середньому 19 місяців Без неїплатять у середньому 7 місяців

×2,7 часу з нами1 800 клієнтів з інтеграцією з 9 000

Висновок звіту: інтеграція утримує клієнтів. Пропозиція: зробити її обов'язковим кроком реєстрації.

Самовідбір (розділ 1): інтеграцію налаштовують компанії, які вже вирішили працювати з сервісом довго. До того ж клієнт, який пробув 19 місяців, мав більше часу її підключити. Якщо зробити її обов'язковою, ці люди не стануть такими самими.

Звіт 3

Кнопка «Купити в 1 клік»місяць після запуску

В 1 клік30% усіх замовлень Звичайно70% усіх замовлень

+30% замовлень«нові» замовлення через кнопку

Усього замовлень на місяць: 41 200 до запуску, 42 000 після. Сезон і реклама ті самі.

Каннібалізація (розділ 12): більшість замовлень в 1 клік люди зробили б і звичайним шляхом. Усього замовлень стало на 2% більше, а не на 30%. Кнопка може бути корисною, але її внесок — ці 2%, і то якщо більше нічого не змінилося.

Звіт 4

Нові фільтри пошуку · запуск хвилями3 хвилі

Хвиліпорядок країн обрано жеребом Утримання+1,4…+1,7 п.п. у кожній хвилі

+1,5 п.п.різниця різниць, 95% інтервал від +0,9 до +2,1

Країни, які ще чекали своєї хвилі, за ті самі місяці змінилися на −0,2…+0,3 п.п. До запуску утримання всіх країн рухалося паралельно. Метрика — утримання на 30-й день усіх користувачів країни.

Можна вірити. Тут пастки немає: порядок хвиль обрано жеребом (розділ 6), контроль — країни, які ще чекали, лінії до запуску паралельні (розділ 7), ефект повторюється в кожній хвилі, а метрика рахує всіх користувачів країни, а не лише тих, хто скористався фільтрами (розділ 1).

Звіт 5

Новий онбординг · терміновий релізтиждень після

Тиждень доактивація 31%, найнижче за рік Тиждень післяактивація 36%

+5 п.п.активації за тиждень

Зазвичай тижнева активація 35–37%. Онбординг переробили за три дні після того, як побачили 31%.

Повернення до середнього (розділ 5): реліз зробили одразу після найгіршого тижня, і 36% — це звичайний рівень 35–37%. Новий онбординг поки нічого не довів; чесно було б порівняти з нормою і лишити частину нових людей на старому онбордингу.

Звіт 6

Пуш-нагадування «Нові оголошення для вас»місяць після

ДоDAU/MAU 20% ПісляDAU/MAU 30%

Залученість +50%за DAU/MAU

Контакти з продавцями на 100 користувачів за тиждень: 12,0 → 12,1. Видалення застосунку: 2,0% → 2,8% на місяць. Пуші отримують усі.

Метрику легко зрушити без користі (розділ 3): пуш приводить людей у застосунок, і DAU росте сам. Головна метрика, контакти з продавцями, не змінилася, а guardrail, видалення застосунку, погіршився. Це не перемога.

А тепер звіт із початку курсу