Математичні парадокси

Курси / Чи працює фіча?

Курс · продуктовим командам

Чи працює фіча? Вплив без експерименту

Звіт: фіча «Збережені пошуки»3 місяці після запуску
З фічеюутримання на 30-й день 63% Рештаутримання на 30-й день 32%
Утримання ×221 500 користувачів фічі з 100 000

Висновок звіту: фіча подвоює утримання. Пропозиція: показати її всім у спливному вікні.

Такі звіти пишуть після кожного запуску. Чи справді фіча подвоює утримання? Курс відповідає на це питання в три кроки. Спершу без формул розбираємо, чому звичні цифри фічі обманюють: хто нею користується, що показує частка тих, хто спробував, що ще змінилося того місяця. Потім вчимося оцінювати вплив без A/B-тесту: поступовий запуск, різниця різниць, поріг, схожі групи, довга контрольна група. Третя частина про когорти, каннібалізацію, загальні цифри і про те, коли варто наполягти на експерименті. Наприкінці іспит із шести продуктових звітів і вердикт для цього звіту про «Збережені пошуки».

≈ 1,5 години, можна частинами по 10–15 хвилин; прогрес зберігається.

Уже маєте звіт про свою фічу? Чи можна довіряти цьому впливу? Кілька питань про запуск дають список ризиків і метод оцінки.

Пройдено 0 з 17 розділівЗадач з каталогу розв'язано: 0 з 5

Перевірте, що вже знаєте

Три короткі звіти, як у іспиті наприкінці, але з іншими історіями. Що з кожним не так? Відповіді не позначають розділи пройденими, а підкажуть, з чого почати.

Перший звіт

Синхронізація з календарем · CRMза рік
Із синхронізацієюпродовжили підписку 81% Без неїпродовжили 44%

Висновок звіту: синхронізація утримує клієнтів. Пропозиція: вмикати її всім примусово.

Синхронізацію вмикають ті, хто й так працює в CRM щодня. Тема розділу 1.Тут самовідбір: синхронізацію вмикають ті, хто й так працює в CRM щодня. Тема розділу 1.

Другий звіт

Новий пошук · запуск 1 груднягрудень
Листопад18 000 замовлень Грудень22 000 замовлень

Висновок звіту: новий пошук дав +22% замовлень. Торік з листопада на грудень замовлення виросли на 19%.

Грудень і без нового пошуку дає майже стільки ж. Тема розділу 4.Тут «до і після» змішує фічу з сезоном: грудень і без нового пошуку дає +19%. Тема розділу 4.

Третій звіт

Рекомендації · контрольна група2 місяці
Контроль10% людей, обраних жеребом, без рекомендацій Виручка+3,1% на користувача, 95% інтервал від +1,8 до +4,4

Метрику обрали до запуску: виручка на користувача серед усіх людей кожної групи.

Жереб, та сама метрика для всіх і названа похибка: пастки немає. Тема частини 2.Тут можна вірити: група без рекомендацій обрана жеребом, метрика рахує всіх і обрана наперед, похибку названо. Тема частини 2.

Словничок продуктової аналітикиутримання, когорта, п.п., DAU/MAU, частка тих, хто спробував, головна метрика, guardrail, контрольна група, природний експеримент, синтетичний двійник, запрошення
Утримання
Частка людей, які ще користуються продуктом через певний час: утримання на 30-й день 40% означає, що з 100 нових користувачів через місяць лишилося 40.
Когорта
Усі, хто прийшов за один період, наприклад зареєструвався в березні. Когорти порівнюють між собою за однаковий вік (розділ 12).
П.п.
Відсотковий пункт, різниця між двома відсотками: з 30% до 32% — це +2 п.п., або +7% від 30%.
DAU/MAU
Скільки з тих, хто заходив за місяць, заходять у звичайний день: 20% означає, що місячний користувач заходить у середньому 6 днів із 30 (розділ 3).
Частка тих, хто спробував
Скільки користувачів хоч раз скористалися фічею. Показує, скільки людей її побачили, а не чи вона допомогла (розділ 2).
Головна метрика і guardrails
Одна метрика користі, за якою вирішують, і кілька «запобіжних», які не мають погіршитися: видалення застосунку, скарги, швидкість (розділ 3).
Контрольна група
Частина користувачів, яка свідомо не отримує фічу, щоб було з ким порівняти (розділ 11).
Природний експеримент
Випадок, коли обставини самі поділили людей на групи майже як у тесті: одна країна отримала фічу раніше за іншу, статус дають від певного порогу (розділи 6–9).
Синтетичний двійник
Суміш кількох ринків без фічі з такими вагами, щоб до запуску вона повторювала ринок із фічею. Після запуску показує, що було б без неї (розділ 8).
Дизайн із запрошенням
Жереб вирішує не хто отримає фічу, а кому показати запрошення до неї. Ефект фічі — зміна метрики, поділена на зміну частки тих, хто нею скористався (розділ 16).
Частина 1 · без формул

Чому цифри фічі обманюють

П'ять звичних способів показати, що фіча працює, і чому кожен із них може показати успіх там, де його немає. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці.

1

Хто користується фічею, лишається вдвічі частіше

«Користувачі фічі утримуються вдвічі краще. Отже, фіча подвоює утримання?»

Таке «вдвічі» приносять після багатьох запусків, і воно звучить як готовий аргумент. Але перш ніж йому вірити, варто згадати, як люди взагалі опиняються серед «користувачів фічі».

Фічу ніхто не роздає навмання. Її знаходять і вмикають самі користувачі. І знаходять не всі однаково: хто заходить щодня, той бачить більше кнопок і пробує більше функцій.

Щоб перевірити, чи каже це «вдвічі» щось про саму фічу, візьмімо фічу, яка точно нічого не робить. Кнопка «Зберегти пошук» зламалася і місяць нічого не зберігала, хоча натискалася як звичайно. Натискали її, як і будь-яку функцію пошуку, здебільшого ті, хто шукає часто.

Як через місяць утримуються ті, хто натискав зламану кнопку, порівняно з рештою?

Кнопка нічого не робила, тож різниця не від неї. Її натискали здебільшого ті, хто часто шукає, а вони й так рідко йдуть. У моделі нижче через місяць лишаються близько 63% тих, хто натискав, і лише близько 32% решти: мертва кнопка «утримує» майже вдвічі краще. Порівняння «натискали проти решти» порівнює не кнопку, а людей. Перевірте нижче.Ні, навпаки: ті, хто натискав, утримуються помітно краще, майже вдвічі. У моделі нижче через місяць лишаються близько 63% із них і лише близько 32% решти. Кнопку натискають активні, а вони й так рідко йдуть. Перевірте нижче.Кнопка нічого не робила, але натискали її здебільшого активні, а вони й так рідко йдуть. Тому різниця велика: у моделі нижче близько 63% проти 32%, майже вдвічі. Порівняння «натискали проти решти» порівнює не кнопку, а людей. Перевірте нижче.

Нижче 10 000 користувачів трьох типів: рідко, інколи і часто заходять. Кнопка не робить нічого. Повзунок задає, наскільки частіше її знаходять активні.

Кнопка, яка нічого не робить

Натискали кнопку–
Не натискали–
«Ефект» у звіті–

  • Усередині кожного типу ті, хто натискав, і ті, хто ні, утримуються однаково: кнопка нічого не робить. Різницю в загальному рядку дає лише те, хто її натискав. Тож «утримання ×2» у звіті вгорі само по собі не каже про фічу нічого.
Історія Facebook порівняв 12 рекламних кампаній, для яких мав і справжній експеримент, і звичні оцінки. В одній з них ті, хто бачив рекламу, купували у 5 разів частіше за тих, хто не бачив: «ефект» +416%. Експеримент на тих самих людях дав +77%. Рекламу частіше бачать ті, хто більше сидить у Facebook і частіше купує сам. Джерело: Brett Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, «A Comparison of Approaches to Advertising Measurement», white paper, 2016; Marketing Science, 2019.

Глибше: як відбір людей створює зв'язок там, де його немає.

Парадокс Берксона

У місті врода і доброта не пов'язані. Ви ходите на побачення лише з тими, хто досить вродливий і добрий разом. Чи пов'язані ці риси серед ваших побачень?

2

Спробували ≠ допомогло

«Фічу спробували 41% користувачів. Це успіх?»

41% — гарна цифра для слайда, але успіх це чи ні, залежить від того, звідки вона взялася і що було далі.

Частка тих, хто спробував фічу, з'являється першою: вона росте швидко і її легко показати. Але спробувати можна з цікавості, через спливне вікно чи випадково. Тому команду цікавить інше: скільки людей користуються фічею через місяць.

Спершу фічу тихо додали в меню. За тиждень її спробували 9% користувачів, а через місяць нею користувалися 3 зі 100. Справді потрібна вона приблизно 6 людям зі 100.

Потім при вході додали спливне вікно, яке показує фічу кожному. Спробували вже 41%.

Скільки людей користуватимуться фічею через місяць після вікна?

Через місяць фічею користуються ті, кому вона потрібна, а таких лише 6 зі 100: більше, ніж 6, не стане за жодного вікна. З меню її знаходило близько 60% із них, і через місяць лишалося 3 зі 100. Вікно показує фічу всім, тож тепер її знаходять майже всі ці 6, і через місяць лишається десь 5. Спробувало вчетверо з половиною більше людей, а користується лише в 1,6 раза більше: решта з 41, хто спробував, робили це з цікавості й пішли. Перевірте нижче.Ні, трохи більше: вікно допомагає знайти фічу тим, кому вона потрібна. Але таких лише 6 зі 100, тож через місяць користуються десь 5 зі 100 замість 3, хоча спробували 41 замість 9. Перевірте нижче.Вікно змушує спробувати, а не потребувати. Фіча потрібна лише 6 людям зі 100, тож через місяць користуються десь 5 зі 100 замість 3. Спробувало вчетверо з половиною більше людей, а користується лише в 1,6 раза більше. Перевірте нижче.

Воронка фічі: спробували, повернулися, лишилися

  • Спливне вікно піднімає частку тих, хто спробував, з 9% до 41%, а тих, хто лишився через місяць, — з 3,2% до 5,1%. Перша цифра вчетверо більша, друга — в 1,6 раза, і тільки друга говорить про користь.
3

Метрика, яку легко зрушити

«DAU/MAU виріс з 20% до 30%. Люди отримують від продукту більше?»

Щоб відповісти, треба знати, що саме зрушило цю цифру. DAU/MAU — це частка місячних користувачів, які заходять у звичайний день. 20% означає, що щодня заходить кожен п'ятий, 30% — майже кожен третій.

Зрушила її одна зміна: сервіс оголошень додав щоденні пуш-нагадування, і за місяць DAU/MAU виріс з 20% до 30%.

Економіст Чарльз Гудгарт помітив, що показник, на який починають тиснути, перестає показувати те, що показував. Антропологиня Мерилін Стратерн сформулювала це коротше: коли міра стає ціллю, вона перестає бути доброю мірою.

Що цей ріст DAU/MAU каже про користь продукту для людей?

Пуш приводить людину в застосунок, і DAU росте, навіть якщо вона нічого там не зробила. У продукті найлегше зрушити те, що рахує заходи і хвилини: DAU, сесії, час у застосунку. У моделі нижче самі пуші дають ті +10 п.п. DAU/MAU, а контакти з продавцями не змінюються зовсім, зате застосунок видаляють частіше. Щоб говорити про користь, потрібна метрика того, що люди отримують: тут контакти з продавцями. Перевірте нижче.Може бути й так, але з DAU/MAU цього не видно: пуш приводить людину в застосунок, і DAU росте, навіть якщо вона нічого там не зробила. У моделі нижче контакти з продавцями від пушів не змінюються, а видалень застосунку більшає. Про користь скаже інша метрика. Перевірте нижче.DAU/MAU рахує заходи, а пуш приводить людину в застосунок, навіть якщо вона нічого там не зробила. У моделі нижче самі пуші дають ті +10 п.п., а контакти з продавцями не змінюються зовсім. Про користь тут поки нічого не відомо. Перевірте нижче.

Важелі, які рухають метрики

Яку метрику зробити головною для «Збережених пошуків»?

  • Пуші піднімають DAU/MAU з 20% до 30%, а контакти з продавцями не змінюються, зате видалень застосунку більшає. Справжнє покращення пошуку DAU майже не рухає і навіть зменшує хвилини: людина швидше знаходить потрібне.
Історія До 2012 року YouTube радив відео насамперед за кількістю переглядів, і автори навчилися кликати глядачів яскравими обкладинками, з яких люди швидко йшли. 15 березня 2012 року рекомендації почали рахувати час перегляду замість переглядів, а в жовтні те саме зробили з пошуком. Джерела: «The 'terrifying' moment in 2012 when YouTube changed its entire philosophy», Business Insider, 2015; «YouTube Changes Its Search Ranking Algorithm To Focus On Engagement, Not Just Clicks», TechCrunch, 12 жовтня 2012.
Історія У банку Wells Fargo працівникам ставили плани з продажу продуктів наявним клієнтам. Щоб їх виконати, працівники відкривали рахунки без відома клієнтів: за підрахунком самого банку, близько 1,5 мільйона депозитних рахунків і 565 000 кредитних карток. У вересні 2016 року регулятори оштрафували банк на 185 мільйонів доларів. Джерело: Consumer Financial Protection Bureau, прес-реліз від 8 вересня 2016 року.
4

До і після запуску

«Запустили фічу 1 вересня, і у вересні конверсія на 12% вища, ніж у серпні. Ось ефект.»

Так часто звітують після запусків: порівняли місяць до і місяць після. Це просто, тому так і роблять. Подивімося, що ще сталося за цей час.

Конверсія тут — частка відвідувачів, які купили. «На 12% вища» — відносна різниця: у серпні купували 3,7 зі 100, у вересні — 4,2.

Але вересень — не звичайний місяць. Торік з серпня на вересень конверсія теж зросла, на 6%, хоча фічі тоді не було. А цього вересня ще й ішла рекламна кампанія.

Скільки з цих 12% дала сама фіча?

Сезон забирає близько 6 з цих 12%, а з решти частину дала кампанія. Скільки лишається на фічу, звичайне «до і після» не каже: воно бачить лише суму всього, що змінилося за місяць. У моделі нижче там є ще й реліз іншої команди, про який ніхто не згадав. Розкладіть ці 12% нижче.Може бути й так, але з цих чисел цього не видно: сезон забирає близько 6%, а скільки з решти дала кампанія, невідомо. «До і після» бачить лише суму всього, що змінилося за місяць. Розкладіть ці 12% нижче.Торішній вересень показує, що сезон дає близько 6%, а кампанія забирає частину решти. Тож фічі лишається менше 6%, і скільки саме, не видно: «до і після» бачить лише суму всього, що змінилося за місяць. Розкладіть ці 12% нижче.

Два роки конверсії і вересень із фічею

цей рікторік

  • У цьому прикладі 12% складаються з сезону (+6%), кампанії (+3%), нової оплати від іншої команди (+2%) і самої фічі (+1%). У звіті «до і після» вони злиті в одне число.
5

Запустили після найгіршого тижня

«Утримання впало до мінімуму за рік, ми терміново випустили фікс, і воно відновилося. Фікс спрацював!»

Звучить як ідеальна історія: впало — полагодили — відновилося. Але спершу подивімося, як тижнева метрика поводиться, коли ніхто нічого не чинить.

Тижневе утримання тут — частка користувачів, які повернулися наступного тижня. Зазвичай це близько 40%. Але навіть без жодних змін воно гуляє: щотижня приходять трохи інші люди, буває погода, бувають свята. Звичайний тиждень легко відхиляється на 2 п.п. вгору чи вниз.

Одного тижня утримання впало до 36%, найнижче за рік. Саме тоді, коли метрика найгірша, тривога найбільша, і команда терміново випустила фікс. Наступного тижня знову було 40%.

Що з цієї історії випливає про фікс?

Найгірший тиждень за рік — здебільшого невдалий шум: з 52 звичайних тижнів якийсь неминуче найнижчий. Наступний тиждень — новий кидок, і він майже завжди ближчий до звичних 40%. У моделі нижче фікс, який нічого не робить, «піднімає» утримання в середньому на 4 п.п.: з 36% до 40%. Щоб побачити внесок фікса, треба порівняти з тим, що було б без нього. Перевірте нижче на фіксах, які нічого не роблять.З цих чисел цього не видно. Найгірший тиждень за рік — здебільшого невдалий шум, і метрика повертається до звичних 40% сама, тож відновлення нічого не каже про фікс: ні про користь, ні про шкоду. У моделі нижче фікс, який нічого не робить, «піднімає» утримання в середньому на 4 п.п. Перевірте нижче.Найгірший тиждень за рік — здебільшого невдалий шум, і метрика повертається до звичних 40% сама. У моделі нижче фікс, який нічого не робить, «піднімає» утримання в середньому на 4 п.п.: з 36% до 40%. Тож відновлення нічого не каже про фікс. Перевірте нижче на фіксах, які нічого не роблять.

Нижче утримання продукту, у якого нічого не змінюється: щотижня близько 40% плюс шум. Команда випускає «фікс» щоразу, коли тиждень найгірший за останні пів року. Фікс нічого не робить.

Два роки фіксів, які нічого не роблять

утримання за тижденьтиждень фікса

Фіксів випущено–
Тиждень фікса, у середньому–
«Ефект» фікса за тиждень–

  • Фікс, який нічого не робить, «додає» в середньому близько 4 п.п. за тиждень: найгірший тиждень за пів року лежить приблизно на 4 п.п. нижче звичного, і наступний тиждень просто повертається до норми. Те саме буває з людьми, яких беруть у програму після найгіршого місяця.

Глибше: та сама сила як задача з каталогу. Загальний розділ про неї є і в курсі «Як не обдурити себе даними».

Регресія до середнього

Після похвали гравці грають гірше, а після критики краще. Чи означає це, що критика працює?

Що ви вже вмієте Ви знаєте, що користувачі фічі відрізнялися ще до неї (1), що частка тих, хто спробував, міряє показ, а не користь (2), що DAU і хвилини легко зрушити без користі (3), що «до і після» змішує сезон, кампанії й чужі релізи (4) і що після найгіршого тижня метрика повертається сама (5). Усі п'ять пасток мають одні ліки: група людей, яка жила без фічі в той самий час. Друга частина про те, де таку групу знайти, коли A/B-тесту не було.

Дві хвилини на перевірку · нові історії, не обов'язково

Користувачі темної теми проводять у застосунку на 35% більше часу. Чи робить темна тема людей залученішими?

Шукати темну тему в налаштуваннях будуть передусім ті, хто проводить у застосунку години. Самовідбір, як у розділі 1.Темну тему шукають у налаштуваннях передусім ті, хто й так проводить у застосунку години. Це самовідбір, як у розділі 1: різниця була б і без неї.

Підтримка запровадила новий шаблон відповіді в тиждень, коли оцінка підтримки впала до мінімуму за рік, 3,9 з 5. Наступного тижня — 4,3, як зазвичай. Що це?

4,3 — звичайний рівень. Чесно порівнювати з ним, а не з найгіршим тижнем (розділ 5).Це повернення до середнього: 4,3 — звичайний рівень, і після найгіршого тижня оцінка повертається до нього сама (розділ 5).

Частина 2 · трохи чисел

Як оцінити вплив без A/B-тесту

A/B-тест — найчистіший спосіб, але його часто не було: фічу вже запустили всім, або її не можна показати лише частині людей. Тоді шукають групу, яка в той самий час жила без фічі і була схожа на тих, хто з нею. Шість способів, від найнадійнішого до найслабшого, з віднімання і середніх.

6

Поступовий запуск як природний експеримент

«Android отримав фічу в березні, iOS — лише в травні. Це погано для аналізу?»

Навпаки, для аналізу це подарунок, хоча так здається не одразу.

Рахуймо тижнями року: на Android фіча прийшла на 9-му тижні, на iOS — лише на 18-му. Дев'ять тижнів поспіль одна платформа вже має фічу, а друга ще ні. При цьому обидві живуть у тому самому сезоні, під тими самими кампаніями і святами.

Платформи не однакові: на iOS тижневе утримання й без фічі вище, близько 44% проти 40% на Android.

Як найкраще оцінити ефект фічі за перші тижні на Android?

iOS за ті самі тижні показує, що сталося б з Android без фічі: свята, кампанії, сезон. У моделі нижче на 10–12-й тижні припали свята, і «до і після» на Android дає близько +4 п.п. А iOS без фічі за ті самі тижні виріс приблизно на 2. Різниця змін, близько +2 п.п., — це і є ефект. Перевірте нижче.«До і після» на Android захопить свята, порівняння платформ — їхню давню різницю в рівні (iOS і без фічі вищий на 4 п.п.), а ті, хто спробував, — самовідбір з розділу 1. Чесно — порівняти зміну Android зі зміною iOS за ті самі тижні. Перевірте нижче.

Дві платформи, два запуски

AndroidiOSсіра смуга — свята, тижні 10–12

Android: після мінус до–тижні 9–12 проти 5–8
iOS за ті самі тижні–без фічі
Різниця змін–
Другий запуск: iOS–тижні 18–21 проти 14–17, мінус Android

  • «До і після» на Android дає близько +4 п.п., бо захоплює свята. Різниця змін з iOS дає близько +2 п.п. — справжній ефект у цій моделі. Другий запуск на iOS показує ті самі +2 п.п.: коли ефект повторюється при кожному запуску, йому можна вірити набагато більше.
Історія У 1854 році в Лондоні частину вулиць водою постачали дві компанії. Lambeth брала воду з Темзи вище міста, Southwark & Vauxhall — нижче, куди стікала каналізація. Сусідні будинки отримували воду від різних компаній, не обираючи. Лікар Джон Сноу порахував смерті від холери: 315 на 10 000 будинків у Southwark & Vauxhall і 37 у Lambeth. Джерело: John Snow, «On the Mode of Communication of Cholera», 2-ге видання, 1855, таблиця IX.
7

Різниця різниць

«У країні з фічею утримання виросло на 6 п.п. Але воно виросло і там, де фічі немає. То який ефект?»

Відповідь ховається в другому реченні: на скільки виросла країна без фічі. Розділ 6 уже так рахував, тепер розберімо цей метод окремо: на ньому тримається більшість оцінок без експерименту.

Береться зміна в групі з фічею і від неї віднімається зміна в групі без фічі за той самий час. Друга зміна — це сезон, кампанії і все інше, що діяло на обидві групи.

Фічу запустили в Польщі, а Чехія поки лишилася без неї. За пів року після запуску утримання в Польщі виросло з 30% до 36%, а в Чехії — з 28% до 32%.

Який ефект фічі?

Польща виросла на 6 п.п., Чехія без фічі — на 4. Ці 4 п.п. сталися б і в Польщі, тож фічі лишається 6 − 4 = 2 п.п. Але лише якщо до запуску країни рухалися паралельно. Перевірте нижче.+6 — це «до і після» в Польщі, +4 — різниця країн після запуску, +8 — обидві помилки разом. Чехія показує, що 4 п.п. росту сталися б і без фічі, тож ефект 6 − 4 = 2 п.п. Перевірте нижче.

Дві країни до і після запуску

Польща, з фічею з 7-го місяцяЧехія, без фічі

Польща: після мінус до–
Польща мінус Чехія після–
Різниця різниць–

Перевірка до запуску, місяць за місяцем

Те саме порівняння, розкладене по місяцях (аналітики звуть це event study). Кожна точка — різниця «Польща мінус Чехія» в цьому місяці мінус та сама різниця за місяць до запуску. Риска навколо точки — 95% інтервал шуму при 40 000 користувачів у країні щомісяця. Числа — приклад.

Місяців до запуску, де риска не зачіпає нуль–з п'яти
Найдальша точка до запуску–
Після запуску, у середньому–справжній ефект +2 п.п.

  • Поки країни до запуску йдуть паралельно, різниця різниць показує справжній ефект. Якщо Польща й без фічі росте швидше, її власний ріст потрапляє в «ефект». Видно це ще до запуску: лінії розходяться.
Історія 1 квітня 1992 року Нью-Джерсі підняв мінімальну зарплату з 4,25 до 5,05 долара на годину, а сусідня Пенсильванія — ні. Девід Кард і Алан Крюгер опитали 410 закусочних фастфуду в обох штатах до і після підвищення. Зайнятість у Нью-Джерсі порівняно з Пенсильванією не впала, хоча теорія обіцяла падіння. Висновок досі оскаржують, але сам підхід став класикою, а Кард у 2021 році отримав Нобелівську премію з економіки. Джерело: David Card, Alan B. Krueger, «Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania», American Economic Review, 1994.
8

Запустили в одній країні: синтетичний двійник

«Фічу отримала лише Румунія. Схожої країни без фічі немає. Отже, ефект не порахувати?»

Різниця різниць з розділу 7 потребує країни, яка до запуску йшла паралельно. Буває, що жодна не йде: одна вища, друга росте швидше, у третьої інший сезон.

Приклад (числа вигадані, але реалістичні): утримання на 30-й день у Румунії і чотирьох ринках без фічі — Угорщині, Болгарії, Словаччині та Хорватії — за 12 місяців до запуску і 6 після. За пів року після запуску Румунія виросла на 5 п.п. порівняно з пів роком до нього.

Що найкраще покаже, яким було б утримання Румунії без фічі?

Така суміш — синтетичний двійник. Якщо до запуску вона повторює Румунію з точністю до кількох десятих п.п., то після запуску показує, що було б без фічі, а розрив між ними і є ефект. У прикладі нижче це +2 п.п.; Хорватія дає −0,1, середнє чотирьох +2,9, а «до і після» +5. Перевірте нижче.Хорватія близька за рівнем, але росте швидше і «з'їдає» ефект (−0,1 п.п.); середнє чотирьох ринків іде вище Румунії і дає +2,9; «до і після» захоплює власний ріст, +5. Краще — суміш ринків, яка до запуску повторює Румунію місяць за місяцем: синтетичний двійник. Він дає +2 п.п. Перевірте нижче.

Зберіть двійника Румунії

Рухайте ваги: решта підлаштовується, щоб разом було 100%. Мета — щоб пунктир до запуску ліг на суцільну лінію. Тоді читайте розрив після запуску.

Румунія, з фічею з 13-го місяцядвійник (пунктир)тонкі лінії — чотири ринки

Розбіжність до запуску–типова відстань між лініями, місяці 1–12
Розрив після запуску–Румунія мінус двійник, місяці 13–18
«До і після» в Румунії–місяці 13–18 проти 7–12

  • Найкраща суміш — Угорщина 50%, Болгарія 30%, Хорватія 20%, Словаччина 0. До запуску вона типово відходить від Румунії на 0,26 п.п., а після запуску розрив +2,0 п.п. — рівно той ефект, який заклали в приклад. Хорватія сама по собі дає −0,1, середнє чотирьох +2,9, «до і після» +5,0.
Історія Метод запропонували Альберто Абаді і Хав'єр Гардеасабаль у 2003 році, щоб оцінити, скільки коштував Країні Басків тероризм. Відомим він став після статті Абаді, Даймонда і Хайнмюллера про Каліфорнію. У 1988 році штат ухвалив Proposition 99 — великий податок на сигарети і програму проти куріння. Жоден штат не був схожий на Каліфорнію сам по собі, тож її двійника склали здебільшого з Юти, Невади, Монтани, Колорадо і Коннектикуту. За оцінкою авторів, до 2000 року річний продаж сигарет на людину в Каліфорнії був приблизно на 26 пачок нижчим, ніж був би без Proposition 99. Джерела: Alberto Abadie, Javier Gardeazabal, «The Economic Costs of Conflict: A Case Study of the Basque Country», American Economic Review, 2003; Alberto Abadie, Alexis Diamond, Jens Hainmueller, «Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program», Journal of the American Statistical Association, 2010 (NBER Working Paper 12831).
9

Поріг

«"Золоті" клієнти витрачають удвічі більше. Золотий статус окупається?»

«Удвічі» тут правда: «золоті» витрачають у 2 630 грн на місяць, решта — 1 280 грн. Питання в тому, скільки з цього зробив сам статус.

Золотий статус дають від 1 000 балів, а бали накопичують ті, хто багато купує. Тож порівняння «з ним проти без» знову порівнює різних людей, як у розділі 1.

Але на самому порозі з'являється природний експеримент: клієнт із 995 балами і клієнт із 1 005 майже однакові, а статус має лише другий. Клієнти з 990–999 балами витрачають у середньому 1 895 грн на місяць, а з 1 000–1 009 — 1 985 грн.

Скільки на місяць дає сам золотий статус?

Біля порога клієнти майже однакові, і стрибок там — це ефект статусу: 1 985 − 1 895 = 90 грн. Це менше десятої частини від 1 350 грн великої різниці. Решта — це те, що «золоті» й так купують більше. Перевірте нижче.Не зовсім: біля порога є стрибок, 1 985 − 1 895 = 90 грн, і це ефект статусу. А решту великої різниці справді дають бали: «золоті» просто купують більше. Перевірте нижче.Велика різниця в 1 350 грн порівнює різних людей: «золоті» купують більше, бо вони найактивніші. Чесне порівняння — біля порога, де клієнти майже однакові, і стрибок там 1 985 − 1 895 = 90 грн, менше десятої частини. Перевірте нижче.

20 000 клієнтів біля порога 1 000 балів

«Золоті» проти решти–
Над порогом проти під ним у вікні–
Справжній ефект статусу–

  • Вузьке вікно дає ефект близько справжнього, хоч і з шумом, бо клієнтів у ньому мало. Чим ширше вікно, тим ближче оцінка до наївної різниці: у порівняння потрапляють усе більш різні клієнти.
Історія У 1960 році психологи Дональд Тістлтвейт і Дональд Кемпбелл хотіли зрозуміти, чи допомагає американським школярам почесна грамота National Merit. Її давали тим, хто набрав певну кількість балів у тесті. Автори порівняли учнів трохи вище і трохи нижче цього порогу. Так з'явився метод, який тепер називають розривом регресії. Джерело: Donald L. Thistlethwaite, Donald T. Campbell, «Regression-Discontinuity Analysis: An Alternative to the Ex Post Facto Experiment», Journal of Educational Psychology, 1960.
10

Схожі групи, які все одно обманюють

«Ми підібрали кожному користувачу фічі пару без неї: той самий тариф, той самий вік акаунта. Тепер порівняння чесне?»

Підбір пар — перша відповідь, яка спадає на думку після розділу 1. Якщо користувачі фічі відрізняються від решти, знайдімо кожному схожого двійника без фічі і порівнюймо вже пари.

Підбирають за тим, що є в даних: тариф, країна, вік акаунта. Тоді платний давній користувач порівнюється з платним давнім, а не з новачком на безкоштовному тарифі.

У цієї команди наївне порівняння давало користувачам фічі +20 п.п. утримання. Після підбору пар за тарифом і віком акаунта різниця зменшилася до +8 п.п.

Який справжній ефект фічі?

Підбір прибрав видиму частину самовідбору: близько 12 з 20 п.п. Але мотивацію, потребу, звички в даних не видно, а саме вмотивовані частіше вмикають фічу і рідше йдуть. Ця частина лишилася в 8 п.п., і скільки її там, невідомо, тож +8 — лише верхня межа. У моделі нижче справжній ефект лише +2 п.п. Перевірте нижче.Навпаки, найімовірніше менше: невидима частина самовідбору (мотивація, потреба) ще сидить у цих 8 п.п. У моделі нижче справжній ефект лише +2 п.п. Перевірте нижче.Підбір прибрав лише те, що видно в даних. Мотивація і потреба лишилися, тож справжній ефект може бути набагато меншим за 8 п.п.: у моделі нижче він лише +2 п.п. Перевірте нижче.

Підбір пар: що видно в даних і що ні

  • У цій моделі фіча додає +2 п.п. Підбір за тарифом і віком дає +8, і лише підбір ще й за мотивацією, якої в даних немає, повертає +2. Підбір зменшує похибку, але не каже, скільки її лишилося.
Історія eBay рахував, скільки приносить пошукова реклама. Звичайна регресія давала окупність понад 4 100%, а з поправками на час і регіони — понад 1 400%. Тоді компанія вимкнула рекламу за небрендовими запитами приблизно в 30% регіонів США. Експеримент показав окупність −63%: реклама коштувала більше, ніж приносила, бо її бачили здебільшого ті, хто купив би й так. Джерело: Thomas Blake, Chris Nosko, Steven Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment», NBER Working Paper 20171, 2014; Econometrica, 2015.
11

Довга контрольна група

«Фічу показуємо всім, але хочемо знати її ефект за три місяці. Скільки людей лишити без неї?»

На це питання є розрахунок, і він простіший, ніж здається. (холдаут) — найпростіший спосіб чесно виміряти фічу, яку вже вирішили запустити: невелику випадкову частку користувачів лишають без неї на кілька місяців.

Чим менша ця частка, тим менше людей недоотримають фічу. Але тим більший шум у порівнянні, і дрібний ефект у ньому загубиться.

Тут активних користувачів 200 000, утримання 40%. Команда хоче надійно помітити ефект від 1 п.п., тобто 41% з фічею замість 40%. «Надійно» означає, що ефект такого розміру порівняння помітить щонайменше 8 разів із 10.

Яку частку користувачів лишити без фічі?

З 10% контрольна група має 20 000 людей, і порівняння надійно бачить ефект від 1 п.п. З 1% (2 000 людей) воно бачить лише ефекти від 3 п.п., з 5% — від 1,4 п.п. Половина бачить ефекти від 0,6 п.п., але тоді фіча не дійде до 100 000 людей. Перевірте нижче.Точність залежить від розміру меншої групи. З 1% контрольна група бачить лише ефекти від 3 п.п., з 5% — від 1,4 п.п., а для 1 п.п. треба близько 10%, тобто 20 000 людей. Половина бачить ефекти від 0,6 п.п., але тоді без фічі лишаються 100 000 людей. Перевірте нижче.

Розмір контрольної групи

Без фічі–
Надійно видно ефект від–утримання 40%, 80% шанс помітити
Похибка оцінки, ±–95% довірчий інтервал

  • Точність контрольної групи впирається в її власний розмір: подвоєння частки з 10% до 20% звужує похибку лише на чверть, а з 20% до 50% — ще приблизно на п'яту частину. Тому зазвичай лишають 5–10%, а не половину.

Глибше: чому шум однакових груп такий великий.

A/A-тест: дві однакові сторінки

Та сама сторінка показується як «A» і як «B», конверсія 5%, по 1 000 відвідувачів. Як часто одна з двох однакових сторінок «переможе» на 20% або більше?

Що ви вже вмієте Ви бачите природний експеримент у поступовому запуску (6), рахуєте різницю різниць і перевіряєте паралельність до запуску (7), складаєте синтетичного двійника, коли фічу отримав один ринок (8), шукаєте стрибок на порозі (9), розумієте, чому підбір схожих — лише верхня межа (10), і знаєте, скільки людей лишити без фічі (11). Третя частина про те, що ховається в самих метриках: старі й нові користувачі, дії, які лише переїхали з однієї фічі в іншу, і загальні цифри, що рухаються не туди. А наприкінці — коли все це не замінить експерименту і що робити, коли саму фічу жеребкувати не можна.

Дві хвилини на перевірку · нові історії, не обов'язково

Фічу ввімкнули в Литві. Утримання Литви: 25% → 29%. Латвія без фічі за той самий час: 24% → 27%. До запуску лінії йшли паралельно. Який ефект?

Литва +4, Латвія +3, тож фічі лишається 4 − 3 = 1 п.п. (розділ 7).Литва виросла на 4 п.п., Латвія без фічі — на 3. Ефект — різниця змін: 4 − 3 = 1 п.п. (розділ 7).

Знижку дають від 50 замовлень на рік. Аналітик порівнює тих, хто має 50–52 замовлення, з тими, хто має 47–49. Але людей з 50–52 замовленнями втричі більше, ніж з 47–49. Що це означає?

Біля чесного порога з обох боків приблизно порівну людей. Купчення одразу над порогом каже, що його «добирають» найзацікавленіші (розділ 9).Біля чесного порога з обох боків приблизно порівну людей. Утричі більше одразу над порогом означає, що до нього дотягують найзацікавленіші, і порівняння вже не чесне (розділ 9).

Частина 3 · трохи більше математики

Когорти, каннібалізація і коли потрібен експеримент

Перші дві частини питали, з ким порівнювати. Третя — що саме рахує метрика. Утримання «всіх активних» залежить від того, хто серед них, дії можуть переїхати з однієї фічі в іншу, а загальна конверсія — впасти, хоча в кожній групі вона виросла. Наприкінці — коли всього цього мало і треба наполягти на експерименті.

12

Утримання і «старі користувачі кращі»

«За рік утримання активних користувачів виросло з 60% до 80%. Продукт став кращим?»

Так радіють, коли графік утримання повзе вгору без жодного великого релізу. Перш ніж дякувати продукту, подивімося, з кого складаються «активні користувачі».

Утримання тут — яка частка тих, хто був активний цього місяця, лишається активною наступного.

Серед активних є новачки й давні користувачі, і поводяться вони дуже по-різному. Новачки йдуть найчастіше: багато хто подивився і не повернувся, тож після першого місяця лишаються лише 40% із них. Ті, хто пробув кілька місяців, лишаються майже всі, понад 90%.

Рік тому з активних наступного місяця лишалося 60%, тепер 80%. І ніхто не змінював продукт так, щоб утримання зросло.

Як утримання могло так вирости без покращень?

Давні користувачі, які вже пройшли перші місяці, лишаються майже всі. Коли реєстрацій меншає, частка новачків серед активних падає, і загальне утримання росте саме, хоча кожна когорта утримується так само. У моделі нижче новачків серед активних стає 18% замість 52%, і утримання всіх активних росте з 60% до 80%, хоча новачки, як і раніше, лишаються на 40%. Перевірте нижче.Можливо і без покращення: коли реєстрацій меншає, серед активних більшає давніх користувачів, які лишаються майже всі. У моделі нижче новачків серед активних стає 18% замість 52%, і загальне утримання росте з 60% до 80%, хоча кожна когорта утримується так само. Перевірте нижче.

Два роки одного продукту

усі активні: скільки лишаються наступного місяцяновачки: скільки лишаються після першого місяця

  • Коли реєстрації перестають рости, утримання всіх активних піднімається з 60% до 80%, хоча жодна когорта не стала кращою. Навіть якщо нові когорти стали гіршими на 5 п.п., загальна цифра все одно росте. Це той самий ефект виживших: серед активних лишаються ті, хто вже довів, що не піде.

Глибше: та сама пастка як задача про літаки, що повернулися. Про виживших у звітах і опитуваннях — розділ 6 курсу «Як не обдурити себе даними».

Помилка тих, хто вижив: літаки Вальда

Бомбардувальники повертаються з дірками у фюзеляжі та крилах, а на двигунах дірок майже немає. Куди ставити броню?

13

Каннібалізація

«"Швидку відповідь" використали 50 000 разів за тиждень. Отже, вона дала 50 000 відповідей?»

Лічильник фічі каже, скільки разів нею скористалися. Чи додала вона відповідей, залежить від того, що продавці робили б без неї.

Нова фіча буває лише новим способом зробити те, що вже вміла стара. «Швидка відповідь» надсилає готовий текст одним дотиком, а звичайну відповідь продавець набирає сам.

До запуску продавці писали 200 000 відповідей на тиждень. Після запуску «швидку відповідь» використали 50 000 разів за тиждень.

На скільки зросла кількість відповідей за тиждень?

Більшість швидких відповідей продавці написали б і так, лише довше: дія просто переїхала зі старого способу в новий. Приріст — це загальна кількість відповідей після мінус до, а не лічильник фічі. Якщо, як у моделі нижче, 80% швидких відповідей замінили звичайні, то звичайних стало 160 000, разом 210 000: приріст 10 000, а не 50 000. Перевірте нижче.Загальна кількість відповідей навряд чи впала, але й не виросла на 50 000: більшість швидких відповідей замінили звичайні. Якщо замінили 80%, як у моделі нижче, приріст лише 10 000. Приріст — це загальна кількість після мінус до. Перевірте нижче.Лічильник фічі не каже, скільки з цих відповідей нових. Більшість швидких відповідей продавці написали б і так. Якщо, як у моделі нижче, 80% з них замінили звичайні, приріст лише 10 000, а якщо майже всі — майже нуль. Перевірте нижче.

Звідки взялися 50 000 швидких відповідей

  • Якщо 80% швидких відповідей замінили звичайні, фіча дала +10 000 відповідей, а не +50 000. Звіт за лічильником фічі завищив би ефект уп'ятеро.
14

Ефект, схований у загальних цифрах

«Нова оплата підняла конверсію і на телефонах, і на комп'ютерах. А загальна конверсія впала. Фіча шкодить?»

Таке буває, і поспішати з висновком про шкоду не варто. Спершу розберімо, з чого складається загальна конверсія.

До запуску половина відвідувачів приходила з телефонів, половина з комп'ютерів. На телефонах купували 2 зі 100 (2,0%), на комп'ютерах — 5 зі 100 (5,0%). Разом виходило 3,5%.

Після запуску нової оплати на телефонах купують 2,2%, на комп'ютерах — 5,3%: обидві групи покращилися. А загальна конверсія впала з 3,5% до 3,1%.

Що сталося?

Загальна конверсія — це середнє з груп, зважене на їхні частки. Наприклад, кампанія в соцмережах привела багато людей з телефонів: їхня частка виросла з 50% до 70%. Тоді разом 0,7 × 2,2% + 0,3 × 5,3% ≈ 3,1%, а зі старими частками 50/50 було б 3,75%. Кожна група купує краще, але людей у групі з низькою конверсією стало більше. Це парадокс Сімпсона. Перевірте нижче.Конверсія на комп'ютерах якраз виросла, з 5,0% до 5,3%. Змінилася частка: людей з телефонів стало більше, з 50% до 70%, а в них конверсія нижча. Зі старими частками 50/50 загальна конверсія була б 3,75%, тобто вища, ніж до запуску. Перевірте нижче.Так буває, і фіча тут ні до чого: людей з телефонів стало більше, з 50% до 70%, а в них конверсія нижча. Загальна конверсія — середнє, зважене на частки груп, тож кожна група купує краще, а середнє падає: 0,7 × 2,2% + 0,3 × 5,3% ≈ 3,1%. Це парадокс Сімпсона. Перевірте нижче.

Телефони, комп'ютери і загальна цифра

  • Поки частка телефонів після запуску 50%, загальна конверсія росте з 3,5% до 3,75%. Уже з 60% телефонів вона падає до 3,44%, а з 70% — до 3,13%, хоча обидві групи купують краще.

Глибше: парадокс Сімпсона як задача з каталогу, а в звітах про продажі — розділ 4 курсу «Як не обдурити себе даними».

Парадокс Сімпсона

Метод A успішно лікує камені в нирках у 78% випадків, метод B у 83%. Який метод ви оберете для себе?

15

Коли наполягти на експерименті

«На A/B-тест немає часу. Запустимо, а потім подивимось на цифри.»

Іноді це розумно: не кожна зміна варта тесту. Але після запуску без тесту лишаються лише методи частини 2, а кожен із них тримається на припущенні: паралельні лінії, чесний поріг, схожі групи. Експеримент не потребує жодного з них.

Тож питання не в тому, тестувати все чи нічого, а в тому, що варто тестувати навіть тоді, коли це незручно. Ось чотири запуски, які команда планує на найближчі тижні.

Який із цих чотирьох запусків найбільше потребує A/B-тесту?

Тут обіцяють конкретний ефект, від нього залежить велике рішення, а помилитися дорого. Опечатку виправляють без тесту, банер вимагає закон, темну тему просять самі користувачі, і великих грошей вона не обіцяє.Найбільше тест потрібен там, де обіцяють конкретний ефект, від нього залежить велике рішення, а помилитися дорого: це нові рекомендації і бюджет на рік. Решту можна запускати без тесту.

Дешевий експеримент, коли «неможливо»

Що заважає тесту? Оберіть перешкоду, і нижче підсвітиться спосіб, який її обходить.

СпосібЯк і на що зважати
«Фальшиві двері»ціна: день роботи
ЯкПоловині людей показують кнопку майбутньої фічі, а натиск веде до сторінки «скоро буде». Порівнюють, скільки людей у кожній половині натиснули і чи змінилися головна метрика й guardrails. Попит видно до того, як фічу зробили; про її користь це ще не каже.
Контрольна групаціна: кілька відсотків людей без фічі
ЯкЗапускаєте всім, крім випадкових 5–10% на 2–3 місяці (розділ 11). Рішення не гальмується, а ефект виміряний чесно.
Тест лише на новихціна: довше чекати
ЯкНові користувачі ще нічого не мають, тож їх можна ділити навпіл без втрат. Ефект на давніх може бути іншим, але це вже чесна оцінка.
Ділити міста або дніціна: менше груп, більше шуму
ЯкЯкщо продавці й покупці впливають одне на одного, ділять не людей, а цілі міста чи регіони, або вмикають фічу через день у всіх (чергування). Груп менше, тому тест довший, але вплив між групами не змішує результат.
Ближча метрика і більший ефектціна: менша впевненість щодо кінцевої метрики
ЯкБеріть метрику, яка реагує швидше (контакт із продавцем замість покупки за місяць), і тестуйте сміливіші зміни: великий ефект видно на меншій вибірці. Компроміси для тих, хто не може чекати, — у розділі 14 курсу «Парадокси A/B-тестування».
  • Тест потрібен найбільше тоді, коли обіцяють конкретний ефект, від нього залежить велике рішення, а помилка коштує дорого. Опечатки, вимоги закону і дрібні зміни, які просять користувачі, можна запускати без нього.
Історія У березні 2012 року eBay вимкнув рекламу за запитами зі словом «eBay» у пошуковиках Yahoo! і Bing, а в Google лишив. Звіти приписували цій рекламі багато продажів. Але 99,5% кліків, які раніше йшли через рекламу, перейшли на звичайне посилання в результатах пошуку: люди, які шукали «eBay», і так потрапляли на eBay. Джерело: Thomas Blake, Chris Nosko, Steven Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment», NBER Working Paper 20171, 2014.
16

Підштовхни, а не змушуй

«"Збережені пошуки" вже є в усіх. Забрати їх у половини людей заради тесту не можна. Отже, ефекту ми не дізнаємося?»

Жеребкувати саму фічу не можна, але можна жеребкувати запрошення до неї. Випадковій половині з 80 000 нових користувачів показали банер «Збережіть цей пошук — ми напишемо, коли з'явиться нове». Друга половина банера не бачила, хоча фіча в меню була в усіх.

Без банера збережені пошуки завели 10% людей, з банером — 30%. Утримання на 30-й день: 40,0% без банера і 41,2% з ним.

Наскільки збережені пошуки змінюють утримання тих, кого переконав банер?

Банер змінив поведінку лише 20 людей зі 100 (30% − 10%). Решта 80 зробили б те саме і без нього. Отже, весь приріст утримання групи, 1,2 п.п., дали ці 20 людей, і на кожного з них припадає 1,2 / 0,20 = 6 п.п. Перевірте нижче.+1,2 — ефект банера на всю групу, разом із 80 людьми зі 100, на яких він не подіяв. +27 — це ті, хто зберіг пошук, проти решти: самовідбір з розділу 1. А жереб тут є: він вирішував, кому показати банер. Банер переконав 20 людей зі 100, і весь приріст, 1,2 п.п., дали вони: 1,2 / 0,20 = 6 п.п. Перевірте нижче.

Жереб на банер: проведіть експеримент

Модель: 10% людей знаходять фічу самі, частину переконує банер, решта не користується нею ніколи. Ті, хто знаходить сам, — найактивніші. По 40 000 людей у кожній половині.

Завели збережені пошуки–з банером / без
Утримання на 30-й день–з банером / без
Ефект фічі: зміна утримання ÷ зміна частки–
Хто зберіг пошук проти решти–у половині з банером

  • Ділимо ефект банера на утримання (+1,2 п.п.) на ефект банера на частку тих, хто користується фічею (+20 п.п.): 1,2 / 0,20 = 6 п.п. Це ефект для тих, кого банер переконав, а не для всіх: ті, хто знаходить фічу сам, можуть отримувати від неї інше. Порівняння «хто зберіг проти решти» дає +27 п.п. — самовідбір.
Історія Під час війни у В'єтнамі США визначали черговість призову лотереєю за днем народження. Жереб не вирішував, хто служитиме: дехто йшов добровольцем, дехто уникав призову. Але він змінював шанс опинитися в армії. Джошуа Ангріст поділив різницю в заробітках між чоловіками з «нещасливими» і «щасливими» датами на різницю в частці тих, хто служив. Вийшло, що на початку 1980-х білі ветерани заробляли приблизно на 15% менше, ніж порівнянні чоловіки, які не служили. У 2021 році Ангріст і Гвідо Імбенс отримали Нобелівську премію з економіки за такі методи, разом із Девідом Кардом з розділу 7. Джерело: Joshua D. Angrist, «Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records», American Economic Review, 1990.
Що ви вже вмієте Ви рахуєте утримання за когортами, а не для всіх активних (12), міряєте ціле замість лічильника фічі (13), перевіряєте склад, коли загальна цифра і групи розходяться (14), знаєте, коли наполягти на експерименті та як зробити його дешевим (15), і вмієте жеребкувати запрошення, коли саму фічу не можна (16). Лишився іспит: шість продуктових звітів, у кожному одна пастка з курсу, а потім вердикт для звіту про «Збережені пошуки».

Дві хвилини на перевірку · нові історії, не обов'язково

За пів року утримання всіх активних користувачів виросло з 55% до 68%. Реєстрацій за цей час стало вдвічі менше. Що перевірити першим?

Новачки йдуть найчастіше. Коли їх меншає, утримання «всіх активних» росте саме. Порівнюйте когорти одного віку (розділ 12).Новачки йдуть найчастіше. Коли реєстрацій меншає, серед активних більше давніх користувачів, і утримання росте саме. Порівнюйте когорти одного віку (розділ 12).

Запрошення до фічі показали випадковій половині. Фічею користуються 25% із запрошенням і 5% без нього. Конверсія: 10,8% проти 10,0%. Який ефект фічі на тих, кого переконало запрошення?

Запрошення переконало 20 людей зі 100, і весь приріст дали вони: 0,8 / 0,20 = 4 п.п. (розділ 16).+0,8 — ефект запрошення на всю половину. Запрошення переконало 25% − 5% = 20 людей зі 100, і весь приріст дали вони: 0,8 / 0,20 = 4 п.п. (розділ 16).

Фінал

Іспит і вердикт

Усе, що було в курсі, тепер у звітах, які приходять після запуску. Якщо ви пропустили частину 3, іспит від цього майже не постраждає.

17

Іспит: шість продуктових звітів

«Ось шість звітів про запуски. Чому з них вірити?»

У кожному звіті рівно одна пастка з курсу, а в одному їх немає зовсім. Оберіть, що з ним не так. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося.

Звіт 1

Нова сторінка оплати · запуск 20 жовтнялистопад
Жовтень41 000 замовлень Листопад55 000 замовлень
+34%замовлень після запуску

Висновок звіту: нова оплата дала +34% замовлень. Торік з жовтня на листопад замовлення виросли на 31%: у листопаді «чорна п'ятниця».

«До і після» змішало фічу з сезоном (розділ 4). Торік листопад без жодної нової оплати дав +31%, тож на фічу лишається хіба кілька відсотків, і то якщо того листопада не було інших змін.

Звіт 2

Інтеграція з CRM · B2B-сервісза 2 роки
З інтеграцієюплатять у середньому 19 місяців Без неїплатять у середньому 7 місяців
×2,7 часу з нами1 800 клієнтів з інтеграцією з 9 000

Висновок звіту: інтеграція утримує клієнтів. Пропозиція: зробити її обов'язковим кроком реєстрації.

Самовідбір (розділ 1): інтеграцію налаштовують компанії, які вже вирішили працювати з сервісом довго. До того ж клієнт, який пробув 19 місяців, мав більше часу її підключити. Якщо зробити її обов'язковою, ці люди не стануть такими самими.

Звіт 3

Кнопка «Купити в 1 клік»місяць після запуску
В 1 клік30% усіх замовлень Звичайно70% усіх замовлень
+30% замовлень«нові» замовлення через кнопку

Усього замовлень на місяць: 41 200 до запуску, 42 000 після. Сезон і реклама ті самі.

Каннібалізація (розділ 13): більшість замовлень в 1 клік люди зробили б і звичайним шляхом. Усього замовлень стало на 2% більше, а не на 30%. Кнопка може бути корисною, але її внесок — ці 2%, і то якщо більше нічого не змінилося.

Звіт 4

Нові фільтри пошуку · запуск хвилями3 хвилі
Хвиліпорядок країн обрано жеребом Утримання+1,4…+1,7 п.п. у кожній хвилі
+1,5 п.п.різниця різниць, 95% інтервал від +0,9 до +2,1

Країни, які ще чекали своєї хвилі, за ті самі місяці змінилися на −0,2…+0,3 п.п. До запуску утримання всіх країн рухалося паралельно. Метрика — утримання на 30-й день усіх користувачів країни.

Можна вірити. Тут пастки немає: порядок хвиль обрано жеребом (розділ 6), контроль — країни, які ще чекали, лінії до запуску паралельні (розділ 7), ефект повторюється в кожній хвилі, а метрика рахує всіх користувачів країни, а не лише тих, хто скористався фільтрами (розділ 1).

Звіт 5

Новий онбординг · терміновий релізтиждень після
Тиждень доактивація 31%, найнижче за рік Тиждень післяактивація 36%
+5 п.п.активації за тиждень

Зазвичай тижнева активація 35–37%. Онбординг переробили за три дні після того, як побачили 31%.

Повернення до середнього (розділ 5): реліз зробили одразу після найгіршого тижня, і 36% — це звичайний рівень 35–37%. Новий онбординг поки нічого не довів; чесно було б порівняти з нормою і лишити частину нових людей на старому онбордингу.

Звіт 6

Пуш-нагадування «Нові оголошення для вас»місяць після
ДоDAU/MAU 20% ПісляDAU/MAU 30%
Залученість +50%за DAU/MAU

Контакти з продавцями на 100 користувачів за тиждень: 12,0 → 12,1. Видалення застосунку: 2,0% → 2,8% на місяць. Пуші отримують усі.

Метрику легко зрушити без користі (розділ 3): пуш приводить людей у застосунок, і DAU росте сам. Головна метрика, контакти з продавцями, не змінилася, а guardrail, видалення застосунку, погіршився. Це не перемога.

А тепер звіт із початку курсу

Звіт: фіча «Збережені пошуки»3 місяці після запуску
З фічеюутримання на 30-й день 63% Рештаутримання на 30-й день 32%
Утримання ×221 500 користувачів фічі з 100 000

Вердикт: про ефект фічі цей звіт нічого не каже. Спливне вікно поки не запускати.

  • 63% проти 32% — рівно те, що дала кнопка, яка нічого не робить, у розділі 1: 21,5% користувачів, здебільшого активних, проти решти. Така різниця з'являється й без жодного ефекту.
  • Спливне вікно підніме частку тих, хто спробував, але не тих, кому фіча потрібна (розділ 2), і не утримання всіх.
  • Що зробити: порахувати утримання цих самих людей до запуску; якщо фічу запускали хвилями — різницю різниць між хвилями (розділ 6, 7); а для рішення про вікно — тест вікна з контрольною групою, яка його не бачить (розділ 11, 15).
✓

Перш ніж сказати, що фіча спрацювала

Ті самі питання у вигляді анкети, яка видає ризики і метод оцінки для вашого запуску, — на сторінці «Чи можна довіряти цьому впливу?». Її зручно відкривати перед кожним звітом і надсилати колегам.

З чим порівнюємо

  1. Не «з фічею проти без»: ці люди відрізнялися ще до запуску.
  2. Не лише «до і після»: торішній період і календар змін перевірено.
  3. Не від найгіршого тижня, а від нормального рівня до падіння.
  4. Є група без фічі в той самий час: хвиля, країна, платформа, контрольна група.
  5. Лінії до запуску паралельні, і ефект порахований як різниця різниць.

Що рахуємо

  1. Частка тих, хто спробував, — не успіх: дивимось, хто повернувся і лишився.
  2. Одна головна метрика користі і guardrails обрані до запуску; DAU і хвилини лише допоміжні.
  3. Ціле, а не лічильник фічі: усі замовлення, усі відповіді.
  4. Утримання за когортами, а не всіх активних разом.
  5. Склад не змінився: пристрої, джерела, нові й давні; інакше порівнюємо групи з групами.

Перш ніж звітувати

  1. Поріг чесний: біля нього з обох боків приблизно порівну людей, і ефект стосується лише їх.
  2. Підбір схожих — верхня межа, а не ефект; найкраща змінна — та сама метрика до запуску.
  3. Похибку названо: контрольна група досить велика, щоб побачити ефект, який нас цікавить.
  4. Велике рішення — через експеримент: якщо від ефекту залежать гроші чи дорожня карта, тест хоча б дешевий.

Кінець курсу

Чи працює фіча? Вплив без експериментуmathparadoxes.com

Знаєте колегу, який теж пише звіти після запусків? Надішліть йому курс: він почне з того самого питання про «утримання ×2».

Що далі