Інтернет-магазин має 250 купонів на знижку і модель, яка безпомилково знає, хто з відвідувачів найімовірніше купить. Купони йдуть 250 найкращим кандидатам. Скільки додаткових покупок це дасть порівняно з днем без купонів? Зафіксуйте відповідь, а потім зіграйте проти двох ботів, подивіться на симуляцію і пояснення.
Найімовірніші покупці купили б і без знижки, а частину з них купон дратує. Тому 250 купонів «найкращим» дають −22,5 покупки, а ті самі купони тим, на кого вони діють, дають +61. Як навчитися бачити різницю, показують гра, симуляція і пояснення нижче.
Купон на знижку з'являється у спливному вікні сайту. Одних він підштовхує купити, іншим байдужий, а дехто, побачивши ще одне вікно з «вигідною пропозицією», просто закриває вкладку.
За день на сайт заходить 1000 людей чотирьох типів. Тип людини на чолі не написаний, але поводиться вона так:
Відсотки означають шанс купити. «Краще не будити» — люди, яких зайве вікно з купоном дратує: вони йдуть або згадують, що давно хотіли відписатися.
Аналітики навчили модель «хто купить». Вона ідеальна: для кожного відвідувача точно знає його шанс купити без купона. Тип людини вона не бачить, лише цей шанс.
Купонів 250. Їх отримують 250 відвідувачів із найбільшим шансом купити за оцінкою моделі.
Скільки додаткових покупок дадуть ці 250 купонів порівняно з днем, коли купонів немає зовсім?
«Модель ідеальна, купони отримують найкращі клієнти. Покупок точно побільшає»
Насправді 250 найімовірніших покупців — це 100 «і так куплять» (90%) і 150 «краще не будити» (40%). Першим купон нічого не дає, другим знижує шанс з 40% до 25%. Разом 150 × (−0,15) = −22,5 покупки.
Без купонів магазин має 177 покупок на день. Купони отримують 250 відвідувачів, яких модель вважає найімовірнішими покупцями. Порівняно з днем без купонів покупок буде:
Оберіть відповідь. Тут з'явиться точний розрахунок і симуляція 2 000 днів магазину.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Купон корисний не там, де людина купить, а там, де вона купить завдяки купону. Для кожного типу порівняйте шанс без купона і з купоном.
Хто ці 250 найімовірніших покупців? Візьміть типи за спаданням шансу купити без купона і набирайте людей, доки не наберете 250.
Порахуйте, що купон робить з кожним, хто потрапив у ці 250: скільки покупок додається або зникає на кожну сотню таких людей?
Перед вами 24 відвідувачі того самого магазину. Типу ви не бачите, лише підказки з їхньої історії, і підказки ці шумні. Роздайте купони, а потім відкрийте паралельний всесвіт: кожна картка покаже, що людина зробила б без купона і з ним. Два боти грають ту саму роздачу: модель «хто купить» дає купони тим, хто найімовірніше купить, а uplift-бот тим, на кого купон найімовірніше подіє.
| Без везіння | Знижок тим, хто купив би й так |
|---|
Той самий магазин на 1000 відвідувачів. Графік показує, скільки додаткових покупок дає перша сотня, дві сотні і так далі аж до тисячі купонів, якщо роздавати їх за трьома рейтингами: моделі «хто купить», uplift-рейтингу (кому купон допомагає найбільше) і навмання. Лінії пораховано точно, точки беруться із симуляції.
Модель «хто купить» відповідає на питання «що людина зробить?». Купон ставить інше питання: «що зміниться, якщо дати купон?». Відповіді на них різні, а часто й протилежні.
Шар «На пальцях» приховано на всіх задачах.
Людина, яка купує в 90% випадків, купить і без знижки. Купон їй нічого не додає, лише зменшує виручку на розмір знижки. Модель «хто купить» ставить таких людей першими, бо вони справді найімовірніші покупці. Але купон потрібен не тим, хто купить, а тим, хто купить завдяки купону. Ця картка пояснює лише, чому купони пропадають даремно; чому покупок стає навіть менше, розповідає наступна.
Після 100 «і так куплять» модель бере наступних за шансом: це «краще не будити» з їхніми 40%. Переконувані з 10% і «не куплять» з 2% для моделі виглядають безнадійними, тож до них черга не доходить.
Для сплячих собак купон шкодить: шанс падає з 40% до 25%. Зі 150 таких людей без купона купили б 60, з купоном 37,5. Ось звідки −22,5. Англійський вислів «let sleeping dogs lie» означає «не чіпай, поки спокійно».
Модель в умові досконала: кожен її прогноз «хто купить» правильний. Кращою моделлю тут нічого не виправити. Помилка в постановці задачі: вибирати людей за шансом купити, коли справа в тому, наскільки цей шанс зміниться.
Різницю між «з купоном» і «без купона» називають uplift, приростом. У переконуваних він +40 пунктів, у «не куплять» +1, у «і так куплять» 0, у сплячих собак −15.
У грі ви бачили обидва світи, у житті так не буває: людина або отримала купон, або ні. Тому приріст для однієї людини виміряти неможливо. Зате можна для групи: частині схожих відвідувачів купон дають, частині навмання не дають, і різниця між групами показує, що зробив купон.
Шар «Строго» приховано на всіх задачах.
| Тип | Людей | Без купона | З купоном | Приріст на 100 купонів |
|---|
Модель сортує за стовпчиком «без купона»: 90%, 40%, 10%, 2%. Uplift-рейтинг сортує за останнім стовпчиком: +40, +1, 0, −15. Перші 250 купонів моделі йдуть у рядки «і так куплять» і «краще не будити», де приріст 0 і −15. Перші 250 купонів uplift-рейтингу йдуть 150 переконуваним і 100 людям «не куплять»: 60 + 1 = +61.
Приріст визначають так: шанс купити з купоном мінус шанс купити без нього. Для однієї людини доступна лише одна з двох частин. Вихід — рандомізований експеримент: серед відвідувачів з однаковими ознаками половині навмання дають купон, половині ні. Навмання означає, що групи в середньому однакові в усьому, крім купона, тож різниця частки покупок між ними і є приростом.
Це той самий A/B-тест, лише результат розбивають за ознаками людей: кому купон допоміг, кому ні, кому зашкодив. Про те, скільки шуму в такому порівнянні, розповідає сторінка «Дві однакові сторінки». Моделі «хто купить» контрольна група не потрібна, тому її і будують частіше.
| Підказки | Частка | Переконуваних зі 100 | Сплячих собак зі 100 | Купить без купона | Приріст на 100 купонів |
|---|
Вісім найчастіших наборів підказок у грі. Серед 100 відвідувачів із тим самим набором стільки людей кожного типу, а шанс купити і приріст — середні для такої сотні. «Щотижня» піднімає шанс купити, але без «кошика» робить приріст від'ємним: серед таких людей багато сплячих собак. Найкраща ознака для купона — «кошик» без інших підказок. Модель «хто купить» бере верхні рядки за стовпчиком «купить без купона», uplift-бот за останнім.
Уздовж осі — частка людей, які отримали купон, угору — сумарний приріст покупок. Пряма «навмання» з'єднує нуль і результат купонів для всіх. Що вище крива над цією прямою, то краще модель знаходить тих, на кого купон діє. Площу між кривою і прямою називають Qini.
Приріст для людей з ознаками x: різниця двох шансів, які для однієї людини не спостерігаються разом.
250 купонів моделі «хто купить»: 100 людей з приростом 0 і 150 з приростом −0,15.
Підказки в грі: ймовірність типу k за набором підказок c (формула Баєса; кожна підказка з'являється незалежно з імовірністю, що залежить від типу).
Qini: площа між кривою приросту G і прямою навмання, x — частка людей з купоном.
Шар «Глибше» приховано на всіх задачах.
1986 року статистик Пол Голланд у статті «Statistics and Causal Inference» (Journal of the American Statistical Association) дав цій перешкоді назву. Щоб знати, що купон зробив з конкретною людиною, треба побачити її результат з купоном і без нього, а це неможливо: людина проживає лише один варіант. Голланд назвав це фундаментальною проблемою причинного висновку.
Він же показав статистичне рішення: замість ефекту для однієї людини оцінювати середній ефект для групи, порівнюючи групи, які утворено навмання. Uplift-моделі роблять саме це, лише для кожної комбінації ознак окремо.
1999 року Ніколас Редкліфф і Патрік Серрі на конференції з кредитного скорингу в Единбурзі описали «аналіз диференційного відгуку»: моделювати не відгук на розсилку, а різницю між відгуком тих, хто її отримав, і контрольної групи. Пізніше вони ж назвали це uplift-моделюванням.
2002 року Віктор Ло в журналі SIGKDD Explorations запропонував «модель справжнього приросту» (true lift): одна регресія на даних обох груп, де ознака «отримав розсилку» входить і окремо, і в добутках з іншими ознаками. 2007 року Редкліфф описав криву приросту і міру Qini для порівняння таких моделей.
Що буде, якщо рахувати не покупки, а гроші; чому та сама логіка стоїть за контрольною групою; і де сплячі собаки кусаються в реальних компаніях.
| Кому купони | Купонів | Додаткових покупок | Прибуток |
|---|
Той самий магазин на 1000 відвідувачів. Кожна покупка дає 100 грн прибутку, купон дає знижку 20 грн кожному, хто ним скористався. Прибуток рахуємо порівняно з днем без купонів.
У статистиці приріст називають умовним середнім ефектом втручання (CATE): середня різниця між «з купоном» і «без купона» серед людей з однаковими ознаками. Найпростіше його оцінити двома моделями: одна вчиться шансу купити на тих, хто отримав купон, друга на контрольній групі, а прогнози віднімають. Так само рахував uplift-бот у грі.
Коли знижка коштує грошей, критерій знову змінюється: купон вигідний, якщо 100 грн × приріст більше за 20 грн × шанс купити з купоном. Переконуваним купон дає +30 грн на людину, а «і так купить» −18 грн: вони купують, але зі знижкою. Тому купони всім 1000 відвідувачам додають 43,5 покупки і водночас втрачають 60 грн. На цьому побудовано рівень 3 у грі.
Питання «чи допоміг купон?» насправді порівнює два світи: той, де людина отримала купон, і той, де ні. Другого світу ніхто не бачить, його можна лише відтворити в середньому за допомогою схожих людей, які купона навмання не отримали. Контрольна група і є позиченим другим світом.
Без неї легко приписати купону покупки, які сталися б і так: «купон отримали 250 людей, 127 із них купили, отже купон працює». Насправді без купона з цих 250 купили б 150. Та сама пастка — у звичці оцінювати рекламу, ліки чи навчання за тими, хто їх отримав, не дивлячись на тих, хто ні. Як влаштувати чесне порівняння, розповідає сторінка про A/B-тест.
Спливні вікна зі знижкою — щоденна версія задачі: найлегше показувати їх тим, хто вже поклав товар у кошик, і саме ці люди часто купили б без знижки.
Найвідоміші сплячі собаки — в утриманні клієнтів. Мобільний оператор дзвонить клієнтам з найвищим ризиком піти, і дзвінок нагадує, що контракт закінчився і можна йти. Редкліфф і Серрі (2011) описують кампанію утримання, після якої відтік зріс з 9% до 10%. Uplift-модель знайшла 30% клієнтів, на яких дзвінок справді діяв; кампанія лише для них знизила відтік до менш ніж 8% і коштувала на 70% менше.
Те саме у виборчих кампаніях. Штаб Барака Обами 2012 року, за розповіддю журналіста Саші Ісенберга (MIT Technology Review), рахував для виборців «оцінку переконуваності» від 0 до 10: наскільки ймовірно, що розмова з волонтером схилить людину на бік кандидата. Організатори прямо попереджали, що розмова може й зашкодити кандидатові.
US Bank розсилав клієнтам паперові листи з пропозицією дорогого продукту. Лист усім був вигідним. Лист 30% клієнтів, яких обрала модель відгуку, дав майже рівно нуль додаткових продажів: модель знайшла тих, хто купив би й так. Uplift-модель вибрала інші 30%, і вони дали 90% усього приросту від розсилки всім.
Пол Голланд у своїй статті пише «Fundamental Problem of Causal Inference» з великих літер і виділяє її як окреме твердження: неможливо спостерігати обидва результати на одному об'єкті, а отже, неможливо спостерігати й сам ефект.
Перша робота Редкліффа і Серрі про модель приросту прозвучала не на конференції з маркетингу, а на «Credit Scoring and Credit Control VI» в Единбурзькому університеті. Тоді метод звався «differential response analysis».
Віктор Ло назвав свій підхід «true lift model». Відтоді ту саму ідею звуть uplift, net lift, incremental і differential response modelling, а в політиці — моделюванням переконання.
Міру Qini Редкліфф описав 2007 року як узагальнення коефіцієнта Джині: той порівнює модель відгуку з випадковим вибором через площу під кривою, а Qini робить те саме для кривої приросту.
У березні 2008 року аналітик Кевін Гіллстром виклав дані тесту розсилок на 64 000 клієнтів: третина навмання отримала лист про чоловічі товари, третина про жіночі, а третина нічого. Ці дані досі є стандартним навчальним прикладом uplift-моделювання.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Шкільна математика» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.