Такий звіт приходить щокварталу: чотири рядки і чотири рішення. Кожне число в ньому правдиве, і кожне може завести не туди. Курс учить ставити звіту кілька простих питань. Перша частина про те, як читати самі числа: середні, рейтинги, порівняння груп. Друга про те, хто потрапив у дані, а кого там немає. Третя про висновки: причина це чи збіг, кому зарахувати продаж, скільки тривог справжні і чи не вигадані самі числа. Наприкінці іспит із шести звітів і вердикт для цього.
≈ 1–1,5 години, можна частинами по 10 хвилин; прогрес зберігається.
Цей курс про дані, які просто збираються: звіти, опитування, когорти. Про експерименти є окремий курс, «Парадокси A/B-тестування».
Пройдено 0 з 13 розділівЗадач з каталогу розв'язано: 0 з 9
Сума всіх значень, поділена на їхню кількість. Одне дуже велике значення помітно його зсуває (розділ 1).
Медіана
Значення посередині, якщо всі вишикувати від меншого до більшого: половина менша, половина більша.
Конверсія
Частка відвідувачів, які купили: 50 покупок на 1 000 відвідувачів — це 5%.
Вибірка
Ті, кого виміряли чи опитали, на відміну від усіх, про кого хочемо дізнатися.
Частка відповідей
Скільки запрошених справді відповіли на опитування (розділ 5).
Когорта
Клієнти, які прийшли в один період, наприклад у січні. За когортою видно, хто лишився, а хто пішов (розділ 6).
Кореляція
Два числа змінюються разом. Це ще не означає, що одне спричиняє друге (розділи 7 і 9).
Атрибуція
Правило, за яким звіт роздає продажі рекламним каналам, наприклад «останній клік» (розділ 10).
ROAS
Дохід на гривню реклами: 1,3 млн грн доходу на 108 тис. грн витрат — це ROAS 12.
Хибна тривога
Фільтр спрацював, а події не було: заблоковано чесну транзакцію (розділ 11).
Частина 1 · без формул
Як читати звіт
Чотири ситуації, у яких число у звіті правдиве, а висновок із нього хибний. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці. Формул тут немає.
1
Середній чек виріс на 24%
«Середній чек виріс на 24%. Покупці стали купувати більше?»
Середнє — найпопулярніше число у звітах: сума всіх чеків, поділена на їхню кількість. Але воно дуже чутливе до одного великого чека. Медіана — це чек посередині, якщо всі чеки вишикувати від меншого до більшого: половина менша, половина більша.
У II кварталі було 1 000 замовлень із середнім чеком 2 000 грн. У III кварталі знову 1 000 замовлень, і серед них одне корпоративне на 482 000 грн. Середній чек став 2 480 грн. Що сталося з чеком звичайного покупця?
Одне замовлення на 482 000 грн дає на 480 000 грн більше за звичайний чек. Поділені на 1 000 замовлень, це +480 грн до середнього, тобто весь приріст. Решта 999 чеків у середньому ті самі 2 000 грн. Порухайте повзунок нижче.Увесь приріст дає одне замовлення: 482 000 грн — це на 480 000 грн більше за звичайний чек, а поділені на 1 000 замовлень, це +480 грн до середнього. Решта 999 чеків у середньому ті самі 2 000 грн. Порухайте повзунок нижче.
1 000 чеків III кварталу
середнємедіана
Середній чек–
Медіана–
Середнє без найбільшого–
Чеки майже ніколи не розподілені симетрично: багато невеликих і кілька великих. Тому середній чек зазвичай більший за медіану навіть без корпоративних клієнтів. Так поводяться майже всі гроші й час: виторг на клієнта, зарплати, тривалість дзвінків, час доставки.
Чек звичайного покупця не виріс: медіана майже не зрушила, а середнє без найбільшого замовлення лишилося 2 000 грн. +24% — це одна угода. Про неї варто говорити окремо, як про угоду, а не як про тенденцію.
Поруч із середнім просіть медіану. Якщо вони сильно розходяться, у даних є кілька дуже великих значень.
Спитайте, яке середнє без найбільших клієнтів, наприклад без верхнього 1%.
Великі угоди показуйте окремим рядком: так видно і тенденцію, і угоду.
ІсторіяУ книжці 1954 року Даррел Хафф описує агента з нерухомості. Покупцеві він каже, що середній дохід у районі 15 000 доларів: це середнє, яке піднімають кілька мільйонерів із заміськими будинками. Через рік, коли треба переконати сусідів, що податок їм не по кишені, той самий район має «середній» дохід 3 500 доларів. Тепер це медіана. Обидва числа правдиві.Джерело: Darrell Huff, «How to Lie with Statistics» (1954), розділ 2 «The Well-Chosen Average».
«Ось топ-10 магазинів за конверсією. Поширимо їхній досвід на всю мережу?»
Рейтинги — улюблений жанр звітів: найкращі філії, найгірші менеджери, топ регіонів. Але в рейтингу за часткою (конверсією, відсотком повернень, відтоком) малі одиниці мають особливість, про яку часто забувають.
У мережі 100 магазинів, і всі однаково добрі: справжня конверсія кожного 5%. Відвідувачів у них по-різному, від 200 до 20 000 на місяць. Хто опиниться в топ-10 за конверсією місяця?
Наполовину. Малі справді займають верх, але й низ теж: їхня конверсія скаче в обидва боки. Великі магазини тримаються біля 5% і рідко бувають крайніми. Перевірте нижче.У магазину на 200 відвідувачів очікується 10 покупок, і кілька зайвих чи відсутніх покупок зсувають його конверсію до 3% чи 7%. У великого магазину 1 000 покупок, і він майже завжди близько 5%. Тож обидва краї рейтингу дістаються малим. Перевірте нижче.Малі магазини і вгорі, і внизу. У магазину на 200 відвідувачів очікується лише 10 покупок, і кілька зайвих чи відсутніх зсувають конверсію до 3% чи 7%. Великий магазин із 1 000 покупок майже завжди близько 5%. Перевірте нижче.
100 однакових магазинів, один місяць
топ-10останні 10решта
Малих у мережі–до 1 000 відвідувачів
Малих у топ-10–
Малих в останніх 10–
Що менша група, то сильніше її частка тремтить навколо справжньої. Це закон великих чисел, а типовий розмір тремтіння називають стандартною похибкою. Учетверо менше людей — і тремтіння удвічі сильніше.
І в топ-10, і в останніх 10 здебільшого найменші магазини, хоча всі магазини однакові: зазвичай 7–8 із 10, коли малих у мережі лише третина. Їхнє місце визначила кількість відвідувачів, а не якість роботи. Наступного місяця вони помінялися б місцями.
Перш ніж учитися в лідерів рейтингу, подивіться на розмір кожного. Якщо і вгорі, і внизу малі, рейтинг показує шум.
Показуйте кількість поруч із часткою, а малі одиниці оцінюйте за довший період або разом.
ІсторіяНаприкінці 1990-х у США помітили, що серед найкращих шкіл у рейтингах багато маленьких, і фонд Білла і Мелінди Гейтс став вкладати гроші в поділ великих шкіл на малі. Статистик Говард Вейнер подивився на всі 1 662 школи Пенсильванії: серед 50 найкращих за тестами п'ятого класу малих шкіл було вчетверо більше, ніж дає випадок. Але й серед 50 найгірших їх теж було забагато. 2005 року фонд відмовився від цієї стратегії.Джерело: Howard Wainer, «The Most Dangerous Equation», American Scientist 95(3), 2007.
«Найкращі менеджери I кварталу отримали премію, а в II кварталі продали менше. Премія їх розслабила?»
Результат за квартал складається з двох частин: уміння і удачі. Уміння переходить у наступний квартал, удача ні. Той, хто опинився на самому верху, найчастіше мав і те, і те. Як і в розділі 2, удача тут — це звичайний шум.
У відділі 40 менеджерів. За I квартал п'ятеро найкращих виконали план у середньому на 124%, а весь відділ — на 100%. Премій і змін у роботі не було, а уміння і удача важать приблизно порівну. Скільки ці п'ятеро покажуть у II кварталі?
Не до самого середнього: уміння справжнє, і воно лишається. Відкочується лише та частина, яку дала удача, тобто приблизно половина відриву. Перевірте нижче.Уміння переходить у II квартал, а удача ні. П'ятірка потрапила на верх здебільшого тому, що мала і вміння, і удачу, тож у II кварталі в середньому повертається на пів шляху до середнього: зі 124% до 112%. Це регресія до середнього. Перевірте нижче.Уміння лишається, а удача ні. П'ятірка потрапила на верх здебільшого тому, що мала і вміння, і удачу, тож у II кварталі вона в середньому повертається на пів шляху до середнього: зі 124% до 112%. Це регресія до середнього. Перевірте нижче.
40 менеджерів, два квартали
топ-5 за I кварталостанні 5 за I кварталрешта
Топ-5: I квартал–
Ті самі п'ятеро: II квартал–
Останні 5: I → II–
Найгірші п'ятеро так само «покращуються» без жодних зусиль. Якщо саме тоді їх відправили на тренінг, тренінг здаватиметься чудовим. Будь-яка дія з тими, хто щойно показав крайній результат (премія, догана, коучинг, нова система), здаватиметься сильнішою чи слабшою, ніж вона є. Помітити це можна лише порівнянням із такою самою групою, з якою нічого не робили.
П'ятірка найкращих у II кварталі в середньому опускається на пів шляху до середнього, а п'ятірка найгірших на стільки ж піднімається. Премія тут ні до чого: коли удача важить половину, так стається без жодних премій. Що більше удачі, то сильніший відкат.
Ефект премії, тренінгу чи програми для «найгірших» оцінюйте проти такої самої групи без неї: регресія діє на обидві.
Найкращих обирайте за кілька кварталів, а не за один: за кілька кварталів удача частково зрівнюється.
ІсторіяДаніель Канеман розповідає про інструктора ізраїльських військових льотчиків. Той був певен, що похвала шкодить: курсант, якого похвалили за чудове виконання фігури, наступного разу літає гірше, а той, на кого накричали, краще. Канеман пояснив, що інструктор бачить регресію до середнього: після надзвичайно вдалої спроби наступна майже завжди ближча до звичайної, хоч що кажи.Джерело: Daniel Kahneman, «Thinking, Fast and Slow» (2011), розділ 17. Українською: «Мислення швидке й повільне».
«Конверсія партнерського каналу 4,8%, контекстної реклами 8,5%. Скорочуємо партнерів?»
Загальна конверсія каналу — це середнє за різними відвідувачами. Нові купують рідко, постійні часто. Якщо в одному каналі майже всі нові, а в другому майже всі постійні, загальні числа порівнюють не канали, а склад їхнього трафіку.
Партнерський канал має конверсію 4,8%, контекстна реклама 8,5%, у кожного по 5 000 відвідувачів. Чи може партнерський канал бути кращим і серед нових, і серед постійних відвідувачів?
Партнери приводять 80% нових відвідувачів, реклама лише 20%. У кожній групі партнери кращі: 3% проти 2,5% серед нових і 12% проти 10% серед постійних. Але нові купують рідко, і саме їх у партнерів більшість. Це парадокс Сімпсона. Порухайте склад трафіку нижче.Може, і в обох групах одразу. Партнери приводять 80% нових відвідувачів, реклама лише 20%. Серед нових партнери кращі (3% проти 2,5%), серед постійних теж (12% проти 10%), але нові купують рідко, і саме їх у партнерів більшість. Це парадокс Сімпсона. Порухайте склад трафіку нижче.
Два канали по 5 000 відвідувачів
Партнерський канал кращий в обох групах. Загальна конверсія нижча лише тому, що він приводить нових людей, а вони купують рідше. Скоротити його означає втратити саме нових клієнтів.
Коли групи порівнюють за однією часткою, спитайте, чи однаковий у них склад: нові і постійні, регіони, пристрої, великі і малі клієнти.
Порівнюйте в межах однакових груп, а потім окремо вирішуйте, скільки якої групи ви хочете.
ІсторіяВосени 1973 року до аспірантури Каліфорнійського університету в Берклі подали 12 763 заявки. Прийняли 44% чоловіків і 35% жінок, і це виглядало як дискримінація. Але всередині факультетів жінок не приймали гірше, а загалом навіть трохи краще. Жінки частіше подавалися на факультети, куди важко вступити будь-кому, з довгою чергою на кожне місце.Джерело: P. J. Bickel, E. A. Hammel, J. W. O'Connell, «Sex Bias in Graduate Admissions: Data from Berkeley», Science 187, 1975.
Що ви вже вмієтеВи відрізняєте тенденцію від одного великого клієнта (1), бачите шум у рейтингах малих одиниць (2), не плутаєте регресію до середнього з ефектом премії (3) і порівнюєте канали в межах однакових груп (4). Досі ми вважали, що в даних є всі. Друга частина про те, хто в дані потрапив, а кого там немає.
Частина 2 · трохи чисел
Хто потрапив у дані
Звіт рахує лише тих, кого бачить: хто відповів, хто лишився, хто пройшов відбір, хто прийшов у годину пік. Чотири розділи про людей, яких у даних немає, і про те, як вони змінюють висновок. Чисел трохи більше, але все рахується на пальцях.
5
92% задоволених
«92% клієнтів задоволені. Можна рапортувати?»
Опитування чує лише тих, хто відповів. Якщо задоволені відповідають охочіше за незадоволених (чи навпаки), частка серед відповідей відходить від частки серед усіх клієнтів. Така вибірка зміщена, і більша кількість відповідей тут не допомагає.
Опитування в застосунку: 92% відповідей «задоволений». Відповіли 7,6% клієнтів, і задоволені відповідають уп'ятеро охочіше за незадоволених. Скільки задоволених серед усіх клієнтів?
У відповідях на кожного незадоволеного припадає 11,5 задоволених (92 : 8). Але задоволені відповідають уп'ятеро охочіше, тож серед усіх клієнтів їх лише 2,3 на одного незадоволеного: 70% проти 30%. Перевірте нижче і спробуйте збільшити кількість клієнтів.Близько 70%. У відповідях на кожного незадоволеного припадає 11,5 задоволених (92 : 8). Задоволені відповідають уп'ятеро охочіше, тож серед усіх клієнтів їх лише 2,3 на одного незадоволеного: 70% проти 30%. Перевірте нижче і спробуйте збільшити кількість клієнтів.
Опитування, яке чує не всіх
Клієнтів
одне опитуваннясправжня частка, 70%
Відповіли–
Задоволені серед відповідей–
Задоволені серед усіх70%
Серед усіх клієнтів задоволених близько 70%, а не 92%. І жодна кількість відповідей цього не виправить: на 100 000 клієнтів опитування лише точніше показує ті самі 92%.
Поруч із результатом опитування питайте, скільки людей відповіло і чи могла сама думка вплинути на те, чи відповідати.
Звіряйте з поведінкою всіх клієнтів: повторні покупки, повернення, звернення в підтримку не залежать від того, хто захотів відповісти.
Надійніше опитати невелику випадкову вибірку з нагадуваннями, щоб відповіла більшість, ніж зібрати тисячі відповідей від охочих.
Історія1936 року журнал Literary Digest розіслав 10 мільйонів бюлетенів, отримав назад близько 2,4 мільйона і передбачив перемогу Альфа Лендона над Франкліном Рузвельтом. Рузвельт виграв у 46 штатах із 48. Джордж Ґеллап, опитавши приблизно 50 000 людей, назвав переможця правильно. Пізніший аналіз показав, що головна біда Digest була в тому, хто відповідав: прихильники Лендона охочіше надсилали бюлетені назад.Джерело: Peverill Squire, «Why the 1936 Literary Digest Poll Failed», Public Opinion Quarterly 52(1), 1988.
Глибше: скільки людей треба опитати, коли вибірка справді випадкова.
«Опитали клієнтів, які з нами рік: на ціну скаржаться лише 12%. Можна піднімати ціни?»
Опитування нинішніх клієнтів чує лише тих, хто лишився. Ті, кого щось не влаштовувало, найчастіше вже пішли і нічого не скажуть. Це помилка тих, хто вижив: у даних лишаються ті, хто пройшов відбір, і причина відбору з даних зникає.
Рік тому підписку оформили 10 000 людей. Щомісяця йде 15% тих, кому дорого, і 3% решти. Через рік на ціну скаржаться 12% тих, хто лишився. Скільки серед тих, хто прийшов рік тому, було тих, кому дорого?
Із тих, кому дорого, за 12 місяців лишається лише 14% (щомісяця лишається 85%, а 0,85 у 12-му степені — це 0,14). Із решти лишається 69%. Тож 40% на старті перетворюються на 12% серед тих, хто вижив. Ціна — головна причина, чому люди йшли, а опитування цього не бачить. Перевірте нижче.Близько 40%. Із тих, кому дорого, за 12 місяців лишається лише 14% (0,85 у 12-му степені), із решти 69%. Тож 40% на старті перетворюються на 12% серед тих, хто вижив. Ціна — головна причина, чому люди йшли, а опитування цього не бачить. Перевірте нижче.
Когорта: 10 000 підписників за рік
кому дорогорештапішли
Кому дорого серед опитаних–
Кому дорого серед тих, хто прийшов40%
Пішли через ціну–
Ціна — головна причина відтоку: 40% новачків, яким дорого, за рік скорочуються до 12% серед тих, хто лишився. Піднімати ціни за таким опитуванням означає слухати лише тих, кого ціна не відлякала.
Причини відтоку питайте в тих, хто йде: коротке питання при скасуванні, дзвінок через тиждень.
Дивіться на когорти від старту: скільки з тих, хто прийшов у січні, лишилося і хто саме пішов.
Те саме з успіхами. «Що спільного в наших найкращих клієнтів» без тих, хто пішов, показує не причину успіху, а лише тих, хто вижив.
ІсторіяІнвестиційні фонди, які погано заробляють, закриваються або зливаються з іншими і зникають зі статистики. Тому середня дохідність фондів, які «є на ринку», виглядає краще, ніж була насправді в усіх фондів. Едвін Елтон, Мартін Грубер і Крістофер Блейк простежили всі великі фонди США, що існували 1976 року, до 1993-го: якщо рахувати лише тих, хто вижив, результат фондів завищено приблизно на 0,9 процентного пункту на рік.Джерело: E. J. Elton, M. J. Gruber, C. R. Blake, «Survivor Bias and Mutual Fund Performance», Review of Financial Studies 9(4), 1996.
«У топі продажів що дорожчий товар, то вищий у нього рейтинг. Покупці вірять, що дорожче — краще. Піднімаємо ціни?»
Звіт «топ продажів» — це не всі товари, а ті, що пройшли відбір: покупці беруть товар, якщо він вартий своїх грошей. Дешевий товар може продаватися і з середнім рейтингом, а дорогий потрапить у топ, лише якщо він справді добрий.
На ринку ціна товару і його рейтинг не пов'язані. У топ продажів потрапляють товари з добрим співвідношенням ціни і якості. Що покаже звіт за топом?
Дорогий товар проходить відбір, лише якщо його рейтинг високий, а дешевий проходить і з середнім. Тож у топі дорожчі товари в середньому якісніші, хоча на ринку зв'язку немає. Це парадокс Берксона. Перевірте нижче.Покаже, що дорожчі мають вищий рейтинг. Дорогий товар проходить відбір, лише якщо його рейтинг високий, а дешевий проходить і з середнім. Зв'язок створює сам відбір. Це парадокс Берксона. Перевірте нижче.
400 товарів ринку і топ продажів
у топі продажіврешта ринку
Кореляція на ринку–
Кореляція в топі–
Рейтинг у топі: дешевша половина → дорожча–
Те саме з наймом. Якщо брати кандидатів, у яких висока сума балів за співбесіду і тестове завдання, серед найнятих ці бали здаватимуться протилежними: хто блищав на співбесіді, той слабший у тестовому. Серед усіх кандидатів такого зв'язку може не бути зовсім.
У топі продажів дорожчі товари мають вищий рейтинг, хоча на ринку ціна і рейтинг не пов'язані. Зв'язок створив сам відбір, тож піднімати ціну в надії на «дорожче — краще» за цим звітом не можна. Що суворіший відбір, то сильніший фальшивий зв'язок.
Зв'язок у відібраній групі (топ продажів, найняті кандидати, клієнти, що дійшли до оплати) нічого не каже про зв'язок у всіх. Спитайте, за якою ознакою групу відібрали.
Якщо відбір залежить від обох ознак, які ви порівнюєте, зв'язок майже гарантовано з'явиться.
«Середня завантаженість залу 30%. Чому клієнти скаржаться на тісняву?»
Тут є два різні середні. Одне рахують по годинах: скільки людей у залі в середню годину. Друге — по людях: скільки людей навколо себе бачить середній відвідувач. Друге майже завжди більше, бо в людні години приходить більше тих, хто це бачить.
Зал на 100 людей працює 16 годин на день. За даними турнікетів, у середню годину в залі 30 людей. Більшість приходить увечері. Скільки людей навколо себе бачить середній відвідувач?
Година, коли в залі 80 людей, — це 80 відвідувачів, які бачать натовп. Година з 8 людьми — лише 8 тих, хто бачить порожній зал. Тому середнє по відвідувачах зважене людністю, і воно виходить близько 50, а не 30. Перевірте нижче.Близько 50. Година, коли в залі 80 людей, — це 80 відвідувачів, які бачать натовп, а година з 8 людьми — лише 8 тих, хто бачить порожній зал. Середнє по відвідувачах зважене людністю. Перевірте нижче.
Один день залу на 100 людей
середнє по годинахсереднє по відвідувачах
Людей у середню годину–
Бачить середній відвідувач–
Відвідувачів у години пік–коли в залі 60 людей і більше
Середній відвідувач бачить навколо близько 50 людей, а не 30. Обидва числа правдиві: перше про зал, друге про клієнтів. Скарги рахують друге. Перенесення людей із піку зменшує друге число, а перше лишається тим самим.
Перш ніж відповідати на скарги звітом, спитайте: середнє по чому? По годинах, по групах, по вебінарах — чи по людях.
Те саме з розміром груп і команд: середня група на курсі менша, ніж група, у якій навчається середній студент. Середнє очікування по годинах коротше за очікування середнього клієнта, бо довга черга буває саме тоді, коли клієнтів найбільше.
ІсторіяСоціологи Скотт Фелд і Бернард Грофман показали це на розкладі занять одного університету: середня група в розкладі виявилася набагато меншою, ніж група, у якій сидить середній студент. У великих потокових аудиторіях мало груп, але багато студентів, і саме вони дають «студентське» середнє. Університет у рекламі і студент у залі чесно називають різні числа.Джерело: S. L. Feld, B. Grofman, «Variation in Class Size, the Class Size Paradox, and Some Consequences for Students», Research in Higher Education 6(3), 1977.
Глибше: дві задачі з каталогу про те саме зважування.
Що ви вже вмієтеВи питаєте, хто відповів на опитування (5), хто пішов до моменту вимірювання (6), за якою ознакою відібрано групу (7) і по чому пораховано середнє (8). Третя частина про висновки: коли зв'язок означає причину, кому зарахувати продаж, скільки тривог справжні і чи можна вірити самим числам.
Частина 3 · трохи складніше
Що з чого випливає
Найдорожчі помилки стаються не тоді, коли число неправильне, а коли з правильного числа роблять неправильний висновок. Тут знадобляться частки від часток і трохи умовної ймовірності, але калькулятори рахують за вас.
«Клієнти із застосунком витрачають у 2,3 раза більше. Даймо бонус 500 грн кожному, хто його встановить?»
Коли два числа ходять разом, це кореляція. Але вона не каже, хто кого штовхає. Застосунок частіше ставлять ті, хто й так часто купує: постійним клієнтам він зручніший. Тоді і застосунок, і великі витрати мають одну причину, лояльність. Це той самий склад груп, що й у розділі 4, лише тепер він ховається за словом «завдяки».
Клієнти із застосунком витрачають за квартал 4 130 грн, без застосунку 1 810 грн. Застосунок частіше встановлюють постійні клієнти. Скільки за квартал додасть один новий користувач застосунку?
Цього звіт теж не каже. Застосунок може трохи допомагати, і в нашій моделі він додає 5% витрат. Біда в тому, що звіт не відділяє цей ефект від того, хто застосунок ставить. Перевірте нижче.Різниця в 2,3 раза змішує дві речі: що дає сам застосунок і хто його ставить. У нашій моделі застосунок додає лише 5% витрат, а решта різниці — це постійні клієнти, які його частіше встановлюють. Новий користувач принесе близько 90 грн за квартал, а не 2 300. Перевірте нижче.Звіт цього не каже. Різниця в 2,3 раза змішує дві речі: що дає сам застосунок і хто його ставить. У нашій моделі застосунок додає лише 5% витрат, і новий користувач принесе близько 90 грн за квартал. Перевірте нижче.
Витрати за квартал, із застосунком і без
У звіті: із застосунком / без–
Додасть новий користувач–за квартал
Бонус 500 грн окупиться за–
Модель проста: 30% постійних клієнтів витрачають 5 000 грн за квартал, 70% випадкових — 1 200 грн. Застосунок встановили 60% постійних і 10% випадкових. Навіть коли застосунок не дає нічого, звіт показує різницю в 2,2 раза.
Новий користувач застосунку додасть близько 90 грн за квартал. Бонус 500 грн окупиться приблизно за п'ять з половиною кварталів, якщо взагалі окупиться: 2,3 раза — це передусім портрет тих, хто ставить застосунок, а не те, що він дає.
Як дізнатися справжній ефект? Запропонувати бонус випадковій половині клієнтів і порівняти дві половини. Випадковий поділ робить групи однаковими за складом, тож різниця між ними — ефект бонусу. Це A/B-тест, і про його власні пастки є окремий курс, «Парадокси A/B-тестування».
А як оцінити вплив нової функції продукту, коли експеримент провести не можна, розповість окремий курс для продуктових команд, він готується.
Почувши «ті, хто робить X, мають більше Y», спитайте: хто зазвичай робить X? Чи не одна причина стоїть за обома?
Розбийте на однорідні групи. Якщо всередині груп різниця тане, її давав склад, як у розділі 4.
Причину надійно перевіряє лише експеримент із випадковим поділом.
ІсторіяДесятиліттями спостереження показували, що жінки, які приймають замісну гормональну терапію після менопаузи, рідше хворіють на серце: у великому дослідженні медсестер ризик був на 44% нижчий. Рандомізоване дослідження Women's Health Initiative з 16 608 жінками дало протилежне: з гормонами випадків ішемічної хвороби серця на 29% більше, і дослідження зупинили достроково. Терапію обирали жінки, які й так були здоровішими.Джерело: M. J. Stampfer et al., New England Journal of Medicine 325, 1991; Writing Group for the WHI Investigators, JAMA 288(3), 2002.
Звіт атрибуції роздає продажі каналам. Найпоширеніше правило — останній клік: продаж дістається тому, на що людина клікнула останньою перед покупкою. Ретаргетинг показують тим, хто вже був на сайті, тобто тим, хто й так близький до покупки. Тож він часто стає останнім кліком перед покупкою, яка сталася б і без нього.
За місяць сайт продав 2 100 замовлень. Ретаргетингу за останнім кліком зараховано 1 300 з них. Що станеться з продажами, якщо його вимкнути?
Останній клік показує, хто був поруч із покупкою, а не хто її спричинив. У нашій моделі 2 000 людей купили б і без реклами, 1 200 з них по дорозі клікнули ретаргетинг, і лише 100 покупок реклама справді додала. Вимкніть її, і продажі впадуть приблизно на 100. Перевірте нижче.Звіт цього не каже. Останній клік показує, хто був поруч із покупкою, а не хто її спричинив. У нашій моделі 2 000 людей купили б і без реклами, 1 200 з них по дорозі клікнули ретаргетинг, і лише 100 покупок реклама справді додала. Перевірте нижче.
2 100 продажів місяця: хто кого привів
купили б і так, без клікукупили б і так, але клікнули рекламукупили через рекламу
Звіт: ROAS за останнім кліком–
Насправді: дохід на 1 грн реклами–
Зникне продажів без реклами–
Середній чек у моделі 1 000 грн, бюджет 108 000 грн. Як дізнатися справжній приріст? Контрольною групою: частині людей чи регіонів рекламу не показують зовсім, і різниця в покупках між групами показує, скільки реклама справді додала. Рекламні платформи називають це тестом приросту (lift test).
Без ретаргетингу продажі впадуть приблизно на 100, а не на 1 300. Кожна гривня реклами повертає 93 копійки доходу, ще до собівартості товару. Подвоєння бюджету тут лише подвоїть збиток.
Атрибуція ділить продажі, але не каже, скільки їх без каналу не було б. Для рішень про бюджет питайте приріст, а не атрибуцію.
Найбільше перебільшують канали, які бачать людей перед самою покупкою: ретаргетинг, рекламу за назвою бренду, купони і кешбек.
Приріст перевіряють контрольною групою, тобто людьми чи регіонами, яким рекламу не показують.
Історія2012 року eBay вимкнув рекламу за запитами зі словом «ebay» у пошуковиках Yahoo! і Bing, а в Google лишив для порівняння. Звіти показували, що ця реклама приносить чимало продажів. Але 99,5% кліків, які вона давала, прийшли й так, через безкоштовне посилання під рекламою. Окремий експеримент із випадково обраними регіонами показав, що й решта пошукової реклами eBay приносила менше, ніж коштувала.Джерело: T. Blake, C. Nosko, S. Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment», Econometrica 83(1), 2015.
11
Антифрод спрацював
«Фільтр точний на 99% і заблокував транзакцію. Отже, це шахрай?»
Точність фільтра описує, як він поводиться з шахраями і з чесними клієнтами окремо. А нас цікавить інше: скільки шахраїв серед тих, кого він заблокував. Відповідь залежить ще й від того, наскільки шахраї рідкісні.
Шахрайських транзакцій 0,1%. Фільтр ловить 99% шахраїв і помилково блокує 1% чесних транзакцій. Яка частка заблокованих транзакцій справді шахрайська?
На 100 000 транзакцій припадає 100 шахрайських, і фільтр ловить 99 з них. Але 1% із 99 900 чесних — це ще 999 тривог. Разом 1 098 заблокованих, і шахраїв серед них лише 99, тобто 9%. Перевірте нижче.Менше ніж кожна десята. На 100 000 транзакцій припадає 100 шахрайських, і фільтр ловить 99 з них. Але 1% із 99 900 чесних — це ще 999 тривог. Із 1 098 заблокованих шахраїв лише 99, тобто 9%. Перевірте нижче.
100 000 транзакцій через фільтр
шахрайчесний клієнт
Тривог–
Справжніх серед тривог–
Чесних клієнтів заблоковано–
Кожна клітинка сітки — 1% тривог. Частку справжніх серед тривог називають умовною ймовірністю: імовірність шахрайства за умови, що фільтр спрацював. Її рахує теорема Баєса, але досить уявити 100 000 транзакцій, як вище.
Лише 9% заблокованих транзакцій шахрайські: 91 з кожних 100 тривог — чесні клієнти. Точність 99% тут не рятує: шахраїв так мало, що навіть 1% помилок серед чесних перекриває всіх спійманих. Друга незалежна перевірка піднімає частку справжніх до 91%.
Про будь-який фільтр (антифрод, скоринг, прогноз відтоку, детектор спаму) питайте: скільки тривог справжні? Це залежить від того, наскільки рідкісна подія.
Після тривоги потрібна друга, незалежна перевірка, а не автоматичне блокування.
Рахуйте ціну помилок обох типів: пропущеного шахрая і заблокованого чесного клієнта.
ІсторіяНа фіналі Ліги чемпіонів у Кардіффі 2017 року поліція Південного Уельсу перевіряла натовп системою розпізнавання облич. Система дала 2 470 збігів із базою розшукуваних, і 2 297 з них, понад 9 із 10, виявилися хибними. Розшукуваних у натовпі зі 170 000 людей було дуже мало, тож навіть рідкісні помилки перекрили справжні збіги. Поліція наголосила, що через хибні збіги нікого не заарештували.Джерело: BBC News, «2,000 wrongly matched with possible criminals at Champions League», 5 травня 2018.
«Чи можна з самих сум помітити, що звіт про витрати вигаданий?»
У справжніх даних, які тягнуться на кілька порядків (рахунки, витрати, населення міст), перша цифра розподілена нерівномірно: одиниць значно більше, ніж дев'яток. Людина, яка вигадує числа, про це зазвичай не думає.
Ви взяли 10 000 справжніх рахунків постачальників, від 50 грн до 500 000 грн. Яка частка сум починається з цифри 1?
Майже 30%: це закон Бенфорда. Щоб сума, яка починається з 1, почала починатися з 2, її треба збільшити вдвічі, а від 9 до 10 досить додати 11%. Тому суми, що ростуть і множаться, довго «живуть» на одиниці і швидко проскакують дев'ятку. Перевірте нижче.Майже 30%: це закон Бенфорда. Щоб сума, яка починається з 1, почала починатися з 2, її треба збільшити вдвічі, а від 9 до 10 досить додати 11%. Тому суми, що ростуть і множаться, довго «живуть» на одиниці. Перевірте нижче.
Перші цифри 500 сум
ці 500 сумзакон Бенфорда
Починаються з 1–
Відхилення від Бенфорда–у середньому на цифру
Справжні рахунки майже точно повторюють Бенфорда: близько 30% починаються з 1 і лише 5% з 9. Вигадані навмання суми розподілені рівномірно і помітно відхиляються. Але таксі по місту теж відхиляються, хоча вони справжні: діапазон від 80 до 400 грн занадто вузький.
Перевірка Бенфорда — привід придивитися, а не доказ. Аудитори з неї починають, а не нею закінчують.
Вона працює лише для даних, що тягнуться на кілька порядків і не мають порогів чи лімітів. Ціни, тарифи, суми в межах ліміту її не проходять, і це нормально.
Ще одна ознака вигаданих сум: забагато сум трохи нижче ліміту, наприклад 4 900–4 999 грн, коли все від 5 000 грн треба погоджувати.
ІсторіяЕкономісти з Німеччини перевірили законом Бенфорда дані про дефіцит і борг, які країни Євросоюзу надсилали до Євростату. Найбільше від Бенфорда відхилялися дані Греції, яка 2009 року визнала, що занижувала дефіцит. Самі по собі цифри нічого не доводили, але вказали, куди дивитися першими.Джерело: B. Rauch, M. Göttsche, G. Brähler, S. Engel, «Fact and Fiction in EU-Governmental Economic Data», German Economic Review 12(3), 2011.
Що ви вже вмієтеВи відрізняєте зв'язок від причини (9) і приріст від атрибуції (10), рахуєте, скільки тривог справжні (11), і знаєте, як помітити вигадані суми (12). Лишився іспит: шість звітів, у п'яти з них пастка з курсу, а потім вердикт звіту з початку курсу.
Фінал
Іспит і вердикт
Усе, що було в курсі, тепер у звітах, які могли б лягти вам на стіл.
«Ось шість звітів із пропозиціями. Що з ними робити?»
У п'яти звітах по одній пастці з курсу, а один чистий. Оберіть, що робити. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося.
Звіт 1
B2B: дохід на клієнтаII квартал
Клієнтів
120
кварталом раніше 118
Дохід на клієнта
41 200 грн
+31% до I кварталу
Висновок відділу: «клієнти почали купувати більше, піднімаємо план». Серед нових клієнтів мережа «Мегабуд», її договір — 1,4 млн грн.
Подивитися медіану і дохід без «Мегабуду». Без нього решта 119 клієнтів дають у середньому 29 800 грн, менше, ніж кварталом раніше (31 450 грн). Тобто звичайні клієнти купують менше, а +31% — це одна угода (розділ 1).
Звіт 2
Програма підтримки філійII квартал
10 найгірших філій I кварталу, з коучем
+18%
Решта 70 філій
+2%
Пропозиція: найняти коучів для всіх 80 філій.
Не висновок: це може бути регресія до середнього. Філії обрали саме за тим, що вони найгірші в I кварталі, а найгірші наступного кварталу в середньому піднімаються й самі (розділ 3). Щоб оцінити коуча, треба порівняти з такими самими слабкими філіями без коуча, наприклад дати його випадковій половині з них.
Звіт 3
Безкоштовна доставка: тест4 тижні
Прибуток на клієнта, з доставкою
+4%
інтервал від +2% до +6%
Безкоштовну доставку показували випадково обраній половині клієнтів: 25 012 проти 24 988. Вартість доставки вже віднято. Пропозиція: увімкнути для всіх.
Можна діяти. Тут пастки немає: групи поділено випадково, тож склад у них однаковий (розділ 9), рахують усіх клієнтів, а не тих, хто відповів чи лишився (розділ 5), і в метрику вже входить ціна доставки. Навіть нижня межа інтервалу позитивна.
Звіт 4
Відділ продажів: конверсія дзвінківжовтень
Ольга
18,6%
800 холодних і 200 теплих дзвінків
Петро
34,0%
200 холодних і 800 теплих дзвінків
Пропозиція: передати частину Ольжиних клієнтів Петрові.
Порівняти всередині однакових груп. Ольга краща і в холодних дзвінках (12% проти 10%), і в теплих (45% проти 40%). Її загальна конверсія нижча лише тому, що їй дістаються переважно холодні дзвінки (розділ 4).
Звіт 5
Розсилка і покупкирік
Покупок на клієнта: підписані на розсилку
4,2
Покупок на клієнта: не підписані
3,0
На розсилку підписуються добровільно. Висновок: «розсилка додає 40% покупок». Пропозиція: автоматично підписати всіх клієнтів.
Перевірити причину експериментом. На розсилку підписуються ті, кому магазин і так подобається, і вони й так купують частіше (розділ 9). Надсилайте розсилку випадковій половині тих, хто не підписаний, і порівняйте покупки двох половин.
Звіт 6
Підтримка: NPSрік
NPS
72
+15 за рік
Відповіли
900
Цього року опитування надсилають після закритого звернення, якщо клієнт оцінив розмову на 4 чи 5 зірок. Висновок: «клієнти полюбили нашу підтримку».
З'ясувати, кого немає в даних. Опитування бачить лише тих, хто вже поставив 4 чи 5 зірок: незадоволені до нього просто не доходять. Зріст на 15 пунктів може бути зміною правила відбору, а не підтримки (розділ 5).
А тепер звіт із початку курсу
Звіт за III кварталдля правління
Середній чек
2 480 грн
+24% до II кварталу
Задоволені клієнти
92%
опитування в застосунку
Клієнти із застосунком витрачають
×2,3
пропозиція: бонус 500 грн за встановлення
Ретаргетинг
ROAS 12
пропозиція: подвоїти бюджет
Вердикт: усі чотири числа правдиві, і жодне з чотирьох рішень за ними ухвалювати не можна.
Середній чек: +24% дає одне корпоративне замовлення. Без нього середнє лишилося 2 000 грн, і медіана майже не зрушила (розділ 1). Угоду варто показати окремим рядком.
92% задоволених: відповіли 7,6%, і задоволені відповідають уп'ятеро охочіше. Серед усіх клієнтів задоволених близько 70% (розділ 5). Опитайте випадкову вибірку з нагадуваннями.
×2,3 із застосунком: застосунок ставлять постійні клієнти. Новий користувач додасть близько 90 грн за квартал, і бонус 500 грн не окупиться навіть за рік (розділ 9). Перевірте бонус на випадковій половині клієнтів.
ROAS 12: це атрибуція за останнім кліком. Справжній приріст у моделі — 100 продажів, 93 копійки доходу на гривню реклами (розділ 10). Перш ніж подвоювати бюджет, проведіть тест із контрольною групою.
✓
Перш ніж ухвалити рішення за звітом
Дванадцять питань, по одному з кожного розділу. Не кожне стосується кожного звіту, але кожне хоч раз урятує від дорогого рішення.