Такий звіт приходить щокварталу: чотири рядки і чотири рішення. Кожне число в ньому правдиве, і кожне може завести не туди. Курс учить ставити звіту кілька простих питань. Перша частина про те, як читати самі числа: середні, рейтинги, порівняння груп, графіки. Друга про те, хто потрапив у дані, а кого там немає. Третя про висновки: причина це чи збіг, кому зарахувати продаж, скільки тривог справжні і чи не вигадані самі числа. Наприкінці іспит із шести звітів і вердикт для цього.
≈ 1–1,5 години, можна частинами по 10 хвилин; прогрес зберігається.
Цей курс про дані, які просто збираються: звіти, опитування, когорти. Про експерименти є окремий курс, «Парадокси A/B-тестування».
Пройдено 0 з 15 розділівЗадач з каталогу розв'язано: 0 з 10
Повторіть іспит: за кілька днів пам'ять перевіряється найкраще.Звіти підуть в іншому порядку, решта курсу лишиться як була. Спроба пригадати сама зміцнює пам'ять: Roediger, Karpicke, Psychological Science 17(3), 2006.
Сума всіх значень, поділена на їхню кількість. Одне дуже велике значення помітно його зсуває (розділ 1).
Медіана
Значення посередині, якщо всі вишикувати від меншого до більшого: половина менша, половина більша.
Конверсія
Частка відвідувачів, які купили: 50 покупок на 1 000 відвідувачів — це 5%.
Вибірка
Ті, кого виміряли чи опитали, на відміну від усіх, про кого хочемо дізнатися.
Частка відповідей
Скільки запрошених справді відповіли на опитування (розділ 6).
Когорта
Клієнти, які прийшли в один період, наприклад у січні. За когортою видно, хто лишився, а хто пішов (розділ 7).
Кореляція
Два числа змінюються разом. Це ще не означає, що одне спричиняє друге (розділи 8 і 10).
Атрибуція
Правило, за яким звіт роздає продажі рекламним каналам, наприклад «останній клік» (розділ 11).
ROAS
Дохід на гривню реклами: 1,3 млн грн доходу на 108 тис. грн витрат — це ROAS 12.
Хибна тривога
Фільтр спрацював, а події не було: заблоковано чесну транзакцію (розділ 12).
Точність (accuracy)
Частка випадків, де модель не помилилася. Для рідкісних подій найвища в моделі, що нічого не робить (розділ 13).
Помилки I і II роду
Хибна тривога (чесного заблоковано) і пропуск (шахрая не помічено). Поріг міняє одну на іншу (розділ 13).
Перевірте, що вже знаєте
Три короткі звіти, по одному з кожної частини. Оберіть, що з ними робити: результат підкаже, з якої частини почати. На прогрес курсу ці відповіді не впливають.
Звіт HR: «Середня зарплата у відділі 63 800 грн, на 23% більше, ніж торік. Зарплати в команді швидко ростуть». Торік у відділі було 20 людей, цього року до них додався технічний директор з окладом 300 000 грн.
Без директора середнє ті самі 52 000 грн, що й торік: увесь «ріст» дає одна зарплата. Про це розділ 1.
Звіт про навчання: «Курс для менеджерів оцінили на 4,8 з 5. Продовжуємо на наступний рік». Анкету роздають на останньому занятті, а до нього дійшли 35% записаних.
Оцінку ставили ті, хто дійшов до кінця, тобто кому курс сподобався. Що думають 65%, які покинули, анкета не знає. Про це частина 2.
Звіт продукту: «Клієнти, які подивилися вебінар для новачків, продовжують підписку вдвічі частіше». Вебінар необов'язковий. Пропозиція: зробити його обов'язковим для всіх.
Вебінар дивляться ті, хто й так зацікавлений, і вони й так продовжують частіше. Що дає сам вебінар, покаже лише випадкова половина, якій його запропонують. Про це частина 3.
Частина 1 · без формул
Як читати звіт
П'ять ситуацій, у яких число у звіті правдиве, а висновок із нього хибний. Кожен розділ починається з питання: спершу вгадайте, потім перевірте на живій картинці. Формул тут немає.
1
Середній чек виріс на 24%
«Середній чек виріс на 24%. Покупці стали купувати більше?»
Такий рядок у квартальному звіті читається як добра новина. Перш ніж радіти, подивімося, з чого складаються ці 24%.
Середній чек — це сума всіх чеків, поділена на їхню кількість. У II кварталі магазин мав 1 000 замовлень із середнім чеком 2 000 грн.
У III кварталі замовлень знову 1 000, а середній чек 2 480 грн: звідси й +24%. Серед цих замовлень є одне незвичне. Корпоративний клієнт купив на 482 000 грн, тоді як звичайний чек тут — близько двох тисяч.
Нижче поруч із середнім буде ще одне число, медіана. Це чек посередині, якщо всі чеки вишикувати від меншого до більшого: половина менша, половина більша.
Що сталося в III кварталі з чеком звичайного покупця?
Покупці не стали купувати більше. Одне замовлення на 482 000 грн дає на 480 000 грн більше за звичайний чек. Поділені на 1 000 замовлень, це +480 грн до середнього, тобто весь приріст з 2 000 до 2 480 грн. Решта 999 чеків у середньому ті самі 2 000 грн. Порухайте повзунок нижче.Покупці не стали купувати більше: увесь приріст дає одне замовлення. 482 000 грн — це на 480 000 грн більше за звичайний чек, а поділені на 1 000 замовлень, це +480 грн до середнього, тобто весь шлях з 2 000 до 2 480 грн. Решта 999 чеків у середньому ті самі 2 000 грн. Порухайте повзунок нижче.
1 000 чеків III кварталу
середнємедіана
Середній чек–
Медіана–
Середнє без найбільшого–
Чеки майже ніколи не розподілені симетрично: багато невеликих і кілька великих. Тому середній чек зазвичай більший за медіану навіть без корпоративних клієнтів. Так поводяться майже всі гроші й час: виторг на клієнта, зарплати, тривалість дзвінків, час доставки.
Чек звичайного покупця не виріс: медіана майже не зрушила, а середнє без найбільшого замовлення лишилося 2 000 грн. +24% — це одна угода. Про неї варто говорити окремо, як про угоду, а не як про тенденцію.
Поруч із середнім просіть медіану. Якщо вони сильно розходяться, у даних є кілька дуже великих значень.
Спитайте, яке середнє без найбільших клієнтів, наприклад без верхнього 1%.
Великі угоди показуйте окремим рядком: так видно і тенденцію, і угоду.
ІсторіяУ книжці 1954 року Даррел Хафф описує агента з нерухомості. Покупцеві він каже, що середній дохід у районі 15 000 доларів: це середнє, яке піднімають кілька мільйонерів із заміськими будинками. Через рік, коли треба переконати сусідів, що податок їм не по кишені, той самий район має «середній» дохід 3 500 доларів. Тепер це медіана. Обидва числа правдиві.Джерело: Darrell Huff, «How to Lie with Statistics» (1954), розділ 2 «The Well-Chosen Average».
«Ось топ-10 магазинів за конверсією. Поширимо їхній досвід на всю мережу?»
Перш ніж їхати до лідерів по досвід, варто перевірити, що такий рейтинг узагалі здатен показати.
У мережі 100 магазинів. Конверсія — частка відвідувачів, які купили: 5 покупок на 100 відвідувачів — це 5%. Рейтинг складають за конверсією одного місяця.
Магазини дуже різні за розміром. У найменших близько 200 відвідувачів на місяць, у найбільших — майже 20 000. Малих, до 1 000 відвідувачів, третина мережі.
Щоб перевірити сам рейтинг, візьмімо випадок, де кращих і гірших немає: усі 100 магазинів працюють однаково добре, і в кожному насправді купують 5 відвідувачів зі 100.
Які магазини опиняться в топ-10 за конверсією місяця?
Наполовину. Малі справді займають верх, але й низ теж: їхня конверсія скаче в обидва боки. Великі магазини тримаються біля 5% і рідко бувають крайніми. Перевірте нижче.У магазину на 200 відвідувачів очікується 10 покупок за місяць. Чотири зайві чи відсутні покупки — і його конверсія вже 7% чи 3%. У магазину на 20 000 відвідувачів очікується 1 000 покупок, і щоб зсунутися на ті самі два пункти, йому треба 400 зайвих, тож він майже завжди близько 5%. Тому обидва краї рейтингу дістаються малим. Перевірте нижче.Малі магазини і вгорі, і внизу. У магазину на 200 відвідувачів очікується лише 10 покупок за місяць, і чотири зайві чи відсутні вже дають 7% чи 3%. Магазину на 20 000 відвідувачів для такого зсуву треба 400 зайвих покупок, тож він майже завжди близько 5%. Перевірте нижче.
100 однакових магазинів, один місяць
топ-10останні 10решта
Малих у мережі–до 1 000 відвідувачів
Малих у топ-10–
Малих в останніх 10–
Що менша група, то сильніше її частка тремтить навколо справжньої. Це закон великих чисел, а типовий розмір тремтіння називають стандартною похибкою. Учетверо менше людей — і тремтіння удвічі сильніше.
І в топ-10, і в останніх 10 здебільшого найменші магазини, хоча всі магазини однакові: зазвичай 7–8 із 10, коли малих у мережі лише третина. Їхнє місце визначила кількість відвідувачів, а не якість роботи. Наступного місяця вони помінялися б місцями.
Перш ніж учитися в лідерів рейтингу, подивіться на розмір кожного. Якщо і вгорі, і внизу малі, рейтинг показує шум.
Показуйте кількість поруч із часткою, а малі одиниці оцінюйте за довший період або разом.
ІсторіяНаприкінці 1990-х у США помітили, що серед найкращих шкіл у рейтингах багато маленьких, і фонд Білла і Мелінди Гейтс став вкладати гроші в поділ великих шкіл на малі. Статистик Говард Вейнер подивився на всі 1 662 школи Пенсильванії: серед 50 найкращих за тестами п'ятого класу малих шкіл було вчетверо більше, ніж дає випадок. Але й серед 50 найгірших їх теж було забагато. 2005 року фонд відмовився від цієї стратегії.Джерело: Howard Wainer, «The Most Dangerous Equation», American Scientist 95(3), 2007.
«Найкращі менеджери I кварталу отримали премію, а в II кварталі продали менше. Премія їх розслабила?»
Щоб звинуватити премію, треба знати, що сталося б без неї. Тож уявімо той самий відділ, де премій не платили і нічого в роботі не змінювали.
У відділі 40 менеджерів. За I квартал відділ у середньому виконав план на 100%, а п'ятеро найкращих — на 124%.
Від чого залежить результат кварталу? Частково від уміння: досвід, база клієнтів, підхід до людей. Частково від удачі: великий клієнт підписав угоду саме цього кварталу, а інший відклав її на наступний. Як і в розділі 2, удача тут — звичайний шум. Припустімо, що вміння і удача важать приблизно порівну.
Скільки ці п'ятеро покажуть у II кварталі, коли премії немає?
Не до самого середнього: уміння справжнє, і воно лишається. Відкочується лише та частина, яку дала удача, тобто приблизно половина відриву. Перевірте нижче.На самий верх зазвичай потрапляє той, кому пощастило на додачу до вміння. Тож у відриві п'ятірки на 24 пункти, коли вміння і удача важать порівну, у середньому половина від уміння, половина від удачі. Уміння переходить у II квартал, а удача ні: лишається 12 пунктів, тобто близько 112%. Це регресія до середнього, і премія тут ні до чого. Перевірте нижче.Близько 112%. На самий верх зазвичай потрапляє той, кому пощастило на додачу до вміння. У відриві п'ятірки на 24 пункти в середньому половина від уміння, половина від удачі. Уміння лишається, а удача ні, тож у II кварталі лишається 12 пунктів відриву. Це регресія до середнього. Перевірте нижче.
40 менеджерів, два квартали
топ-5 за I кварталостанні 5 за I кварталрешта
Топ-5: I квартал–
Ті самі п'ятеро: II квартал–
Останні 5: I → II–
Найгірші п'ятеро так само «покращуються» без жодних зусиль. Якщо саме тоді їх відправили на тренінг, тренінг здаватиметься чудовим. Будь-яка дія з тими, хто щойно показав крайній результат (премія, догана, коучинг, нова система), здаватиметься сильнішою чи слабшою, ніж вона є. Помітити це можна лише порівнянням із такою самою групою, з якою нічого не робили.
П'ятірка найкращих у II кварталі в середньому опускається на пів шляху до середнього, а п'ятірка найгірших на стільки ж піднімається. Премія тут ні до чого: коли удача важить половину, так стається без жодних премій. Що більше удачі, то сильніший відкат.
Ефект премії, тренінгу чи програми для «найгірших» оцінюйте проти такої самої групи без неї: регресія діє на обидві.
Найкращих обирайте за кілька кварталів, а не за один: за кілька кварталів удача частково зрівнюється.
ІсторіяДаніель Канеман розповідає про інструктора ізраїльських військових льотчиків. Той був певен, що похвала шкодить: курсант, якого похвалили за чудове виконання фігури, наступного разу літає гірше, а той, на кого накричали, краще. Канеман пояснив, що інструктор бачить регресію до середнього: після надзвичайно вдалої спроби наступна майже завжди ближча до звичайної, хоч що кажи.Джерело: Daniel Kahneman, «Thinking, Fast and Slow» (2011), розділ 17. Українською: «Мислення швидке й повільне».
Коли показник стає ціллюПремія за виконання плану має ще одну пастку, крім регресії. Економіст Чарльз Гудгарт помітив: показник, на який починають тиснути, перестає показувати те, що показував. Менеджер, якому платять за план кварталу, переносить угоди з кварталу в квартал, дає знижки наприкінці періоду чи продає те, що клієнтові не потрібно. Цифра росте, а бізнес — ні.Найвідоміший приклад — банк Wells Fargo, де співробітникам ставили цілі з кількості продуктів на клієнта. 2016 року регулятори США встановили, що працівники могли відкрити без згоди клієнтів до 1,5 млн депозитних рахунків і 565 000 кредитних карток, і оштрафували банк загалом на 185 млн доларів.Що робити: ставте поруч із цільовим показником той, який він не повинен зіпсувати (план і повернення, кількість продуктів і їх використання), і час від часу міняйте, що саме винагороджуєте. Як це виглядає з продуктовими метриками, розібрано в курсі «Чи працює фіча?».Джерело: Consumer Financial Protection Bureau, наказ щодо Wells Fargo Bank від 8 вересня 2016 року.
«Конверсія партнерського каналу 4,8%, контекстної реклами 8,5%. Скорочуємо партнерів?»
На перший погляд порівняння чесне. Кожен канал привів за місяць по 5 000 відвідувачів. З партнерами купили 240 із них, з реклами — 425.
Але відвідувачі бувають різні. Припустімо, що нові, які вперше на сайті, здебільшого придивляються і купують рідко, а постійні вже купували, знають, чого хочуть, і купують часто.
Тому аналітик перераховує конверсію кожного каналу окремо: серед нових відвідувачів і серед постійних.
Чи може партнерський канал виявитися кращим і серед нових, і серед постійних?
Партнери приводять 4 000 нових і 1 000 постійних, реклама навпаки: 1 000 нових і 4 000 постійних. У кожній групі партнери кращі: 3% проти 2,5% серед нових і 12% проти 10% серед постійних. Але в партнерів 240 покупок складаються зі 120 від нових і 120 від постійних, а в реклами 425 — переважно від постійних, яких у неї вчетверо більше. Загальні числа порівнюють склад трафіку, а не канали. Це парадокс Сімпсона. Порухайте склад трафіку нижче.Може, і в обох групах одразу. Партнери приводять 4 000 нових і 1 000 постійних, реклама навпаки. Серед нових партнери кращі (3% проти 2,5%), серед постійних теж (12% проти 10%). Але нові купують рідко, і саме їх у партнерів більшість, а в реклами вчетверо більше постійних. Загальні числа порівнюють склад трафіку, а не канали. Це парадокс Сімпсона. Порухайте склад трафіку нижче.
Два канали по 5 000 відвідувачів
Партнерський канал кращий в обох групах. Загальна конверсія нижча лише тому, що він приводить нових людей, а вони купують рідше. Скоротити його означає втратити саме нових клієнтів.
Коли групи порівнюють за однією часткою, спитайте, чи однаковий у них склад: нові і постійні, регіони, пристрої, великі і малі клієнти.
Порівнюйте в межах однакових груп, а потім окремо вирішуйте, скільки якої групи ви хочете.
ІсторіяВосени 1973 року до аспірантури Каліфорнійського університету в Берклі подали 12 763 заявки. Прийняли 44% чоловіків і 35% жінок, і це виглядало як дискримінація. Але всередині факультетів жінок не приймали гірше, а загалом навіть трохи краще. Жінки частіше подавалися на факультети, куди важко вступити будь-кому, з довгою чергою на кожне місце.Джерело: P. J. Bickel, E. A. Hammel, J. W. O'Connell, «Sex Bias in Graduate Admissions: Data from Berkeley», Science 187, 1975.
«Продажі за рік злетіли, подивіться на графік. Піднімаємо план на наступний рік?»
Цей слайд відкриває квартальну нараду: стовпчики продажів за чотири квартали 2025 року, і кожен вищий за попередній. Числа в цьому прикладі вигадані, але реалістичні.
Продажі, млн грн2025
Подивіться уважно на підписи осі ліворуч: вони дрібні, але вони є.
На скільки продажі IV кварталу більші, ніж I кварталу?
IV квартал — 10,0 млн грн, I квартал — 9,5 млн, тобто +5%. Але вісь починається не з нуля, а з 9,4 млн. Тож стовпчик I кварталу малює лише 0,1 млн, а IV кварталу 0,6 млн, і він ушестеро вищий, хоча продажі більші на 5%. Порухайте вісь нижче, а потім розширте вікно.Приблизно на 5%: 10,0 млн грн проти 9,5 млн, це видно з підписів осі. Вісь починається з 9,4 млн, тож стовпчики показують лише верхівки: 0,1 млн проти 0,6 млн, ушестеро. Порухайте вісь нижче, а потім розширте вікно.
Той самий графік, інші налаштування
Вікно
Ріст на око–останній стовпчик до першого
Ріст насправді–останній квартал до першого
IV кв. 2025 до IV кв. 2024–
Висота стовпчика і є число, тому стовпчики мають починатися з нуля. Лінійний графік показує зміну, а не величину, і може починатися не з нуля, якщо це чесно видно. Друга пастка тихіша: автор обирає, з якого кварталу почати. Продажі майже скрізь мають сезонність, і вікно, яке починається з найслабшого кварталу, покаже ріст майже завжди.
За рік продажі виросли на 5%, а не вшестеро. А вікно у 12 кварталів показує решту: IV квартал щороку найвищий, і цьогорічний на 7% нижчий, ніж торік. За весь 2025 рік продажі впали на 4%. Піднімати план за цим слайдом не можна.
Спершу читайте підписи осі, потім дивіться на висоту. Стовпчики не з нуля перемальовуйте з нуля.
Питайте, чому графік починається саме тут, і порівнюйте з тим самим кварталом торік.
Дві лінії на двох осях: масштаб кожної осі обирає автор, тож «йдуть разом» можна намалювати майже для будь-яких двох рядів.
Історія2014 року в новинах вийшов графік смертей від вогнепальної зброї у Флориді до і після закону «Stand Your Ground». Вертикальну вісь на ньому перевернули: нуль угорі. Лінія після закону йшла вниз, і читачі бачили спад, хоча за два наступні роки смертей стало приблизно на 50% більше. Карл Бергстром і Джевін Вест розбирають цей графік серед інших прикладів оманливих осей.Джерело: C. Bergstrom, J. West, «Calling Bullshit», розділ «Misleading axes on graphs», callingbullshit.org; книжка «Calling Bullshit» (2020), розділ про візуалізацію даних.
Що ви вже вмієтеВи відрізняєте тенденцію від одного великого клієнта (1), бачите шум у рейтингах малих одиниць (2), не плутаєте регресію до середнього з ефектом премії (3) порівнюєте канали в межах однакових груп (4) і читаєте підписи осей, а не висоту стовпчиків (5). Досі ми вважали, що в даних є всі. Друга частина про те, хто в дані потрапив, а кого там немає.
Дві нові ситуації на ідеї частини 1· необов'язково, нічого не блокує
Рейтинг 30 кав'ярень мережі за оцінками в застосунку. Перше місце — кав'ярня, яка відкрилася місяць тому: 9 відгуків, середня оцінка 4,9. Що це, найімовірніше, означає?
Дев'ять відгуків тремтять сильно: кілька п'ятірок поспіль — і кав'ярня вгорі, кілька трійок — і внизу. Подивіться, де вона буде, коли відгуків стане сотня (розділ 2).
На слайді стовпчики виручки двох регіонів, і стовпчик Заходу втричі вищий за стовпчик Сходу. Вісь підписана від 950 до 1 050 тис. грн, Захід — 1 040, Схід — 980. Наскільки Захід насправді попереду?
1 040 проти 980 — це +6%. Стовпчики від 950 показують лише 90 і 30, звідси «втричі» (розділ 5).
Частина 2 · трохи чисел
Хто потрапив у дані
Звіт рахує лише тих, кого бачить: хто відповів, хто лишився, хто пройшов відбір, хто прийшов у годину пік. Чотири розділи про людей, яких у даних немає, і про те, як вони змінюють висновок. Чисел трохи більше, але все рахується на пальцях.
6
92% задоволених
«92% клієнтів задоволені. Можна рапортувати?»
Число справжнє: у застосунку спливло опитування, і 92% відповідей — «задоволений». Перш ніж рапортувати, варто спитати, чиї це відповіді.
Опитування бачили всі клієнти, а відповіли 7,6% із них, приблизно кожен тринадцятий. Решта закрили вікно.
Хто відповідає охочіше? У дослідженнях опитувань задоволеності незадоволені частіше лишаються без відповіді: що вища задоволеність, то більше людей відповідають. Припустімо, що зі 100 задоволених відповідають 10, а зі 100 незадоволених лише 2, тобто задоволені відповідають уп'ятеро охочіше.
Скільки задоволених серед усіх клієнтів, а не лише серед тих, хто відповів?
Порахуймо на 10 000 клієнтів, із яких задоволені 7 000, тобто 70%. Із них відповідають 10%, це 700 людей. Із 3 000 незадоволених відповідають 2%, це 60. Разом 760 відповідей (7,6%), і 700 із них «задоволений» — ті самі 92%. Опитування чує задоволених уп'ятеро гучніше, тому 70% перетворюються на 92%. Перевірте нижче і спробуйте збільшити кількість клієнтів.Близько 70%. Порахуймо на 10 000 клієнтів, із яких задоволені 7 000. Із них відповідають 10%, це 700, а з 3 000 незадоволених 2%, це 60. Разом 760 відповідей (7,6%), і 700 із них «задоволений» — ті самі 92%. Опитування чує задоволених уп'ятеро гучніше. Перевірте нижче і спробуйте збільшити кількість клієнтів.
Опитування, яке чує не всіх
Клієнтів
одне опитуваннясправжня частка, 70%
Відповіли–
Задоволені серед відповідей–
Задоволені серед усіх70%
Серед усіх клієнтів задоволених близько 70%, а не 92%. І жодна кількість відповідей цього не виправить: на 100 000 клієнтів опитування лише точніше показує ті самі 92%.
Поруч із результатом опитування питайте, скільки людей відповіло і чи могла сама думка вплинути на те, чи відповідати.
Звіряйте з поведінкою всіх клієнтів: повторні покупки, повернення, звернення в підтримку не залежать від того, хто захотів відповісти.
Надійніше опитати невелику випадкову вибірку з нагадуваннями, щоб відповіла більшість, ніж зібрати тисячі відповідей від охочих.
Буває й навпакиОпитування, яке з'являється саме, і відгук, який людина пише сама, — різні речі. Відгуки й скарги незадоволені пишуть охочіше й довше: серед відгуків про медичні заклади на Yelp негативних майже стільки ж, скільки позитивних, і вони в середньому в півтора раза довші. Тоді картина зсувається в інший бік, і незадоволених здається більше, ніж є. Напрям зсуву залежить від того, як збирали відповіді, тож питайте не лише «скільки», а й «хто відповів».Джерела: Mazor et al., Health Services Research 37(5), 2002 (опитування задоволеності); Hu, Pavlou, Zhang, Communications of the ACM 52(10), 2009 (відгуки на краях шкали); Sehgal et al., JAMA Network Open 8(8), 2025 (1,1 млн відгуків на Yelp).
Історія1936 року журнал Literary Digest розіслав 10 мільйонів бюлетенів, отримав назад близько 2,4 мільйона і передбачив перемогу Альфа Лендона над Франкліном Рузвельтом. Рузвельт виграв у 46 штатах із 48. Джордж Ґеллап, опитавши приблизно 50 000 людей, назвав переможця правильно. Пізніший аналіз показав, що головна біда Digest була в тому, хто відповідав: прихильники Лендона охочіше надсилали бюлетені назад.Джерело: Peverill Squire, «Why the 1936 Literary Digest Poll Failed», Public Opinion Quarterly 52(1), 1988.
Глибше: скільки людей треба опитати, коли вибірка справді випадкова.
«Опитали клієнтів, які з нами рік: на ціну скаржаться лише 12%. Можна піднімати ціни?»
Опитали тих, хто з компанією рік. Щоб зрозуміти, що означають ці 12%, повернімося на рік назад, до тих, хто тоді прийшов.
Рік тому підписку оформили 10 000 людей. Одним ціна здавалася завеликою, іншим нормальною.
Відтоді щомісяця частина людей відписується. Ті, кому дорого, йдуть частіше: щомісяця 15% із них. З решти щомісяця йде лише 3%.
Через рік опитали всіх, хто лишився, і на ціну скаржаться 12% із них.
Яка частка з тих 10 000, що прийшли рік тому, вважала ціну завеликою?
Із тих, кому дорого, за 12 місяців лишається лише 14%: щомісяця лишається 85%, а 0,85 у 12-му степені — це 0,14. Із решти лишається 69%. Якщо на старті таких було 4 000 із 10 000, то через рік із них лишилося 569, а з 6 000 решти — 4 163. Разом 4 732, і 569 із них — ті самі 12%. Ціна — головна причина, чому люди йшли, але опитування чує лише тих, хто лишився. Це помилка тих, хто вижив. Перевірте нижче.Близько 40%. Із тих, кому дорого, за 12 місяців лишається лише 14% (0,85 у 12-му степені), із решти 69%. З 4 000 таких на старті лишилося 569, з 6 000 решти — 4 163, і 569 із 4 732 — ті самі 12%. Ціна — головна причина, чому люди йшли, але опитування чує лише тих, хто лишився. Це помилка тих, хто вижив. Перевірте нижче.
Когорта: 10 000 підписників за рік
кому дорогорештапішли
Кому дорого серед опитаних–
Кому дорого серед тих, хто прийшов40%
Пішли через ціну–
Ціна — головна причина відтоку: 40% новачків, яким дорого, за рік скорочуються до 12% серед тих, хто лишився. Піднімати ціни за таким опитуванням означає слухати лише тих, кого ціна не відлякала.
Причини відтоку питайте в тих, хто йде: коротке питання при скасуванні, дзвінок через тиждень.
Дивіться на когорти від старту: скільки з тих, хто прийшов у січні, лишилося і хто саме пішов.
Те саме з успіхами. «Що спільного в наших найкращих клієнтів» без тих, хто пішов, показує не причину успіху, а лише тих, хто вижив.
ІсторіяІнвестиційні фонди, які погано заробляють, закриваються або зливаються з іншими і зникають зі статистики. Тому середня дохідність фондів, які «є на ринку», виглядає краще, ніж була насправді в усіх фондів. Едвін Елтон, Мартін Грубер і Крістофер Блейк простежили всі великі фонди США, що існували 1976 року, до 1993-го: якщо рахувати лише тих, хто вижив, результат фондів завищено приблизно на 0,9 процентного пункту на рік.Джерело: E. J. Elton, M. J. Gruber, C. R. Blake, «Survivor Bias and Mutual Fund Performance», Review of Financial Studies 9(4), 1996.
«У топі продажів що дорожчий товар, то вищий у нього рейтинг. Покупці вірять, що дорожче — краще. Піднімаємо ціни?»
Зв'язок у звіті справжній. Але звіт побудовано не на всіх товарах ринку, а лише на топі продажів, тобто на тих, які покупці справді беруть.
Як товар туди потрапляє? Припустімо, що покупець дивиться і на ціну, і на рейтинг і бере те, що варте своїх грошей. Тоді в топ продажів потрапляють товари з добрим співвідношенням ціни і якості.
Чи каже такий звіт щось про віру покупців у «дорожче — краще»? Перевірмо на ринку, де ціна і рейтинг не пов'язані зовсім: серед усіх 400 товарів дорогі оцінені в середньому так само, як дешеві.
Що покаже звіт, побудований лише на топі продажів?
Дорогий товар проходить відбір, лише якщо його рейтинг високий, а дешевий проходить і з середнім. Тож у топі дорожчі товари в середньому якісніші, хоча на ринку зв'язку немає. Це парадокс Берксона. Перевірте нижче.Покаже, що дорожчі мають вищий рейтинг. Дорогий товар проходить відбір, лише якщо його рейтинг високий, а дешевий проходить і з середнім. Зв'язок створює сам відбір. Це парадокс Берксона. Перевірте нижче.
400 товарів ринку і топ продажів
у топі продажіврешта ринку
Кореляція на ринку–
Кореляція в топі–
Рейтинг у топі: дешевша половина → дорожча–
Те саме з наймом. Якщо брати кандидатів, у яких висока сума балів за співбесіду і тестове завдання, серед найнятих ці бали здаватимуться протилежними: хто блищав на співбесіді, той слабший у тестовому. Серед усіх кандидатів такого зв'язку може не бути зовсім.
У топі продажів дорожчі товари мають вищий рейтинг, хоча на ринку ціна і рейтинг не пов'язані. Зв'язок створив сам відбір, тож піднімати ціну в надії на «дорожче — краще» за цим звітом не можна. Що суворіший відбір, то сильніший фальшивий зв'язок.
Зв'язок у відібраній групі (топ продажів, найняті кандидати, клієнти, що дійшли до оплати) нічого не каже про зв'язок у всіх. Спитайте, за якою ознакою групу відібрали.
Якщо відбір залежить від обох ознак, які ви порівнюєте, зв'язок майже гарантовано з'явиться.
«Середня завантаженість залу 30%. Чому клієнти скаржаться на тісняву?»
Звіт не бреше, і клієнти теж. Подивімося, звідки береться кожне з двох чисел.
Зал розрахований на 100 людей і працює 16 годин на день. Турнікети знають, скільки людей у залі щогодини. Складіть ці числа за день, поділіть на 16 годин — вийде 30 людей у середню годину. Це і є завантаженість 30%.
Але люди приходять нерівномірно. Удень у залі буває 8–15 людей, а ввечері, після роботи, 55–80.
А скаржаться не години, а люди. Кожен відвідувач бачить, скільки людей у залі, поки він там тренується.
Скільки людей навколо себе бачить середній відвідувач?
Година, коли в залі 80 людей, — це 80 відвідувачів, які бачать натовп. Година з 8 людьми — лише 8 тих, хто бачить порожній зал. Майже половина всіх відвідувань (46%) припадає на три вечірні години, коли в залі 65–80 людей. Тому середнє по відвідувачах зважене людністю, і воно виходить близько 50, а не 30. Обидва числа правдиві: одне про зал, друге про людей. Перевірте нижче.Близько 50. Година, коли в залі 80 людей, — це 80 відвідувачів, які бачать натовп, а година з 8 людьми — лише 8 тих, хто бачить порожній зал. Майже половина всіх відвідувань (46%) припадає на три вечірні години, коли в залі 65–80 людей. Середнє по відвідувачах зважене людністю. Перевірте нижче.
Один день залу на 100 людей
середнє по годинахсереднє по відвідувачах
Людей у середню годину–
Бачить середній відвідувач–
Відвідувачів у години пік–коли в залі 60 людей і більше
Середній відвідувач бачить навколо близько 50 людей, а не 30. Обидва числа правдиві: перше про зал, друге про клієнтів. Скарги рахують друге. Перенесення людей із піку зменшує друге число, а перше лишається тим самим.
Перш ніж відповідати на скарги звітом, спитайте: середнє по чому? По годинах, по групах, по вебінарах — чи по людях.
Те саме з розміром груп і команд: середня група на курсі менша, ніж група, у якій навчається середній студент. Середнє очікування по годинах коротше за очікування середнього клієнта, бо довга черга буває саме тоді, коли клієнтів найбільше.
ІсторіяСоціологи Скотт Фелд і Бернард Грофман показали це на розкладі занять одного університету: середня група в розкладі виявилася набагато меншою, ніж група, у якій сидить середній студент. У великих потокових аудиторіях мало груп, але багато студентів, і саме вони дають «студентське» середнє. Університет у рекламі і студент у залі чесно називають різні числа.Джерело: S. L. Feld, B. Grofman, «Variation in Class Size, the Class Size Paradox, and Some Consequences for Students», Research in Higher Education 6(3), 1977.
Глибше: дві задачі з каталогу про те саме зважування.
Що ви вже вмієтеВи питаєте, хто відповів на опитування (6), хто пішов до моменту вимірювання (7), за якою ознакою відібрано групу (8) і по чому пораховано середнє (9). Третя частина про висновки: коли зв'язок означає причину, кому зарахувати продаж, скільки тривог справжні і чи можна вірити самим числам.
Дві нові ситуації на ідеї частини 2· необов'язково, нічого не блокує
Щорічне опитування залученості: 71% залучених проти 64% торік. За цей рік із компанії пішов кожен п'ятий. Що спершу з'ясувати?
Якщо йдуть передусім незалучені, частка залучених серед тих, хто лишився, росте без жодних змін у компанії. Порівнюйте тих самих людей або питайте тих, хто йде (розділ 7).
Школа англійської пише, що в середньому в групі 8 студентів. Але коли самих студентів питають, скільки людей у їхній групі, у середньому виходить 14. Хтось бреше?
У великих групах більше студентів, тож опитування студентів частіше потрапляє у великі групи. Наприклад, групи по 2, 2, 4, 14 і 18: по групах у середньому 8, а по студентах — 13,6 (розділ 9).
Частина 3 · трохи складніше
Що з чого випливає
Найдорожчі помилки стаються не тоді, коли число неправильне, а коли з правильного числа роблять неправильний висновок. Тут знадобляться частки від часток і трохи умовної ймовірності, але калькулятори рахують за вас.
«Клієнти із застосунком витрачають у 2,3 раза більше. Даймо бонус 500 грн кожному, хто його встановить?»
Бонус коштує 500 грн на людину, тож усе рішення тримається на одному питанні: скільки додаткових грошей принесе людина, яка поставить застосунок заради бонусу.
Звіт ділить клієнтів на дві групи. Ті, хто має застосунок, витрачають за квартал у середньому 4 130 грн, решта — 1 810 грн. Звідси й «у 2,3 раза».
Коли два числа ходять разом, як застосунок і витрати, це називають кореляцією. І ще одна деталь із того самого звіту: застосунок частіше встановлюють постійні клієнти, а випадкові покупці рідко.
Скільки за квартал додасть один новий користувач застосунку?
Цього звіт теж не каже. Застосунок може трохи допомагати, і в нашій моделі він додає 5% витрат. Біда в тому, що звіт не відділяє цей ефект від того, хто застосунок ставить. Перевірте нижче.Різниця в 2,3 раза змішує дві речі: що дає сам застосунок і хто його ставить. Серед власників застосунку 72% — постійні клієнти, а серед решти лише 16%. Постійні й без застосунку витрачають більше, тож і застосунок, і великі витрати мають одну причину — лояльність. Це той самий склад груп, що й у розділі 4. У нашій моделі сам застосунок додає лише 5% витрат, і новий користувач принесе близько 90 грн за квартал, а не 2 300. Перевірте нижче.Звіт цього не каже. Різниця в 2,3 раза змішує дві речі: що дає сам застосунок і хто його ставить. Серед власників застосунку 72% — постійні клієнти, а серед решти лише 16%, і постійні витрачають більше й без нього. У нашій моделі сам застосунок додає лише 5% витрат, і новий користувач принесе близько 90 грн за квартал. Перевірте нижче.
Витрати за квартал, із застосунком і без
У звіті: із застосунком / без–
Додасть новий користувач–за квартал
Бонус 500 грн окупиться за–
Модель проста: 30% постійних клієнтів витрачають 5 000 грн за квартал, 70% випадкових — 1 200 грн. Застосунок встановили 60% постійних і 10% випадкових. Навіть коли застосунок не дає нічого, звіт показує різницю в 2,2 раза.
Новий користувач застосунку додасть близько 90 грн за квартал. Бонус 500 грн окупиться приблизно за п'ять з половиною кварталів, якщо взагалі окупиться: 2,3 раза — це передусім портрет тих, хто ставить застосунок, а не те, що він дає.
Як дізнатися справжній ефект? Запропонувати бонус випадковій половині клієнтів і порівняти дві половини. Випадковий поділ робить групи однаковими за складом, тож різниця між ними — ефект бонусу. Це A/B-тест, і про його власні пастки є окремий курс, «Парадокси A/B-тестування».
А як оцінити вплив нової функції продукту, коли експеримент провести не можна, розповідає окремий курс для продуктових команд, «Чи працює фіча?».
Почувши «ті, хто робить X, мають більше Y», спитайте: хто зазвичай робить X? Чи не одна причина стоїть за обома?
Розбийте на однорідні групи. Якщо всередині груп різниця тане, її давав склад, як у розділі 4.
Причину надійно перевіряє лише експеримент із випадковим поділом.
ІсторіяДесятиліттями спостереження показували, що жінки, які приймають замісну гормональну терапію після менопаузи, рідше хворіють на серце: у великому дослідженні медсестер ризик був на 44% нижчий. Рандомізоване дослідження Women's Health Initiative з 16 608 жінками дало протилежне: з гормонами випадків ішемічної хвороби серця на 29% більше, і дослідження зупинили достроково. Терапію обирали жінки, які й так були здоровішими.Джерело: M. J. Stampfer et al., New England Journal of Medicine 325, 1991; Writing Group for the WHI Investigators, JAMA 288(3), 2002.
А якщо зв'язок знайшовся сам?
У застосунку принаймні була правдоподібна причина. Буває гірше: аналітик відкриває дашборд із 45 метриками, перебирає всі пари і знаходить дві, що ходять разом із кореляцією 0,9. Пар із 45 метрик — 990. Спробуйте самі: нижче 45 метрик із випадкових чисел, жодна ні з чим не пов'язана.
990 пар випадкових метрик
Тижнів даних
пари за порогомрешта пар
Пар за порогом–з 990, хоча зв'язків немає
Найсильніша пара–
За 10 тижнів у середньому близько 5 пар із 990 мають кореляцію понад 0,8, а найсильніша пара — близько 0,88. Більше даних допомагає: за 52 тижні таких пар майже немає. Але якщо в метрик є тренд, допомагає мало: два ряди, що просто ростуть чи падають, «корелюють» і за рік, і за 10 років. Тайлер Віген зібрав сотні таких збігів на справжніх даних: наприклад, кількість фільмів із Ніколасом Кейджем за рік ішла разом із кількістю людей, що втопилися, впавши в басейн.
Почувши про сильний зв'язок, спитайте, скільки пар перебрали, перш ніж його знайти. Що більше спроб, то більше випадкових «знахідок».
Знахідку перевіряйте на нових даних, а для метрик із трендом порівнюйте зміни від тижня до тижня, а не самі рівні.
Джерело прикладів: Tyler Vigen, «Spurious Correlations», tylervigen.com/spurious-correlations; книжка «Spurious Correlations» (2015). Числа 5 пар і 0,88 — середнє з точного розподілу кореляції незалежних нормальних рядів і симуляції 400 дашбордів.
Глибше: та сама пастка з перевірками в задачі з каталогу, про 20 країн.
ROAS 12 означає, що кожна гривня реклами повернула 12 гривень доходу: 1 300 продажів із середнім чеком 1 000 грн — це 1,3 млн грн на 108 000 грн витрат. Звучить як найкраща реклама в компанії.
Ретаргетинг — це реклама для тих, хто вже був на сайті: переглянув товар, може, поклав його в кошик і пішов. Реклама наздоганяє людину на інших сайтах і нагадує про товар.
Звідки звіт знає, що ці продажі принесла саме реклама? Він роздає продажі каналам за правилом, яке називають атрибуцією. Найпростіше і досі поширене правило — останній клік: продаж дістається тому, на що людина клікнула останньою перед покупкою.
За місяць сайт продав 2 100 замовлень, і 1 300 з них останній клік зарахував ретаргетингу.
Що станеться з продажами, якщо ретаргетинг вимкнути?
Останній клік показує, хто був поруч із покупкою, а не хто її спричинив. Ретаргетинг бачать ті, хто вже був на сайті і й так близький до покупки, тож він часто стає останнім кліком перед покупкою, яка сталася б і без нього. У нашій моделі 2 000 людей купили б і без реклами, 1 200 з них по дорозі клікнули ретаргетинг, і лише 100 покупок реклама справді додала: 1 200 + 100 = 1 300 у звіті. Вимкніть її, і продажі впадуть приблизно на 100. Перевірте нижче.Звіт цього не каже. Останній клік показує, хто був поруч із покупкою, а не хто її спричинив. Ретаргетинг бачать ті, хто й так близький до покупки. У нашій моделі 2 000 людей купили б і без реклами, 1 200 з них по дорозі клікнули ретаргетинг, і лише 100 покупок реклама справді додала: 1 200 + 100 = 1 300 у звіті. Перевірте нижче.
2 100 продажів місяця: хто кого привів
купили б і так, без клікукупили б і так, але клікнули рекламукупили через рекламу
Звіт: ROAS за останнім кліком–
Насправді: дохід на 1 грн реклами–
Зникне продажів без реклами–
Середній чек у моделі 1 000 грн, бюджет 108 000 грн. Як дізнатися справжній приріст? Контрольною групою: частині людей чи регіонів рекламу не показують зовсім, і різниця в покупках між групами показує, скільки реклама справді додала. Рекламні платформи називають це тестом приросту (lift test).
Без ретаргетингу продажі впадуть приблизно на 100, а не на 1 300. Кожна гривня реклами повертає 93 копійки доходу, ще до собівартості товару. Подвоєння бюджету тут лише подвоїть збиток.
Атрибуція ділить продажі, але не каже, скільки їх без каналу не було б. Для рішень про бюджет питайте приріст, а не атрибуцію.
Найбільше перебільшують канали, які бачать людей перед самою покупкою: ретаргетинг, рекламу за назвою бренду, купони і кешбек.
Приріст перевіряють контрольною групою, тобто людьми чи регіонами, яким рекламу не показують.
Історія2012 року eBay вимкнув рекламу за запитами зі словом «ebay» у пошуковиках Yahoo! і Bing, а в Google лишив для порівняння. Звіти показували, що ця реклама приносить чимало продажів. Але 99,5% кліків, які вона давала, прийшли й так, через безкоштовне посилання під рекламою. Окремий експеримент із випадково обраними регіонами показав, що й решта пошукової реклами eBay приносила менше, ніж коштувала.Джерело: T. Blake, C. Nosko, S. Tadelis, «Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment», Econometrica 83(1), 2015.
12
Антифрод спрацював
«Фільтр точний на 99% і заблокував транзакцію. Отже, це шахрай?»
«99%» звучить як «помиляється раз на сто». Але що саме означають ці 99%?
Точність фільтра описують двома числами, про шахраїв і про чесних клієнтів окремо. Він ловить 99% шахрайських транзакцій. І помилково блокує 1% чесних: одну зі 100 звичайних покупок.
Шахрайство рідкісне: це 0,1% транзакцій, одна з тисячі.
Служба безпеки бачить лише заблоковані транзакції, і питання до неї просте: скільки з них справді шахрайські?
Яка частка заблокованих транзакцій справді шахрайська?
На 100 000 транзакцій припадає 100 шахрайських, і фільтр ловить 99 з них. Але 1% із 99 900 чесних — це ще 999 тривог. Разом 1 098 заблокованих, і шахраїв серед них лише 99, тобто 9%. Перевірте нижче.Менше ніж кожна десята. На 100 000 транзакцій припадає 100 шахрайських, і фільтр ловить 99 з них. Але 1% із 99 900 чесних — це ще 999 тривог. Із 1 098 заблокованих шахраїв лише 99, тобто 9%. Перевірте нижче.
100 000 транзакцій через фільтр
шахрайчесний клієнт
Тривог–
Справжніх серед тривог–
Чесних клієнтів заблоковано–
Кожна клітинка сітки — 1% тривог. Частку справжніх серед тривог називають умовною ймовірністю: імовірність шахрайства за умови, що фільтр спрацював. Її рахує теорема Баєса, але досить уявити 100 000 транзакцій, як вище.
Лише 9% заблокованих транзакцій шахрайські: 91 з кожних 100 тривог — чесні клієнти. Точність 99% тут не рятує: шахраїв так мало, що навіть 1% помилок серед чесних перекриває всіх спійманих. Друга незалежна перевірка піднімає частку справжніх до 91%.
Про будь-який фільтр (антифрод, скоринг, прогноз відтоку, детектор спаму) питайте: скільки тривог справжні? Це залежить від того, наскільки рідкісна подія.
Після тривоги потрібна друга, незалежна перевірка, а не автоматичне блокування.
Рахуйте ціну помилок обох типів: пропущеного шахрая і заблокованого чесного клієнта.
+50% чи +1 пункт?
Наступного кварталу звіт пише: «Шахрайство зросло на 50%!» Це відносна зміна. Але скільки це транзакцій, залежить від того, з якої частки почали. Різницю між двома частками в процентах називають відсотковими пунктами: з 2% до 3% — це +1 пункт і водночас +50%. У медицині це різниця між відносним ризиком («ризик подвоївся») і абсолютним ризиком («з 1 до 2 випадків на 7 000»).
Відносно+50%
Абсолютно–
На 100 000 транзакцій–
Почувши «зросло на 50%» чи «ризик подвоївся», питайте: з якого числа і до якого? Просіть обидва числа, абсолютні.
Зміну частки пишіть у пунктах (з 2% до 3% — «+1 п.п.»), а відсотки лишайте для відносної зміни.
Історія1995 року британський регулятор попередив, що протизаплідні таблетки третього покоління подвоюють ризик тромбозу. «Удвічі» означало: з 1 випадку на 7 000 жінок до 2 на 7 000. Багато жінок кинули приймати таблетки, і наступного року в Англії й Уельсі, за оцінками, було приблизно на 13 000 абортів більше.Джерело: G. Gigerenzer et al., «Helping Doctors and Patients Make Sense of Health Statistics», Psychological Science in the Public Interest 8(2), 2007.
ІсторіяНа фіналі Ліги чемпіонів у Кардіффі 2017 року поліція Південного Уельсу перевіряла натовп системою розпізнавання облич. Система дала 2 470 збігів із базою розшукуваних, і 2 297 з них, понад 9 із 10, виявилися хибними. Розшукуваних у натовпі зі 170 000 людей було дуже мало, тож навіть рідкісні помилки перекрили справжні збіги. Поліція наголосила, що через хибні збіги нікого не заарештували.Джерело: BBC News, «2,000 wrongly matched with possible criminals at Champions League», 5 травня 2018.
«Нова модель антифроду має точність 99%, стара — лише 95%. Міняємо?»
Точність (accuracy) — частка транзакцій, на яких модель не помилилася: заблокувала шахрая або пропустила чесного клієнта. Одне число на весь звіт, і його легко порівнювати.
Обидві моделі перевірили на тих самих 10 000 транзакцій, серед яких 100 шахрайських.
Модель A точна на 99%, модель B — на 95%. Яку ставити?
Так. Точність 99% має і модель, що не блокує нічого: 9 900 чесних пропущено правильно, а всі 100 шахраїв пройшли. Модель A саме така. B ловить 89 шахраїв зі 100, хоча й помиляється частіше. Пересуньте поріг нижче.За точністю не вибрати. 99% має і модель, що не блокує нічого: 9 900 чесних пропущено правильно, а всі 100 шахраїв пройшли. Модель A саме така. B ловить 89 шахраїв зі 100, хоча й помиляється частіше. Пересуньте поріг нижче.
Поріг фільтра і дві помилки
Модель дає кожній транзакції бал підозрілості від 0 до 100 і блокує все, що вище порога. Бали чесних і шахрайських транзакцій перетинаються, тож будь-який поріг десь помиляється. Помилок два роди, і поріг лише міняє одну на іншу.
чесні, пропущеночесні, заблоковано: помилка I родушахраї, заблокованошахраї, пропущено: помилка II роду
ЗаблокованоПропущено
Шахраї, 100–спіймано–помилка II роду: пропуск
Чесні, 9 900–помилка I роду: хибна тривога–усе гаразд
Точність–правильних із 10 000
Помилка I роду–чесних заблоковано
Помилка II роду–шахраїв пропущено
Збитки–пропуск 2 000 грн, хибна тривога 50 грн
точністьзбитки
Бали умовні: чесні транзакції в середньому мають 30, шахрайські — 65, розкид однаковий. Ціни помилок теж умовні: пропущений шахрай коштує повернення грошей, хибна тривога — дзвінка в підтримку і роздратованого клієнта. Числа в таблиці — очікувані на 10 000 транзакцій.
Коли подія рідкісна, найвищу точність дає модель, яка майже нічого не робить. «Нікого не блокувати» — 99%, найточніший поріг — 99,3%, але він пропускає більше половини шахраїв. Модель B точна лише на 95%, зате ловить 89 зі 100, а її збитки — менше половини збитків за найточнішого порога.
Не приймайте одне число «точність» для рідкісних подій (шахрайство, відтік, хвороба, брак). Просіть дві помилки окремо: скільки подій пропущено (помилка II роду) і скільки хибних тривог (помилка I роду).
Поріг не робить модель кращою, він лише міняє одну помилку на іншу. Обирайте його за ціною помилок, а не за точністю.
В аналітиці ті самі дві частки звуть повнотою (recall: скільки шахраїв спіймано) і влучністю (precision: скільки тривог справжні, як у розділі 12).
Глибше: та сама рідкісна подія, але з медичним тестом.
«Чи можна з самих сум помітити, що звіт про витрати вигаданий?»
Іноді можна, і для цього не треба перевіряти жодного чека. Підказка ховається в першій цифрі кожної суми.
Припустімо, що людина, яка вигадує суми, намагається зробити їх різними і правдоподібними: 2 300, 5 800, 9 100. Здається, справжні рахунки виглядають так само: перша цифра може бути будь-якою від 1 до 9.
Перевірмо на справжніх даних. Ви взяли 10 000 рахунків постачальників: є дрібні, на 50 грн, є великі, на 500 000 грн, і все між ними.
Яка частка цих сум починається з цифри 1?
Майже 30%, а з цифри 9 починається менше 5%. Це закон Бенфорда. Щоб сума, яка починається з 1, почала починатися з 2, її треба збільшити вдвічі, а від 9 до 10 досить додати 11%. Тому суми, що тягнуться на кілька порядків, довго «живуть» на одиниці і швидко проскакують дев'ятку. Вигадані «різні» суми цього не повторюють. Перевірте нижче.Майже 30%, а з цифри 9 починається менше 5%. Це закон Бенфорда. Щоб сума, яка починається з 1, почала починатися з 2, її треба збільшити вдвічі, а від 9 до 10 досить додати 11%. Тому суми, що тягнуться на кілька порядків, довго «живуть» на одиниці. Вигадані «різні» суми цього не повторюють. Перевірте нижче.
Перші цифри 500 сум
ці 500 сумзакон Бенфорда
Починаються з 1–
Відхилення від Бенфорда–у середньому на цифру
Справжні рахунки майже точно повторюють Бенфорда: близько 30% починаються з 1 і лише 5% з 9. Вигадані навмання суми розподілені рівномірно і помітно відхиляються. Але таксі по місту теж відхиляються, хоча вони справжні: діапазон від 80 до 400 грн занадто вузький.
Перевірка Бенфорда — привід придивитися, а не доказ. Аудитори з неї починають, а не нею закінчують.
Вона працює лише для даних, що тягнуться на кілька порядків і не мають порогів чи лімітів. Ціни, тарифи, суми в межах ліміту її не проходять, і це нормально.
Ще одна ознака вигаданих сум: забагато сум трохи нижче ліміту, наприклад 4 900–4 999 грн, коли все від 5 000 грн треба погоджувати.
ІсторіяЕкономісти з Німеччини перевірили законом Бенфорда дані про дефіцит і борг, які країни Євросоюзу надсилали до Євростату. Найбільше від Бенфорда відхилялися дані Греції, яка 2009 року визнала, що занижувала дефіцит. Самі по собі цифри нічого не доводили, але вказали, куди дивитися першими.Джерело: B. Rauch, M. Göttsche, G. Brähler, S. Engel, «Fact and Fiction in EU-Governmental Economic Data», German Economic Review 12(3), 2011.
Що ви вже вмієтеВи відрізняєте зв'язок від причини і випадковий збіг від знахідки (10), приріст від атрибуції (11), рахуєте, скільки тривог справжні, і не плутаєте відсотки з пунктами (12), і знаєте, як помітити вигадані суми (13). Лишився іспит: шість звітів, у п'яти з них пастка з курсу, а потім вердикт звіту з початку курсу.
Дві нові ситуації на ідеї частини 3· необов'язково, нічого не блокує
Аналітик перебрав 200 сегментів клієнтів (місто × пристрій × вік) і знайшов один, де нова ціна підняла конверсію на 30%. Пропозиція: нова ціна для цього сегмента. Що робити?
Коли перебирають сотні зрізів, найкращий із них майже завжди виглядає вражаюче, навіть якщо ефекту немає ніде, як із 990 парами метрик у розділі 10. Знахідку перевіряють на нових даних, а план перевірки пишуть заздалегідь.
Модель відтоку позначає 90% клієнтів, які справді підуть, і 5% тих, хто лишиться. Іде 2% клієнтів на місяць. Яка частка позначених справді піде?
На 10 000 клієнтів іде 200, модель позначає 180 з них. Але 5% із 9 800, що лишаться, — це ще 490. Із 670 позначених піде 180, тобто 27% (розділ 12).
Фінал
Іспит і вердикт
Усе, що було в курсі, тепер у звітах, які могли б лягти вам на стіл.
«Ось шість звітів із пропозиціями. Що з ними робити?»
У п'яти звітах по одній пастці з курсу, а один чистий. Оберіть, що робити. Після відповіді з'явиться пояснення і посилання на розділ, де про це йшлося.
Звіт 1
B2B: дохід на клієнтаII квартал
Клієнтів
120
кварталом раніше 118
Дохід на клієнта
41 200 грн
+31% до I кварталу
Висновок відділу: «клієнти почали купувати більше, піднімаємо план». Серед нових клієнтів мережа «Мегабуд», її договір — 1,4 млн грн.
Подивитися медіану і дохід без «Мегабуду». Без нього решта 119 клієнтів дають у середньому 29 800 грн, менше, ніж кварталом раніше (31 450 грн). Тобто звичайні клієнти купують менше, а +31% — це одна угода (розділ 1).
Звіт 2
Програма підтримки філійII квартал
10 найгірших філій I кварталу, з коучем
+18%
Решта 70 філій
+2%
Пропозиція: найняти коучів для всіх 80 філій.
Не висновок: це може бути регресія до середнього. Філії обрали саме за тим, що вони найгірші в I кварталі, а найгірші наступного кварталу в середньому піднімаються й самі (розділ 3). Щоб оцінити коуча, треба порівняти з такими самими слабкими філіями без коуча, наприклад дати його випадковій половині з них.
Звіт 3
Безкоштовна доставка: тест4 тижні
Прибуток на клієнта, з доставкою
+4%
інтервал від +2% до +6%
Безкоштовну доставку показували випадково обраній половині клієнтів: 25 012 проти 24 988. Вартість доставки вже віднято. Пропозиція: увімкнути для всіх.
Можна діяти. Тут пастки немає: групи поділено випадково, тож склад у них однаковий (розділ 10), рахують усіх клієнтів, а не тих, хто відповів чи лишився (розділ 6), і в метрику вже входить ціна доставки. Навіть нижня межа інтервалу позитивна.
Звіт 4
Відділ продажів: конверсія дзвінківжовтень
Ольга
18,6%
800 холодних і 200 теплих дзвінків
Петро
34,0%
200 холодних і 800 теплих дзвінків
Пропозиція: передати частину Ольжиних клієнтів Петрові.
Порівняти всередині однакових груп. Ольга краща і в холодних дзвінках (12% проти 10%), і в теплих (45% проти 40%). Її загальна конверсія нижча лише тому, що їй дістаються переважно холодні дзвінки (розділ 4).
Звіт 5
Розсилка і покупкирік
Покупок на клієнта: підписані на розсилку
4,2
Покупок на клієнта: не підписані
3,0
На розсилку підписуються добровільно. Висновок: «розсилка додає 40% покупок». Пропозиція: автоматично підписати всіх клієнтів.
Перевірити причину експериментом. На розсилку підписуються ті, кому магазин і так подобається, і вони й так купують частіше (розділ 10). Надсилайте розсилку випадковій половині тих, хто не підписаний, і порівняйте покупки двох половин.
Звіт 6
Підтримка: NPSрік
NPS
72
+15 за рік
Відповіли
900
Цього року опитування надсилають після закритого звернення, якщо клієнт оцінив розмову на 4 чи 5 зірок. Висновок: «клієнти полюбили нашу підтримку».
З'ясувати, кого немає в даних. Опитування бачить лише тих, хто вже поставив 4 чи 5 зірок: незадоволені до нього просто не доходять. Зріст на 15 пунктів може бути зміною правила відбору, а не підтримки (розділ 6).
А тепер звіт із початку курсу
Звіт за III кварталдля правління
Середній чек
2 480 грн
+24% до II кварталу
Задоволені клієнти
92%
опитування в застосунку
Клієнти із застосунком витрачають
×2,3
пропозиція: бонус 500 грн за встановлення
Ретаргетинг
ROAS 12
пропозиція: подвоїти бюджет
Вердикт: усі чотири числа правдиві, і жодне з чотирьох рішень за ними ухвалювати не можна.
Середній чек: +24% дає одне корпоративне замовлення. Без нього середнє лишилося 2 000 грн, і медіана майже не зрушила (розділ 1). Угоду варто показати окремим рядком.
92% задоволених: відповіли 7,6%, і задоволені відповідають уп'ятеро охочіше. Серед усіх клієнтів задоволених близько 70% (розділ 6). Опитайте випадкову вибірку з нагадуваннями.
×2,3 із застосунком: застосунок ставлять постійні клієнти. Новий користувач додасть близько 90 грн за квартал, і бонус 500 грн не окупиться навіть за рік (розділ 10). Перевірте бонус на випадковій половині клієнтів.
ROAS 12: це атрибуція за останнім кліком. Справжній приріст у моделі — 100 продажів, 93 копійки доходу на гривню реклами (розділ 11). Перш ніж подвоювати бюджет, проведіть тест із контрольною групою.
✓
Перш ніж ухвалити рішення за звітом
Тринадцять питань, по одному з кожного розділу. Не кожне стосується кожного звіту, але кожне хоч раз урятує від дорогого рішення.