Карта уявної країни: 3 000 округів, від сіл на тисячу людей до міст на мільйон. Темні квадрати позначають округи, де рідкісна хвороба трапляється найрідше. Майже всі вони маленькі й сільські. Чисте повітря? Чи щось інше? Зафіксуйте свою відповідь, а потім перевірте її в грі, на симуляції і через пояснення.
У найменших округах захворюваність і найнижча, і найвища, хоча справжній ризик скрізь однаковий. Мало людей означає мало випадків, і один випадок більше чи менше кидає показник у крайнощі. Абрагам де Муавр описав це рівнянням ще 1730 року. Перевірте в грі, на симуляції і через пояснення.
Статистики Ендрю Гельман і Дебора Нолан показували студентам карту захворюваності на рак нирки в округах США. Округи з найнижчими показниками були здебільшого сільськими, на Середньому Заході, Півдні й Заході. Тут та сама історія в уявній країні, де ми знаємо всю правду.
3 000 округів. Населення від 1 000 до 1 000 000: третина має до 10 000 людей, третина від 10 000 до 100 000, третина від 100 000 до мільйона.
Рідкісна хвороба. Кожен випадок за десять років записують в окружну статистику.
Захворюваність = випадки ÷ населення × 100 000. Так порівнюють округи різного розміру: скільки випадків припадає на 100 000 людей.
10% округів з найнижчою захворюваністю майже всі маленькі й сільські. Чому?
«У селі чисте повітря, свіжа їжа і менше стресу. Тому й хворіють рідше»
Але 10% округів з найвищою захворюваністю теж майже всі маленькі й сільські. Спільне в них не спосіб життя, а розмір. У селі на 1 000 людей очікують 0,25 випадку. Нуль випадків дає показник 0, один випадок одразу дає 100, вчетверо більше за справжній ризик.
Ось чотири пояснення, які зазвичай пропонують. Яке з них найкраще пояснює карту?
Оберіть відповідь. Тут з'являться 10 найздоровіших і 10 найхворіших округів уявної країни.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Подивіться не лише на найздоровіші округи, а й на найхворіші. Якщо причина в сільському повітрі, де мали б опинитися села в рейтингу найхворіших?
Скільки випадків рідкісної хвороби очікують у селі на 1 000 людей, якщо ризик 25 на 100 000? А який показник на 100 000 вийде, якщо там захворіє одна людина?
Підкиньте монетку 4 рази, а потім 100 разів. У якому разі легше отримати «дивну» частку орлів, хоча монетка та сама?
Оберіть розмір округу і витягніть десяток таких. У кожному справжній ризик 25 на 100 000, пунктир показує його. Подивіться, як далеко від пунктиру падають точки сіл і міст.
| Людей | Округів | Мін. | Макс. |
|---|
Округ на 1 000 людей може показати лише 0, 100, 200… на 100 000: справжніх 25 він не покаже ніколи. У 78% таких округів не буде жодного випадку, у 22% буде щонайменше 100.
Кожна точка означає округ: по горизонталі населення, по вертикалі захворюваність. Лінії лійки точно обчислені: між ними лежить 95% показників, які дає сам випадок для округу такого розміру. У малих округах лійка широка, у великих вузька.
Перший шар без формул, другий з таблицею і правилом квадратного кореня, третій про історію: від монетного двору XII століття до мільярдних грантів на малі школи.
Шар «На пальцях» приховано на всіх задачах.
Показник рахують на 100 000 людей. У селі на тисячу один хворий одразу дає 100, а в мільйонному місті лише 0,1. Село чекає чверть випадку, тож показує або 0 (найздоровіше місце країни), або 100 і більше (одне з найхворіших). Середини для нього немає.
Це ще не все пояснення: середні округи теж шумлять, лише менше. Наступні картки показують, як шум залежить від розміру.
Якби причиною було сільське повітря, села збиралися б лише внизу рейтингу. А вони заповнюють обидва кінці. Коли та сама група опиняється і серед найкращих, і серед найгірших, першим підозрюваним має бути не причина, а розмір вибірки.
Монетка та сама, чесна. Але чотири підкидання легко дають «монетку з перекосом», а сто майже ніколи. Маленький округ схожий на кілька підкидань, велике місто на тисячі.
Близько 450 із 3 000 округів не мають жодного випадку. Це не 450 оаз здоров'я, а 450 маленьких округів, яким цього десятиліття пощастило. Наступного десятиліття пощастить іншим, і «оазисів» буде стільки ж, але в інших місцях.
Тож порівнювати село з містом за сирим показником не можна. Його треба порівнювати з тим розкидом, який випадок дає округу такого самого розміру. Саме це робить лійка з раунду 3.
Шар «Строго» приховано на всіх задачах.
| Людей | Чекають випадків | +1 випадок | 95% округів |
|---|---|---|---|
| 1 тис. | 0,25 | 100 | 0–200 |
| 10 тис. | 2,5 | 10 | 0–60 |
| 100 тис. | 25 | 1 | 16–35 |
| 1 млн | 250 | 0,1 | 21,9–28,1 |
Справжній ризик у всіх рядках 25. Останній стовпчик точно обчислений для випадкової кількості хворих: межі, за які виходять лише 2,5% округів знизу і 2,5% згори. Для села діапазон від нуля до восьми справжніх ризиків, для міста ±12%.
| Очікувано випадків | √ | Звичайне коливання |
|---|---|---|
| 25 | 5 | ±20% |
| 100 | 10 | ±10% |
| 400 | 20 | ±5% |
| 2 500 | 50 | ±2% |
Кількість випадків коливається приблизно на квадратний корінь з очікуваної: чекаєте 25, отримуєте здебільшого 20–30. Тому відносне коливання дорівнює 1/√(очікуваних випадків). Щоб зменшити його вдвічі, потрібно вчетверо більше людей, а щоб у десять разів, у сто разів більше. 95% округів вкладаються приблизно у два таких коливання.
У окрузі з n людей і ризиком p кількість випадків X майже точно має розподіл Пуассона: його дисперсія дорівнює середньому.
Стандартна похибка показника X/n. Це рівняння де Муавра σ/√n: розкид середнього падає як корінь з розміру вибірки.
Наближені межі лійки та приклад для 100 000 людей (показник на 100 000, SE = 5). Точні межі Пуассона дають 16–35.
Скільки людей потрібно, щоб звузити межі в k разів.
Лійка в раунді 3 використовує точні квантилі Пуассона, а не наближення. Через те що випадки бувають лише цілими, за межі в середньому виходить 2,9% округів, а не рівно 5%.
Шар «Глибше» приховано на всіх задачах.
Абрагам де Муавр 1730 року в праці «Miscellanea Analytica» про біноміальний розподіл показав, що розкид середнього зменшується не пропорційно розміру вибірки, а як корінь з нього. 2007 року статистик Говард Вейнер у статті «The Most Dangerous Equation» в American Scientist назвав формулу σ/√n найнебезпечнішим рівнянням: не тому, що його знання шкодить, а тому, що незнання коштувало мільярди.
Карту захворюваності на рак нирки в округах США Гельман і Нолан використали в книжці «Teaching Statistics: A Bag of Tricks» (2002). Вейнер розібрав її у своїй статті: округи з найнижчими 10% показників і з найвищими 10% лежать поруч, у тих самих сільських регіонах. Деніел Канеман переказав приклад у розділі 10 книжки «Мислення швидке й повільне» (2011), який так і називається: «Закон малих чисел».
Серед найкращих шкіл за результатами тестів непропорційно багато малих. Наприкінці 1990-х Фонд Білла і Мелінди Гейтс почав масштабно підтримувати малі школи, до нього приєдналися інші фонди. Вейнер і Гарріс Цверлінг перевірили школи Пенсільванії і побачили, що малі школи переважають і серед найгірших: це той самий розкид, що й в округах із раку нирки. У річному листі 2009 року Білл Гейтс визнав, що багато малих шкіл, у які вкладався фонд, суттєво не покращили результатів учнів.
Скільки коштує точність, як скласти рейтинг, у якому нагорі не опиняються випадкові села, і де ще ховаються малі числа.
Рівняння де Муавра працює для будь-якого середнього з незалежних вимірів: частки хворих, середнього балу школи, конверсії сайту, результату опитування. Розкид одного виміру σ ділиться на корінь з їх кількості.
Звідси ціна точності: кожне подвоєння точності коштує вчетверо більше даних. На сходах ліворуч ширина лійки на кожному кроці падає майже рівно вдвічі, щойно очікуваних випадків більше за десяток. На нижніх щаблях вона стрибає нерівно, бо випадки бувають лише цілими. Те саме правило пояснює, чому опитування 1 000 людей має похибку близько ±3 пункти, а щоб отримати ±1,5, треба опитати 4 000 (задача про опитування).
Тепер справжній ризик округів трохи різний: здебільшого в межах ±20% від 25. Складемо дві десятки найгірших: за сирим показником і за скоригованим, де до кожного округу додають 100 000 «середніх» людей із 25 випадками.
| Сирий | Скоригований |
|---|
Будь-який рейтинг за часткою чи середнім має ту саму пастку: на обох його кінцях опиняються ті, у кого найменше даних. Найкращий хірург за 3 операції, найкращий товар з двома відгуками на 5 зірок, найгірша школа з 20 учнями.
Ліків два. Лійка порівнює кожен округ з межами для його розміру і помічає лише тих, хто з них вийшов. Скоригований показник тягне малі округи до загального середнього: їхні власні дані важать мало, а великих міст поправка майже не торкається. Так працює емпіричний баєсівський підхід. Ціна в тому, що справжню біду маленького округу ні той, ні інший метод не побачить, доки даних мало.
Найменший ліфт, який тест здатен помітити у 8 випадках із 10 при рівні значущості 5%. Змініть базову конверсію і кількість відвідувачів на варіант.
| Відвідувачів на варіант, конверсія 3% | Помітний ліфт |
|---|---|
| 1 000 | 71% |
| 10 000 | 22,5% |
| 100 000 | 7,1% |
Формула: 2,8 · √(2p(1 − p)/n) / p, де 2,8 ≈ 1,96 + 0,84. Сайт з 10 000 відвідувачів на варіант майже ніколи не помітить ліфт +5%: шум більший. Тому його опубліковані перемоги великі, і часто їх роздув той самий шум. Детальніше в задачах про A/A-тест і множинні перевірки.
З XII століття англійський монетний двір проходить «суд скриньки» (Trial of the Pyx): партію монет зважують і порівнюють з еталоном. Допуск для однієї монети множили на кількість монет у партії, а не на корінь з неї. Допуск виходив надто широким: як пише Вейнер, майже 600 років монетний двір міг відбирати надто важкі монети собі, і партія все одно проходила перевірку.
Тверскі й Канеман питали студентів: у великій лікарні народжується 45 дітей на день, у малій 15. Де за рік буде більше днів, коли хлопчиків понад 60%? 56% відповіли «приблизно однаково». Насправді в малій лікарні таких днів 15% (близько 55 на рік), у великій 7% (близько 25).
Так Амос Тверскі і Деніел Канеман жартома назвали статтю 1971 року в Psychological Bulletin, перекрутивши закон великих чисел. Вони показали, що навіть психологи-дослідники з добрим знанням статистики надто довіряють результатам малих вибірок.
Стільки шкіл з 5-ми класами перевірили Вейнер і Цверлінг. Серед 50 найкращих за тестом з читання 12% були серед найменших 3% шкіл, учетверо більше, ніж дав би збіг. Але серед 50 найгірших 18% теж були найменшими.
Вейнер помітив, що десятка найбезпечніших міст США, десятка найнебезпечніших і десятка найбільших не мають жодного спільного міста. Крайні показники злочинності, як і захворюваності, найчастіше дають невеликі міста.
Стільки, за даними Вейнера, Фонд Гейтса до 2001 року роздав на освітні проєкти, у розпал своєї кампанії за малі школи. 2005 року фонд почав відходити від цієї ставки, а 2009 року Білл Гейтс у річному листі визнав, що багато малих шкіл, у які він вкладався, суттєво не підвищили успішність учнів.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Шкільна математика» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.