Словник / Зміщена вибірка
1936 року американський журнал Literary Digest розіслав близько 10 мільйонів анкет і отримав назад 2,4 мільйона. Прогноз: Альф Лендон набере 57% і стане президентом. Насправді Франклін Рузвельт отримав 60,8% голосів і переміг у 46 штатах із 48. А Джордж Геллап опитав близько 50 000 людей, майже в 50 разів менше, і назвав переможця правильно. Річ була не в кількості відповідей, а в тому, чиї це відповіді.
Шар «На пальцях» приховано на всіх задачах.
У місті запустили новий трамвайний маршрут. Чотири команди хочуть дізнатися, чи він подобається людям. Перша питає випадкових перехожих. Друга телефонує вдень на домашні номери. Третя читає відгуки на сторінці міськради. Четверта поширює анкету в клубі любителів трамваїв, і її заповнює хто хоче. Збирайте відповіді й дивіться, куди повзуть лінії.
Насправді маршрут подобається 40% містян. Вісь відповідей логарифмічна: кожна поділка вдесятеро далі за попередню.
Шар «Строго» приховано на всіх задачах.
Вибірка зміщена, коли спосіб відбору дає одним людям більше шансів потрапити до неї, ніж іншим, і ці шанси пов'язані з тим, що ми міряємо. Якщо всі мають однакові шанси, вибірка випадкова, і вона в середньому не помиляється.
Маленький приклад. Маршрут подобається 40% людей. Ті, кому подобається, відповідають удвічі охочіше. На кожні 100 містян маємо 40 · 2 = 80 «голосів» за і 60 проти. Опитування покаже:
80 / (80 + 60) = 80 / 140 ≈ 57% замість 40%
І так буде за будь-якої кількості відповідей: подвоєння ентузіазму не залежить від того, скільки людей ми опитали.
Адреси журнал брав зі списків своїх передплатників, телефонних книг і реєстрів власників автомобілів. У розпал Великої депресії телефон і авто мали переважно заможніші родини, а вони частіше голосували проти Рузвельта. Це перша пастка: кого взагалі можна досягти. Друга виявилася ще більшою: анкету повернула лише чверть адресатів. Пізніший аналіз (Певеріл Сквайр, 1988) показав, що противники Рузвельта надсилали відповіді охочіше, і саме це найбільше зіпсувало прогноз.
Те саме місто. Проведемо по 200 опитувань двох видів: 100 випадкових перехожих або 10 000 відповідей на денні дзвінки, у сто разів більше. Кожне опитування — одна риска на графіку.
Шар «Глибше» приховано на всіх задачах.
p̂ − p = (E[p̂] − p) + (p̂ − E[p̂]), E[(p̂ − p)²] = зміщення² + q(1 − q) / n
Тут p — справжня частка, p̂ — частка у вибірці, q = E[p̂] — частка серед тих, хто реально потрапляє до вибірки. Перший доданок — зміщення q − p, другий — шум. Шум зменшується як 1/√n: учетверо більша вибірка розкидається вдвічі менше. Зміщення від n не залежить узагалі. Для дзвінків у нашому місті q = 60%, p = 40%:
| Відповідей | Шум (стандартне відхилення) | Зміщення |
|---|---|---|
| 100 | 4,9 пункту | 20 пунктів |
| 10 000 | 0,49 пункту | 20 пунктів |
| 1 000 000 | 0,049 пункту | 20 пунктів |
Мільйон відповідей дає дуже точну оцінку не того числа. Саме так виглядали 2,4 мільйона анкет 1936 року.
p̂зв = Σg Ng/N · p̂g
У нашому місті чверть людей — пенсіонери. Серед них маршрут подобається 76%, серед решти 28%: разом 0,25 · 76% + 0,75 · 28% = 40%. Якщо у вибірці пенсіонерів забагато, можна порахувати частку окремо в кожній групі g і скласти з вагами, які групи мають у місті. Так роблять соціологи з віком, статтю, регіоном. Ось що дає зважування за віком для відповідей, зібраних угорі:
| Опитування | Пенсіонерів у вибірці | Як є | Зважено за віком |
|---|
Дзвінки зважування рятує майже повністю: там спотворено лише те, кого застали вдома, а серед пенсіонерів, що взяли слухавку, думки такі самі, як серед усіх пенсіонерів. Відгуки й анкету фанатів воно майже не виправляє: туди людей відбирає сама думка про маршрут, і всередині кожної вікової групи пишуть саме незадоволені або саме фанати. Зважування працює, лише коли ми знаємо, за якою ознакою люди випадають, і маємо її справжній розподіл. Якщо випадіння залежить від того, що ми міряємо, ніяка формула вже не знає, скільки бракує.
Якщо в таблиці риски, зберіть угорі хоча б кілька десятків відповідей.
Число посередині: якщо всіх вишикувати за зростанням, половина буде нижче, половина вище.
До бару заходить мільйонер, і середній дохід відвідувачів злітає, а медіана ледь ворухнеться.
Сума всіх значень, поділена на їхню кількість: скільки дісталося б кожному, якби поділити порівну.
Майже кожна людина має більше ніг, ніж у середньому: середнє трохи менше за дві.
Середній результат, якого можна чекати, якщо повторювати те саме дуже багато разів.
У грального кубика сподівання 3,5, хоча такої грані немає.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Міра розкиду: наскільки значення в середньому відходять від середнього. Стандартне відхилення — корінь з дисперсії, у тих самих одиницях.
Два міста з однаковою середньою температурою: в одному весь рік близько +15, в іншому то −20, то +50.
Розподіл у формі дзвона: більшість значень біля середнього, а що далі від нього, то рідше.
Кожна кулька на дошці Гальтона падає навмання, а тисячі кульок щоразу складаються в той самий дзвін.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки разів треба помножити основу саму на себе, щоб отримати число: log₂ 8 = 3, бо 2 · 2 · 2 = 8.
Аркуш паперу, складений навпіл 42 рази, був би товщим за відстань до Місяця.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.