Перед виборами соціологи опитують людей і передбачають результат. Скільки випадкових виборців треба опитати в країні на 30 мільйонів, щоб прогноз з імовірністю 95% був у межах ±3 пункти від справжнього результату? Зафіксуйте свою оцінку, а потім перевірте її у грі, на симуляції типових помилок і в поясненнях.
Перед виборами соціологи опитують людей і передбачають результат. Щоб прогноз з імовірністю 95% був у межах ±3 пункти, досить 1 068 випадкових людей, і майже не важливо, скільки в країні виборців: 50 тисяч, 30 мільйонів чи 244 мільйони, як у США. Важливо інше: вибірка має бути справді випадковою. Мільйони анкет від «зручних» людей помиляються сильніше, ніж тисяча випадкових.
Опитати всіх неможливо, тому соціологи опитують вибірку і за нею судять про всю країну. Питання в тому, якою великою має бути вибірка.
У країні 30 мільйонів виборців. На виборах двоє кандидатів, А і Б. Скільки відсотків набере кандидат А, ми не знаємо. Саме це й хочемо передбачити.
Ми обираємо людей навмання зі списку всіх виборців: кожен має однаковий шанс потрапити до опитування. Кожен опитаний чесно каже, за кого голосуватиме.
Частка А в опитуванні має бути в межах ±3 відсоткові пункти від справжньої частки, і так має виходити в 95 опитуваннях зі 100. Це стандарт, з яким публікують більшість опитувань.
Скільки людей треба опитати?
«Хоча б відсоток населення, тобто сотні тисяч»
І ще: «для США треба більше, ніж для України». Насправді досить 1 068 людей, і для країни на 30 мільйонів, і для США. Точність опитування залежить від кількості опитаних, а не від їхньої частки в населенні.
Країна на 30 мільйонів виборців, похибка ±3 пункти, 95 опитувань зі 100. Зафіксуйте свою оцінку, перш ніж читати далі.
Тут з'явиться розбір вашої оцінки.
Комп'ютер загадав результат виборів. Опитуйте випадкових виборців порціями і стежте, як звужується похибка. Потім змініть країну: село, місто, країну на 30 мільйонів або США. Для великих країн похибка при тій самій вибірці однакова. Коли будете готові, відкрийте справжній результат.
Тепер країна відома до кінця. Виборців три вікові групи: молодь 18–34 (28%) голосує за А на 64%, люди 35–59 (44%) на 52%, люди 60+ (28%) на 40%. Разом А набирає рівно 52,0%. Оберіть спосіб опитування. Комп'ютер проведе сотні опитувань різного розміру, від 100 до мільйона людей, і покаже, куди вони сходяться.
Смуга показує частку групи серед опитаних, риска її частку серед усіх виборців.
Точність випадкової вибірки залежить лише від її розміру. Упереджена вибірка має ще й зміщення, і воно не зменшується, хоч скільки людей опитай.
Щоб дізнатися, чи досить солі в супі, куштують одну ложку. Для п'ятилітрової каструлі і для двадцятилітрового казана ложка однакова. Важливо лише одне: суп треба добре перемішати.
Опитування працює так само. Кожен опитаний як ложка з добре перемішаного супу: шанс натрапити на прихильника А дорівнює частці А в країні, хоч у ній 50 тисяч виборців, хоч 244 мільйони. Тому точність залежить від кількості опитаних, а не від розміру країни.
Частка А в опитуванні коливається навколо справжньої з розкидом √(p(1 − p)/n). Розкид падає як 1/√n: щоб зменшити похибку вдвічі, треба опитати вчетверо більше людей.
| Опитано | Похибка, 95% |
|---|---|
| 100 | ± 9,8 |
| 400 | ± 4,9 |
| 1 068 | ± 3,0 |
| 4 000 | ± 1,5 |
| 10 000 | ± 1,0 |
Похибка у відсоткових пунктах для частки близько 50%. Після кількох тисяч кожен наступний пункт точності коштує дуже дорого, тому більшість опитувань зупиняється на 1 000–2 000 людей.
Розмір країни входить у формулу лише через поправку √((N − n)/(N − 1)). Вона помітна, коли опитуємо значну частку виборців. У селі на 1 000 людей для ±3 пункти досить 517: опитавши половину села, ми вже знаємо багато про другу половину.
| Виборців, N | Треба для ±3% |
|---|---|
| 1 000 | 517 |
| 10 000 | 965 |
| 50 000 | 1 045 |
| 1 мільйон | 1 066 |
| 30 мільйонів | 1 068 |
| 8 мільярдів | 1 068 |
Похибку опитування складають дві частини: випадковий шум і зміщення. Шум справді падає як 1/√n. Зміщення з'являється, коли одні люди мають більший шанс потрапити у вибірку, ніж інші, і їхні погляди відрізняються. Воно від розміру вибірки не залежить.
Опитування за стаціонарними телефонами в нашій країні дає 45,4% замість 52,0%. При 1 068 людях шум ±3 пункти, і ще є шанс випадково вгадати. При мільйоні шум ±0,1 пункту, і прогноз упевнено, з точністю до десятої, показує неправильне число.
Соціолог дзвонить випадковій людині, а вона не бере слухавку. Найпростіше подзвонити наступній. Після 1 068 анкет у звіті все гарно: вибірка повна, відмов нуль. Але насправді це вибірка з тих, хто бере слухавку, а це частіше старші люди. Наш прогноз падає до 48,9%, і переможцем виходить не той кандидат.
Заміна не прибирає зміщення, а ховає його. Частка тих, хто не відповів, і хто саме не відповів, була єдиною ознакою проблеми. Після заміни її не видно, і виправити зміщення зважуванням уже нема чим.
Похибка ±3 стосується частки одного кандидата. Відрив А від Б рахують з тих самих анкет: коли частка А випадково більша, частка Б на стільки ж менша. Тому похибка відриву майже вдвічі більша: при 1 068 людях це ±6 пунктів.
Заголовок «А випереджає Б на 2 пункти» за опитуванням з тисячі людей насправді означає «не знаємо, хто попереду».
Розкид частки в опитуванні з n людей і похибка з надійністю 95%.
Розв'язуємо відносно n. Найгірший випадок p = 0,5, похибка 3 пункти.
Поправка на розмір популяції N. Вона помітна лише тоді, коли вибірка становить помітну частку N.
Куди сходиться упереджене опитування: w — частка групи, s — шанс її представника потрапити у вибірку, a — частка А в групі. Похибка складається зі зміщення і шуму.
Тотожність Мена (2018): ρ — кореляція між тим, чи потрапила людина у вибірку, і її відповіддю, f = n/N. Звідси ефективний розмір вибірки.
Другий рядок дає розмір вибірки для частки близько 50%, найгіршого випадку. Третій показує, що N лише трохи зменшує потрібну вибірку. Четвертий рахує, куди сходиться упереджене опитування; b у формулі похибки означає зміщення. Останній, тотожність Сяо-Лі Мена, каже те саме мовою кореляції: навіть мала ρ, помножена на величезне √(N/n), дає велику помилку.
Скільки людей потрібно для будь-якої точності й будь-якої країни, чому якість вибірки важливіша за її розмір і як справжні соціологи борються зі зміщенням.
Для всієї країни досить тисячі людей. Але якщо треба знати результат у кожному з 50 штатів з тією самою точністю, у кожному штаті потрібна своя тисяча, разом близько 50 тисяч. Тому exit poll у великих країнах опитує десятки тисяч людей: дорогою є не країна, а деталізація.
Ефект дизайну враховує, що опитування рідко буває простою випадковою вибіркою. Exit poll спершу обирає виборчі дільниці, а потім людей на них. Сусіди голосують схоже, тому 20 анкет з однієї дільниці дають менше інформації, ніж 20 анкет з різних кінців країни. Ефект дизайну 2 означає, що вибірку треба подвоїти.
Частка близька до 50% дає найбільший розкид p(1 − p) = 0,25. Якщо кандидат набирає 10%, для тієї самої похибки вистачить 385 людей. Тому розрахунок «на 50%» є безпечним запасом.
Статистик Сяо-Лі Мен 2018 року показав, що помилку будь-якого опитування можна розкласти на три множники: кореляцію ρ між тим, чи потрапила людина у вибірку, і її відповіддю; розкид поглядів у країні; і √((N − n)/n). Для випадкової вибірки ρ в середньому нуль. Для упередженої навіть ρ = 0,005, тобто майже непомітна залежність, множиться на величезне √(N/n).
Звідси його парадокс великих даних: щойно вибірка не випадкова, розмір країни знову має значення, і чим більша країна, тим гірше. Мільйони анкет з малою кореляцією можуть вартувати кількох сотень випадкових людей.
Справжні соціологи знають, що ідеально випадкової вибірки не буває: хтось не бере слухавку, хтось відмовляється. Тому вони зважують анкети. Якщо молоді у вибірці вдвічі менше, ніж у країні, кожна анкета молодої людини рахується за дві. Частки вікових груп, освіти, регіонів відомі з перепису.
Зважування за віком повністю прибирає зміщення телефону, вулиці й заміни в нашій країні, бо там шанс потрапити у вибірку залежить лише від віку. Але воно не допомагає, коли відповідати не хочуть самі прихильники одного кандидата: віку вони можуть бути будь-якого. І за виправлення треба платити: якщо молоді у вибірці всього кілька десятків, їхні анкети отримують велику вагу, і розкид прогнозу зростає.
Коли зважування не рятує, помиляються всі разом. На виборах у Британії 2015 року консерватори випередили лейбористів на 6,6 пункти, а останні опитування показували майже нічию, зокрема YouGov з 10 307 анкетами. Розслідування Британської ради з опитувань назвало головною причиною нерепрезентативні вибірки, які зважування не виправило.
У США exit poll для телеканалів ABC, CBS, CNN і NBC проводить Edison Research. 2024 року обрали 279 виборчих дільниць за ймовірнісною вибіркою. Інтерв'юери на виході підходили до кожного n-го виборця, приблизно 75 анкет на дільницю. Тих, хто голосував достроково чи поштою, опитували телефоном, SMS та електронною поштою.
Вибірка дільницями дає більшу похибку, ніж проста випадкова: за таблицею самого exit poll для 100 виборців це ±15 пунктів замість ±10. Ось де працює ефект дизайну з калькулятора.
2004 року exit poll завищив Джона Керрі: на 1 460 дільницях відрив у середньому зсунувся на 6,5 пункти на його користь. Звіт Edison/Mitofsky пояснив це тим, що виборці Керрі охочіше погоджувалися відповідати. Якби погоджувалися 56% виборців Керрі і 50% виборців Буша, це пояснило б усю помилку. Це наша пастка «сором'язливих» виборців, лише навпаки.
1936 року журнал Literary Digest розіслав 10 мільйонів анкет і отримав назад близько 2,4 мільйона. Прогноз: переможе Альф Лендон. Франклін Рузвельт набрав 60,8% і 523 з 531 голосу виборників. Адреси журнал брав з телефонних книг, списків клубів, реєстрів і подібних джерел.
Джордж Геллап не лише правильно назвав переможця. Опитавши 3 000 людей з таких самих списків, він заздалегідь передбачив, що Digest покаже Рузвельту 44%. Журнал показав 43%. Так розповідає підручник «Statistics» Фрідмана, Пізані і Пурвса.
Останнє опитування Геллапа давало Томасу Дьюї 49,5%, а Гаррі Трумену 44,5%. Вийшло навпаки: Трумен 49,5%, Дьюї 45,1%. Ранній наклад Chicago Daily Tribune вийшов із заголовком про перемогу Дьюї. Опитування зупинили задовго до виборів, а інтерв'юери самі обирали, кого питати в межах квот.
Сяо-Лі Мен підрахував для виборів у США 2016 року: відповіді 1% виборців, приблизно 2,3 мільйона людей, з кореляцією між участю й голосом лише −0,005 мають таку саму похибку, як справді випадкова вибірка з 400 людей. Розмір вибірки зменшився на 99,98%.
За даними Pew Research Center, 1997 року на типове телефонне опитування відповідало 36% людей, 2012 року 9%, а 2018 року лише 6%. Попри це, зважені телефонні опитування Pew досі дають точні результати з більшості питань.
У другому турі президентських виборів Національний exit poll (Фонд «Демократичні ініціативи», КМІС і Центр Разумкова) опитав 14 561 людину на 300 дільницях методом таємного анкетування. Він дав Володимиру Зеленському 73,0%, офіційний результат ЦВК 73,22%. Виборців у списках було майже 30 мільйонів.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.