Математичні парадокси
Курс «Як не обдурити себе даними» · розділ 6 з 16 →

Опитування перед виборами 30 мільйонів виборців. Скільки людей опитати?Досить 1 068.

Перед виборами соціологи опитують людей і передбачають результат. Скільки випадкових виборців треба опитати в країні на 30 мільйонів, щоб прогноз з імовірністю 95% був у межах ±3 пункти від справжнього результату? Зафіксуйте свою оцінку, а потім перевірте її у грі, на симуляції типових помилок і в поясненнях.

Перед виборами соціологи опитують людей і передбачають результат. Щоб прогноз з імовірністю 95% був у межах ±3 пункти, досить 1 068 випадкових людей, і майже не важливо, скільки в країні виборців: 50 тисяч, 30 мільйонів чи 244 мільйони, як у США. Важливо інше: вибірка має бути справді випадковою. Мільйони анкет від «зручних» людей помиляються сильніше, ніж тисяча випадкових.

Вгадати відповідь
1 068людей для ±3% у будь-якій країні
2,4 млнанкет, які помилилися в 1936 році
Умова задачі

Країна, двоє кандидатів і одне опитування

Опитати всіх неможливо, тому соціологи опитують вибірку і за нею судять про всю країну. Питання в тому, якою великою має бути вибірка.

  1. 1

    Країна

    У країні 30 мільйонів виборців. На виборах двоє кандидатів, А і Б. Скільки відсотків набере кандидат А, ми не знаємо. Саме це й хочемо передбачити.

  2. 2

    Випадкова вибірка

    Ми обираємо людей навмання зі списку всіх виборців: кожен має однаковий шанс потрапити до опитування. Кожен опитаний чесно каже, за кого голосуватиме.

  3. 3

    Точність

    Частка А в опитуванні має бути в межах ±3 відсоткові пункти від справжньої частки, і так має виходити в 95 опитуваннях зі 100. Це стандарт, з яким публікують більшість опитувань.

  4. 4

    Питання

    Скільки людей треба опитати?

Інтуїція підказує

«Хоча б відсоток населення, тобто сотні тисяч»

І ще: «для США треба більше, ніж для України». Насправді досить 1 068 людей, і для країни на 30 мільйонів, і для США. Точність опитування залежить від кількості опитаних, а не від їхньої частки в населенні.

Де ховається пастка

  • Розрахунок працює, лише якщо вибірка справді випадкова.
  • Опитати тих, у кого є стаціонарний телефон, тих, хто проходить повз, або замінити тих, хто не відповів, означає вже не випадкову вибірку.
  • Таку помилку не виправити більшою вибіркою. Раунд 3 це показує.
Раунд 1 · Вгадайте

Скільки людей треба опитати?

Країна на 30 мільйонів виборців, похибка ±3 пункти, 95 опитувань зі 100. Зафіксуйте свою оцінку, перш ніж читати далі.

Тут з'явиться розбір вашої оцінки.

Підказки

Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.

Далі розв'язок

Далі пояснення, і в ньому спойлери

Наступні раунди показують, скільки людей треба опитати: гра з опитуванням, пастки вибірки і пояснення. Спершу відповісти в раунді 1 чи йти далі?

Ви обрали завжди показувати всі раунди.

Раунд 2 · Гра

Опитайте країну

Комп'ютер загадав результат виборів. Опитуйте випадкових виборців порціями і стежте, як звужується похибка. Потім змініть країну: село, місто, країну на 30 мільйонів або США. Для великих країн похибка при тій самій вибірці однакова. Коли будете готові, відкрийте справжній результат.

за А за Б ще не опитані

Опитано, n0
За А в опитуванні–

Раунд 3 · Симуляція

Пастки вибірки

Тепер країна відома до кінця. Виборці діляться на три вікові групи: молодь 18–34 (28%) голосує за А на 64%, люди 35–59 (44%) на 52%, люди 60+ (28%) на 40%. Разом А набирає рівно 52,0%. Оберіть спосіб опитування. Комп'ютер проведе сотні опитувань різного розміру, від 100 до мільйона людей, і покаже, куди вони сходяться.

Прогноз для А залежно від розміру вибірки

справжній результат 52,0% окремі опитування 95% опитувань мають бути тут (точно)

Хто потрапив у вибірку

Смуга показує частку групи серед опитаних, риска її частку серед усіх виборців.

Прогноз при 1 068 людях
–
Прогноз при мільйоні людей
–
Опитувань з 1 068, що назвали не того переможця
–
Зміщення, яке не зникає
–
Раунд 4 · Пояснення

Ложка супу і криве сито

Точність випадкової вибірки залежить лише від її розміру. має ще й зміщення, і воно не зменшується, хоч скільки людей опитай.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Ідея · ложка супу

Більша каструля не потребує більшої ложки

Щоб дізнатися, чи досить солі в супі, куштують одну ложку. Для п'ятилітрової каструлі і для двадцятилітрового казана ложка однакова. Важливо лише одне: суп треба добре перемішати.

Опитування працює так само. Кожен опитаний як ложка з добре перемішаного супу: шанс натрапити на прихильника А дорівнює частці А в країні, хоч у ній 50 тисяч виборців, хоч 244 мільйони. Тому точність залежить від кількості опитаних, а не від розміру країни.

Зміщення

Шум зникає, зміщення лишається

Похибку опитування складають дві частини: випадковий шум і зміщення. Шум справді падає як 1/√n. Зміщення з'являється, коли одні люди мають більший шанс потрапити у вибірку, ніж інші, і їхні погляди відрізняються. Воно від розміру вибірки не залежить.

Опитування за стаціонарними телефонами в нашій країні дає 45,4% замість 52,0%. При 1 068 людях шум ±3 пункти, і ще є шанс випадково вгадати. При мільйоні шум ±0,1 пункту, і прогноз упевнено, з точністю до десятої, показує неправильне число.

Заміна

Чому не можна замінювати тих, хто не відповів

Соціолог дзвонить випадковій людині, а вона не бере слухавку. Найпростіше подзвонити наступній. Після 1 068 анкет у звіті все гарно: вибірка повна, відмов нуль. Але насправді це вибірка з тих, хто бере слухавку, а це частіше старші люди. Наш прогноз падає до 48,9%, і переможцем виходить не той кандидат.

Заміна не прибирає зміщення, а ховає його. Частка тих, хто не відповів, і хто саме не відповів, була єдиною ознакою проблеми. Після заміни її не видно, і виправити зміщення зважуванням уже нема чим.

Відрив

Перевага в 2 пункти означає нічию

Похибка ±3 стосується частки одного кандидата. Відрив А від Б рахують з тих самих анкет: коли частка А випадково більша, частка Б на стільки ж менша. Тому похибка відриву майже вдвічі більша: при 1 068 людях це ±6 пунктів.

Заголовок «А випереджає Б на 2 пункти» за опитуванням з тисячі людей насправді означає «не знаємо, хто попереду».

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Чому √n

Учетверо більше людей, удвічі менша похибка

Частка А в опитуванні коливається навколо справжньої з розкидом √(p(1 − p)/n). Розкид падає як 1/√n: щоб зменшити похибку вдвічі, треба опитати вчетверо більше людей. Через це на обох кінцях будь-якого рейтингу опиняються найменші вибірки: див. найнебезпечніше рівняння.

ОпитаноПохибка, 95%
100± 9,8
400± 4,9
1 068± 3,0
4 000± 1,5
10 000± 1,0

Похибка у для частки близько 50%. Після кількох тисяч кожен наступний пункт точності коштує дуже дорого, тому більшість опитувань зупиняється на 1 000–2 000 людей.

Коли розмір таки важить

Лише якщо опитати помітну частку

Розмір країни входить у формулу лише через поправку √((N − n)/(N − 1)). Вона помітна, коли опитуємо значну частку виборців. У селі на 1 000 людей для ±3 пункти досить 517: опитавши половину села, ми вже знаємо багато про другу половину.

Виборців, NТреба для ±3%
1 000517
10 000965
50 0001 045
1 мільйон1 066
30 мільйонів1 068
8 мільярдів1 068
Для тих, хто любить формули

Розмір вибірки, поправка і зміщення

Розкид частки в опитуванні з n людей і похибка з надійністю 95%.

SE=p(1−p)n,E=z·SE,z95%=1,96

Розв'язуємо відносно n. Найгірший випадок p = 0,5, похибка 3 пункти.

n0=z2p(1−p)E2=1,962·0,250,032=1 067,1 ⇒n=1 068

Поправка на розмір популяції N. Вона помітна лише тоді, коли вибірка становить помітну частку N.

n=n01+n0−1N N=30 000 000→1 068,N=1 000→517

Куди сходиться упереджене опитування: w — частка групи, s — шанс її представника потрапити у вибірку, a — частка А в групі. Похибка складається зі зміщення і шуму.

E[p^]=∑gwgsgag∑gwgsg MSE=b2+p(1−p)n

Тотожність Мена (2018): ρ — між тим, чи потрапила людина у вибірку, і її відповіддю, f = n/N. Звідси ефективний розмір вибірки.

p^−p=ρ·1−ff·σ neff≈f(1−f)ρ2=0,010,99·0,0052≈400

Другий рядок дає розмір вибірки для частки близько 50%, найгіршого випадку. Третій показує, що N лише трохи зменшує потрібну вибірку. Четвертий рахує, куди сходиться упереджене опитування; b у формулі похибки означає зміщення. Останній, тотожність Сяо-Лі Мена, каже те саме мовою кореляції: навіть мала ρ, помножена на величезне √(N/n), дає велику помилку.

Раунд 5 · Масштабування

Від калькулятора до exit poll

Скільки людей потрібно для будь-якої точності й будь-якої країни, чому якість вибірки важливіша за її розмір і як справжні соціологи борються зі зміщенням.

Калькулятор вибірки

Треба опитати–
Похибка відриву–

Перевірка симуляцією

Математика

Регіони коштують дорожче за країну

Для всієї країни досить тисячі людей. Але якщо треба знати результат у кожному з 50 штатів з тією самою точністю, у кожному штаті потрібна своя тисяча, разом близько 50 тисяч. Тому exit poll у великих країнах опитує десятки тисяч людей: дорогою є не країна, а деталізація.

Ефект дизайну враховує, що опитування рідко буває простою випадковою вибіркою. Exit poll спершу обирає виборчі дільниці, а потім людей на них. Сусіди голосують схоже, тому 20 анкет з однієї дільниці дають менше інформації, ніж 20 анкет з різних кінців країни. Ефект дизайну 2 означає, що вибірку треба подвоїти. Для таких вибірок похибку часто рахують : тисячі разів перевибирають цілі дільниці з поверненням і дивляться, як стрибає результат.

Частка близька до 50% дає найбільший розкид p(1 − p) = 0,25. Якщо кандидат набирає 10%, для тієї самої похибки вистачить 385 людей. Тому розрахунок «на 50%» є безпечним запасом.

Скільки вартують мільйони анкет

Вартують стільки випадкових–
Типова помилка–

Логіка

Якість важливіша за кількість

Статистик Сяо-Лі Мен 2018 року показав, що помилку будь-якого опитування можна розкласти на три множники: кореляцію ρ між тим, чи потрапила людина у вибірку, і її відповіддю; розкид поглядів у країні; і √((N − n)/n). Для випадкової вибірки ρ в нуль. Для упередженої навіть ρ = 0,005, тобто майже непомітна залежність, множиться на величезне √(N/n).

Звідси його парадокс великих даних: щойно вибірка не випадкова, розмір країни знову має значення, і чим більша країна, тим гірше. Мільйони анкет з малою кореляцією можуть вартувати кількох сотень випадкових людей.

Зважування: що можна виправити

Без зважування–
Після зважування–

Практика

Виправити можна лише виміряне

Справжні соціологи знають, що ідеально випадкової вибірки не буває: хтось не бере слухавку, хтось відмовляється. Тому вони зважують анкети. Якщо молоді у вибірці вдвічі менше, ніж у країні, кожна анкета молодої людини рахується за дві. Частки вікових груп, освіти, регіонів відомі з перепису.

Зважування за віком повністю прибирає зміщення телефону, вулиці й заміни в нашій країні, бо там шанс потрапити у вибірку залежить лише від віку. Але воно не допомагає, коли відповідати не хочуть самі прихильники одного кандидата: віку вони можуть бути будь-якого. І за виправлення треба платити: якщо молоді у вибірці всього кілька десятків, їхні анкети отримують велику вагу, і розкид прогнозу зростає.

Коли зважування не рятує, помиляються всі разом. На виборах у Британії 2015 року консерватори випередили лейбористів на 6,6 пункту, а останні опитування показували майже нічию, зокрема YouGov з 10 307 анкетами. Розслідування Британської ради з опитувань назвало головною причиною нерепрезентативні вибірки, які зважування не виправило.

Exit poll

Як влаштоване опитування на виході

У США exit poll для телеканалів ABC, CBS, CNN і NBC проводить Edison Research. 2024 року обрали 279 виборчих дільниць за ймовірнісною вибіркою. Інтерв'юери на виході підходили до кожного n-го виборця, приблизно 75 анкет на дільницю. Тих, хто голосував достроково чи поштою, опитували телефоном, SMS та електронною поштою.

Вибірка дільницями дає більшу похибку, ніж проста випадкова: за таблицею самого exit poll для 100 виборців це ±15 пунктів замість ±10. Ось де працює ефект дизайну з калькулятора.

2004 року exit poll завищив Джона Керрі: на 1 460 дільницях відрив у середньому зсунувся на 6,5 пункту на його користь. Звіт Edison/Mitofsky пояснив це тим, що виборці Керрі охочіше погоджувалися відповідати. Якби погоджувалися 56% виборців Керрі і 50% виборців Буша, це пояснило б усю помилку. Це наша пастка «сором'язливих» виборців, лише навпаки.

Не лише вибори

Де ще ховається упереджена вибірка

  • Відгуки й оцінки. Відгук пишуть ті, кого продукт або дуже порадував, або дуже розлютив. Середня оцінка не є думкою всіх покупців.
  • Опитування користувачів. Анкету в застосунку бачать лише ті, хто ним досі користується. Ті, хто пішов, не скажуть, чому пішли.
  • Онлайн-голосування. «85% наших читачів проти» означає лише думку тих, хто захотів натиснути кнопку.
  • A/B-тести. Тест на «зручній» частині трафіку, скажімо лише в робочі години, дає точну відповідь для неправильної аудиторії.
Бонус · Цікаві факти

Що розповісти друзям

2,4 млн

Найбільше опитування, найбільша помилка

1936 року журнал Literary Digest розіслав 10 мільйонів анкет і отримав назад близько 2,4 мільйона. Прогноз: переможе Альф Лендон. Франклін Рузвельт набрав 60,8% і 523 з 531 голосу виборників. Адреси журнал брав з телефонних книг, списків клубів, реєстрів і подібних джерел.

3 000

Геллап передбачив і помилку

Джордж Геллап не лише правильно назвав переможця. Опитавши 3 000 людей з таких самих списків, він заздалегідь передбачив, що Digest покаже Рузвельту 44%. Журнал показав 43%. Так розповідає підручник «Statistics» Фрідмана, Пізані і Пурвса.

1948

«Дьюї переміг Трумена»

Останнє опитування Геллапа давало Томасу Дьюї 49,5%, а Гаррі Трумену 44,5%. Вийшло навпаки: Трумен 49,5%, Дьюї 45,1%. Ранній наклад Chicago Daily Tribune вийшов із заголовком про перемогу Дьюї. Опитування зупинили задовго до виборів, а інтерв'юери самі обирали, кого питати в межах квот.

400

2,3 мільйона анкет за ціною 400

Сяо-Лі Мен підрахував для виборів у США 2016 року: відповіді 1% виборців, приблизно 2,3 мільйона людей, з кореляцією між участю й голосом лише −0,005 мають таку саму похибку, як справді випадкова вибірка з 400 людей. Розмір вибірки зменшився на 99,98%.

6%

Хто ще бере слухавку

За даними Pew Research Center, 1997 року на типове телефонне опитування відповідало 36% людей, 2012 року 9%, а 2018 року лише 6%. Попри це, зважені телефонні опитування Pew досі дають точні результати з більшості питань.

73,0%

Український exit poll 2019

У другому турі президентських виборів Національний exit poll (Фонд «Демократичні ініціативи», КМІС і Центр Разумкова) опитав 14 561 людину на 300 дільницях методом таємного анкетування. Він дав Володимиру Зеленському 73,0%, офіційний результат ЦВК 73,22%. Виборців у списках було майже 30 мільйонів.

Мистецтво статистики. Прийняття аргументованих рішень на основі даних

Девід Шпіґельгалтер

КМ-Букс, 2023 · розділи 3 і 9

Dark Data

Девід Генд

2020, англійською · розділ 2

Naked Statistics

Чарльз Вілан

2013, англійською · розділи 7 і 10

How to Lie with Statistics

Даррелл Гафф

1954, англійською · розділ 1

A Field Guide to Lies

Деніел Левітін

2016, англійською · частина 1

Усі книжки →
Обговорення

Що ви думаєте?

Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.

Рівень «Шкільна математика» відповідає задачі?

Дякуємо! Це допоможе точніше ставити рівні.

Розсилка

Нові задачі, пояснення й обговорення

Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.

Форма підписки з'явиться тут найближчим часом.