Завод нумерує свої танки по порядку: 1, 2, 3 і так далі. Вам трапилися чотири танки з номерами 4, 10, 15 і 60. Скільки танків випустив завод? Зафіксуйте свою оцінку, а потім перевірте її у грі, на 100 000 симуляціях і в поясненнях.
Завод нумерує свої танки по порядку: 1, 2, 3 і так далі. Вам трапилися чотири танки з номерами 4, 10, 15 і 60. Найкраща оцінка: 60 + 60/4 − 1 = 74, тобто найбільший номер плюс середній проміжок між номерами. Так союзники рахували німецькі танки під час Другої світової, і статистика помилилася на один танк на місяць там, де розвідка помилилася майже вшестеро.
Ця задача виникла під час Другої світової війни. Західні союзники хотіли знати, скільки танків щомісяця випускає Німеччина. Крім звичайної розвідки, вони спробували статистику: подивилися на заводські номери деталей захоплених танків.
Завод ставить на кожен танк номер: перший танк отримує 1, другий 2, і так до останнього, N. Число N нам невідоме. Саме його й треба оцінити.
Нам трапилися чотири танки. Відсортуємо їхні номери за зростанням:
Номери починаються з 1 і йдуть без пропусків. Кожен танк мав однаковий шанс потрапити нам до рук, і кожен номер ми бачимо лише раз. Інших відомостей немає.
Яке одне число N найкраще оцінює, скільки танків випустив завод?
«60, бо більшого номера ми не бачили»
Або «удвічі більше за середнє»: середнє чотирьох номерів 22,25, тож N ≈ 2 · 22,25 − 1 = 43,5. Це навіть менше за 60, хоча танк номер 60 точно існує. Найбільший номер майже завжди менший за N, тому до нього треба щось додати. Найкраща оцінка 74.
Раунди 2 і 3 порівнюють ці способи на тисячах вибірок, раунд 4 пояснює, звідки береться формула.
Номери: 4, 10, 15, 60. Зафіксуйте свою оцінку, перш ніж читати далі.
Тут з'явиться розбір вашої оцінки.
Комп'ютер загадав завод із невідомою кількістю танків, від 50 до 500. Захоплюйте танки по одному: кожен показує випадковий номер, якого ви ще не бачили. Коли будете готові, впишіть свою оцінку. Тоді гра покаже справжнє N і оцінку формули m + m/k − 1, де m найбільший номер, а k кількість танків.
Підказка: з 2–3 танками важко вгадати, бо розкид великий навіть у формули. З 8–10 танками формула зазвичай помиляється лише на кілька відсотків.
Завод випустив N = 300 танків. Для кожного k від 1 до 20 беремо k випадкових різних номерів і оцінюємо N трьома способами: найбільшим номером m, подвоєним середнім 2 · x̄ − 1 і формулою m + m/k − 1. Лінії показують точні значення, точки показують симуляцію.
Максимум у середньому занижує: його середнє дорівнює рівно k(N + 1)/(k + 1). Два інші способи в середньому дають рівно 300.
Середньоквадратична відстань від оцінки до 300. Для будь-якого k ≥ 2 формула найточніша, а подвоєне середнє найгірше. Для k = 1 ці дві оцінки збігаються.
Розподіл кожної оцінки для k = 4 і N = 300. Стовпчики показують точний розподіл, точки показують симуляцію. Вертикальна риска позначає справжнє N = 300.
Уся формула тримається на одній думці: випадкові номери ділять ряд 1, 2, …, N на проміжки, які в середньому однакові.
Чотири номери ділять ряд від 1 до N на п'ять проміжків: перед першим номером, три між номерами і один після останнього. Випадкові номери не мають причини скупчуватися ліворуч чи праворуч, тому всі п'ять проміжків у середньому однакові. Чотири з них ми бачимо, п'ятий, над числом 60, прихований.
Від 1 до 60 є 60 номерів. Чотири з них ми бачили, решта 56 сховані в чотирьох видимих проміжках: 3 + 5 + 4 + 44 = 56. У середньому 56/4 = 14 номерів на проміжок. Стільки ж ховається і над 60, тому N ≈ 60 + 14 = 74.
У загальному випадку середній проміжок дорівнює (m − k)/k = m/k − 1. Звідси і формула: N ≈ m + m/k − 1. «−1» з'являється тому, що самі побачені номери в проміжки не входять.
Номер N потрапляє до вибірки з шансом лише k/N. В усіх інших випадках найбільший побачений номер менший за N, а більшим за N він не буває ніколи. Тому максимум систематично занижує. Наприклад, якщо N = 100 і ви бачите 4 танки, найбільший номер у середньому дорівнює 4 · 101/5 = 80,8.
У середньому ця нестача якраз і дорівнює одному проміжку. Формула її повертає.
Середній номер від 1 до N дорівнює (N + 1)/2, тож 2 · x̄ − 1 в середньому дає рівно N. Але така оцінка залежить від усіх номерів, і один випадково малий номер тягне її вниз. Її розкид у √((k + 2)/3) раза більший, ніж у формули: для 4 танків у 1,41 раза.
Гірше того, вона може суперечити фактам. У нашому прикладі вона дає 43,5, хоча ми бачили танк номер 60. Якщо N = 300 і танків 4, таке трапляється в 16,8% вибірок.
Одне число не каже, наскільки ми певні. Простий 95-відсотковий інтервал: від m до m · 201/k. Для наших 4 танків це від 60 до 60 · 201/4 ≈ 127. Знизу межа жорстка, бо танк 60 існує. Згори вона розмита, бо великий завод теж міг випадково дати малі номери.
Звідки 20: шанс, що всі k номерів потраплять у нижню частку p ряду, приблизно pk. Межу ставлять там, де цей шанс дорівнює 5% = 1/20.
Оцінку називають незміщеною, якщо в середньому вона дає рівно N. Незміщених оцінок багато, наприклад подвоєне середнє. Серед усіх незміщених оцінок формула m + m/k − 1 має найменший розкид. Статистики називають її незміщеною оцінкою з мінімальною дисперсією.
Причина в тому, що вся корисна інформація про N міститься в m і k. Решта номерів лише підтверджує, що вибірка випадкова.
Перший рядок рахує вибірки: щоб максимум дорівнював j, решту k − 1 номерів треба обрати з j − 1 менших. Звідси виходить середнє E[m]. Розв'язуємо рівняння відносно N і замість E[m] підставляємо побачене m. Типова помилка формули приблизно N/k: щоб помилка не перевищувала 10%, треба близько 10 танків.
Як союзники застосували цю ідею, що робити, коли номери починаються не з 1, і скільки танків треба, щоб бути певним.
Німецькі танки на місяць. Дані з таблиці у статті Раґлза і Броді (1947), як їх наводить Вікіпедія.
| Місяць | Номери | Розвідка | Факт |
|---|---|---|---|
| VI.1940 | 169 | 1 000 | 122 |
| VI.1941 | 244 | 1 550 | 271 |
| VIII.1942 | 327 | 1 550 | 342 |
«Номери» означає оцінку статистиків за серійними номерами, «Факт» означає німецькі виробничі записи, які союзники отримали після війни.
Звичайна розвідка оцінювала німецьке виробництво з червня 1940 по вересень 1942 року приблизно в 1 400 танків на місяць. Статистики за номерами отримали 246. Після війни документи міністерства Альберта Шпеєра показали 245. Розвідка помилилася майже вшестеро, а статистика на один танк.
Головним джерелом були номери коробок передач, бо вони йшли двома нерозривними послідовностями. Номери шасі й двигунів теж використовували, хоча з ними було складніше. Окремо аналізували колеса, які теж нумерували по порядку.
Справжня робота була складнішою за нашу задачу: наприклад, початок нумерації був невідомий. Сама оцінка в статті з'являється лише у виносці: «максимум вибірки плюс середній проміжок».
Буває, що номери йдуть, скажімо, від 2001 до 2300, і перший номер ми теж не знаємо. Тоді треба оцінити проміжок і знизу, і згори. Між найменшим і найбільшим номером k − 1 проміжків, у них сховано (max − min) − (k − 1) номерів. Середній проміжок g = (max − min)/(k − 1) − 1.
Перший номер оцінюємо як min − g, останній як max + g. Тоді всього номерів:
Ця оцінка теж у середньому дає рівно N (ми перевірили це точним перебором), але потребує щонайменше двох номерів і розкидана більше: вона спирається на два краї замість одного.
Інтервал від m до m · 201/k швидко стискається. Для 1 танка верхня межа в 20 разів більша за m, для 2 у 4,47 раза, для 5 у 1,82 раза, для 10 у 1,35 раза. Типова помилка формули близька до N/k.
Для порівняння: у звичайних опитуваннях похибка падає як 1/√k, тобто вчетверо більша вибірка дає лише вдвічі меншу похибку. Тут вчетверо більша вибірка зменшує похибку майже вчетверо. Край ряду номерів видно напрочуд добре.
Інтервал виводять для вибірки з поверненням. Без повернення, як у нас, він трохи ширший, ніж треба, і накриває N трохи частіше за 95%. Кнопка перевіряє це для N = 300.
Оцінка 74 відповідає на питання «яке правило в середньому не помиляється». Баєсів підхід питає інакше: «які N правдоподібні після того, як ми побачили ці номери». Якщо до спостережень вважати всі N однаково можливими, середнє розподілу N після спостережень для наших номерів дорівнює 88,5, а найімовірніше значення 60.
Це не суперечність, а різні питання. Усі три числа, 60, 74 і 88,5, мають сенс, і всі вони надійніші за оцінку «на око».
За номерами захоплених танків статистики оцінили німецьке виробництво з червня 1940 по вересень 1942 року в 246 танків на місяць. Документи міністерства Шпеєра після війни показали 245. Звичайна розвідка називала близько 1 400.
Аналіз опорних коліс лише двох танків, по 32 на кожному, дав оцінку 270 танків за лютий 1944 року. Німецькі записи після війни показали 276. За номерами коліс оцінювали кількість ливарних форм, а британські виробники коліс підказали, скільки коліс дає одна форма.
Найкорисніші номери стояли на коробках передач: вони йшли двома нерозривними послідовностями. Номери шасі й двигунів теж використовували, але працювати з ними було складніше.
Річард Раґлз і Генрі Броді описали цю роботу в статті «An Empirical Approach to Economic Intelligence in World War II» у Journal of the American Statistical Association. Стаття здебільшого практична: оцінку «максимум плюс середній проміжок» згадано лише у виносці.
Той самий метод застосовували до іншої німецької техніки. Найуспішнішою була оцінка виробництва ракет Фау-2.
Формулою оцінили, скільки випустили домашніх комп'ютерів Commodore 64. Вийшло 12,5 мільйона штук, що збігається з нижніми з наявних оцінок.
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.