Математичні парадокси

Словник / Бутстреп

Словник · бутстреп

Повторити опитування, не питаючи нікого нового

У вас 50 замовлень, і ви порахували середній чек. Наскільки йому вірити? Чесна відповідь — зібрати ще тисячу таких тижнів і подивитися, як стрибає цифра. Бутстреп робить це без жодного нового замовлення: тисячу разів витягує 50 замовлень із ваших же 50, кладучи кожне назад. Кожна така копія губить приблизно третину ваших даних і дублює інші. І все ж розкид цих «зіпсованих» копій майже такий самий, як у справжніх нових тижнів.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Скільки замовлень загубиться

Перевибірка робиться так: 50 разів навмання тягнемо одне з ваших 50 замовлень, записуємо і кладемо назад. Тож те саме замовлення може трапитися двічі чи тричі, а інше — жодного разу.

Яка частка ваших 50 замовлень зазвичай не потрапляє в перевибірку жодного разу?

Тисяча тижнів з одного

У симуляції ми знаємо весь магазин: справжній середній чек 800 грн, окремі замовлення здебільшого від 200 до 2000 грн, зрідка більше. Ви бачите лише 50 замовлень одного тижня. Натисніть «Перевибрати ×1000»: темна гірка — середні чеки тисячі перевибірок. Сіра гірка — те, чого в житті ви не побачите: тисяча справжніх нових тижнів по 50 замовлень. Порівняйте їхню ширину.

1000 перевибірок1000 справжніх нових тижнівваш тижденьправда

Розкид перевибірок–
Формула s / √n–
Справжній розкид–

Зверніть увагу: темна гірка стоїть навколо вашого тижня, а не навколо правди. Бутстреп не підказує, де справжній середній чек. Він підказує, наскільки ваша цифра могла б стрибнути, і саме це потрібно для «±» у звіті та для довірчого інтервалу. А для медіани чи частки повернень зручної формули взагалі немає, тож бутстреп часто єдиний простий спосіб дізнатися похибку.

Чому зіпсовані копії не брешуть

Пояснення на пальцях, трохи спрощене. Новий тиждень у справжньому магазині — це нові 50 покупців, узятих навмання з усіх. Ви не можете піти до всіх, але ваші 50 замовлень — найкращий портрет магазину, який у вас є: дрібних і великих чеків там приблизно в тій самій пропорції. Перевибірка «ходить» у цей портрет так, як ви ходили б у магазин. Те, що одних замовлень бракує, а інші повторилися, — не вада, а сама суть: у новому тижні теж одних покупців не буде, а схожі прийдуть по кілька. Ця випадковість і є похибкою, яку ми шукаємо.

Тому бутстреп настільки добрий, наскільки добрий ваш портрет. Якщо в 50 замовлень випадково не потрапив жоден великий клієнт, перевибірки про нього теж не дізнаються. І якщо вибірка зміщена — скажімо, опитали лише тих, хто відповідає на дзвінки, — бутстреп акуратно виміряє похибку зміщеної цифри.

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Що таке бутстреп

Бутстреп — спосіб оцінити похибку будь-якої цифри, порахованої з вибірки, без формули: з самої вибірки багато разів беруть нову вибірку того самого розміру з поверненням і дивляться, як змінюється результат. Кроки:

  1. Маєте n значень і цифру, яку з них порахували: середнє, медіану, частку, різницю двох груп.
  2. Витягніть n значень навмання з поверненням і порахуйте ту саму цифру.
  3. Повторіть 1000–10 000 разів.
  4. Стандартне відхилення отриманих цифр — це бутстреп-оцінка стандартної похибки. Проміжок між 2,5-м і 97,5-м перцентилями — простий 95% довірчий інтервал.

Частка, що не потрапила: (1 − 1/n)ⁿ → 1/e ≈ 0,368  ·  для середнього: SE* = σ̂ / √n = √((n − 1)/n) · s / √n

Кожне замовлення щоразу оминають з імовірністю 1 − 1/n, а за n спроб — з імовірністю (1 − 1/n)ⁿ. Для середнього бутстреп відтворює відому формулу майже точно: розкид перевибірок дорівнює σ̂ / √n, де σ̂ — розкид ваших n значень. Від звичної s / √n він відрізняється множником √((n − 1)/n), для 50 замовлень це 0,99. Тобто бутстреп «винайшов» формулу стандартної похибки сам, нічого про неї не знаючи.

Вибірка nНе потрапляєРізних значеньРекорд лишається

«Не потрапляє» — частка значень, яких немає в перевибірці; «Різних значень» — скільки різних значень у ній лишається; «Рекорд лишається» — імовірність, що найбільше значення вибірки потрапило в перевибірку.

Коли що брати

  • Середнє чи частка, даних багатоДосить формули σ / √n: бутстреп дасть те саме, тільки повільніше. Він корисний як перевірка, що ви не помилилися у формулі.
  • Медіана, перцентиль, відношенняМедіанний чек, 90-й перцентиль часу завантаження, дохід на користувача, різниця медіан у A/B-тесті. Формули або немає, або вона складна й крихка. Тут бутстреп — перший вибір.
  • Перевибирайте людей, а не сесіїЯкщо одна людина дає кілька рядків даних, тягнуть людину разом з усіма її рядками. Інакше перевибірки вийдуть надто спокійними, і похибка буде заниженою. Для часових рядів так само тягнуть цілі тижні чи блоки днів.
  • Мала й скошена вибіркаНа 50 замовленнях такого магазину інтервал ±2 бутстреп-похибки накриває правду приблизно в 92% випадків, а не в 95%. Що менша вибірка і довший хвіст великих чеків, то оптимістичніший бутстреп. Нових даних він не замінює.
  • Скільки перевибірокДля самої похибки досить 1000: похибка оцінки похибки тоді близько 2%. Для краю інтервалу, 2,5-го перцентиля, краще 10 000.
Глибшеузагальнення, теорія, історія

Шар «Глибше» приховано на всіх задачах.

Де бутстреп сліпне: рекорди

Перемкніть симуляцію на «Найбільше замовлення». Темна гірка перетворюється на стовпчик: у 63,6% перевибірок найбільше замовлення таке саме, як у вашому тижні, бо ваш рекорд потрапляє в перевибірку з імовірністю 1 − (49/50)⁵⁰. Більшого за нього перевибірка не дасть ніколи: вона знає лише ті числа, які ви вже бачили. А справжній рекорд нового тижня вищий за ваш рівно в половині випадків: який із двох тижнів рекордніший, вирішує випадок. У типовому тижні розкид перевибірок для рекорду приблизно втричі менший за справжній.

Те саме з усім, що залежить від країв: максимум, мінімум, найрідший випадок. Бутстреп працює для цифр, які спираються на багато значень одразу, як середнє чи медіана, і підводить для тих, що спираються на одне.

Звідки назва

  • Ефрон, 1979Метод описав стенфордський статистик Бредлі Ефрон у статті «Bootstrap methods: another look at the jackknife» (The Annals of Statistics, 1979). Назва — від англійського виразу «витягнути себе за халявки чобіт»: отримати те, чого, здавалося б, отримати нізвідки.
  • Ніж-складанкаПопередник бутстрепу — «джекнайф» Кенуя (1949) і Т'юкі (1958): викидати з вибірки по одному значенню і дивитися, як змінюється результат. Бутстреп узагальнив цю ідею, але потребував комп'ютерів, які в 1970-х саме стали доступними.
  • ПреміяУ листопаді 2018 року Ефрону присудили Міжнародну премію зі статистики саме за бутстреп; вручили її на Всесвітньому статистичному конгресі 2019 року.
  • Ті самі 37% у машинному навчанніБеггінг Лео Бреймана (1996) і випадковий ліс (2001) навчають кожне дерево на перевибірці. Приблизно 37% даних, які в неї не потрапили, стають готовою тестовою вибіркою для цього дерева.

Де це трапляється

Ще в темі «Дані та експерименти»

Усі терміни →