Словник / Бутстреп
У вас 50 замовлень, і ви порахували середній чек. Наскільки йому вірити? Чесна відповідь — зібрати ще тисячу таких тижнів і подивитися, як стрибає цифра. Бутстреп робить це без жодного нового замовлення: тисячу разів витягує 50 замовлень із ваших же 50, кладучи кожне назад. Кожна така копія губить приблизно третину ваших даних і дублює інші. І все ж розкид цих «зіпсованих» копій майже такий самий, як у справжніх нових тижнів.
Шар «На пальцях» приховано на всіх задачах.
Перевибірка робиться так: 50 разів навмання тягнемо одне з ваших 50 замовлень, записуємо і кладемо назад. Тож те саме замовлення може трапитися двічі чи тричі, а інше — жодного разу.
Яка частка ваших 50 замовлень зазвичай не потрапляє в перевибірку жодного разу?
Бракує 36,4% замовлень, тобто зазвичай близько 18 з 50. Для великих вибірок ця частка прямує до 1/e ≈ 36,8%.
Ось одна перевибірка. Кожна клітинка — одне з ваших замовлень, число в ній — скільки разів його витягли. Порожні пунктирні клітинки не потрапили зовсім, темні трапилися двічі й більше.
У симуляції ми знаємо весь магазин: справжній середній чек 800 грн, окремі замовлення здебільшого від 200 до 2000 грн, зрідка більше. Ви бачите лише 50 замовлень одного тижня. Натисніть «Перевибрати ×1000»: темна гірка — середні чеки тисячі перевибірок. Сіра гірка — те, чого в житті ви не побачите: тисяча справжніх нових тижнів по 50 замовлень. Порівняйте їхню ширину.
1000 перевибірок1000 справжніх нових тижнівваш тижденьправда
Зверніть увагу: темна гірка стоїть навколо вашого тижня, а не навколо правди. Бутстреп не підказує, де справжній середній чек. Він підказує, наскільки ваша цифра могла б стрибнути, і саме це потрібно для «±» у звіті та для довірчого інтервалу. А для медіани чи частки повернень зручної формули взагалі немає, тож бутстреп часто єдиний простий спосіб дізнатися похибку.
Пояснення на пальцях, трохи спрощене. Новий тиждень у справжньому магазині — це нові 50 покупців, узятих навмання з усіх. Ви не можете піти до всіх, але ваші 50 замовлень — найкращий портрет магазину, який у вас є: дрібних і великих чеків там приблизно в тій самій пропорції. Перевибірка «ходить» у цей портрет так, як ви ходили б у магазин. Те, що одних замовлень бракує, а інші повторилися, — не вада, а сама суть: у новому тижні теж одних покупців не буде, а схожі прийдуть по кілька. Ця випадковість і є похибкою, яку ми шукаємо.
Тому бутстреп настільки добрий, наскільки добрий ваш портрет. Якщо в 50 замовлень випадково не потрапив жоден великий клієнт, перевибірки про нього теж не дізнаються. І якщо вибірка зміщена — скажімо, опитали лише тих, хто відповідає на дзвінки, — бутстреп акуратно виміряє похибку зміщеної цифри.
Шар «Строго» приховано на всіх задачах.
Бутстреп — спосіб оцінити похибку будь-якої цифри, порахованої з вибірки, без формули: з самої вибірки багато разів беруть нову вибірку того самого розміру з поверненням і дивляться, як змінюється результат. Кроки:
Частка, що не потрапила: (1 − 1/n)ⁿ → 1/e ≈ 0,368 · для середнього: SE* = σ̂ / √n = √((n − 1)/n) · s / √n
Кожне замовлення щоразу оминають з імовірністю 1 − 1/n, а за n спроб — з імовірністю (1 − 1/n)ⁿ. Для середнього бутстреп відтворює відому формулу майже точно: розкид перевибірок дорівнює σ̂ / √n, де σ̂ — розкид ваших n значень. Від звичної s / √n він відрізняється множником √((n − 1)/n), для 50 замовлень це 0,99. Тобто бутстреп «винайшов» формулу стандартної похибки сам, нічого про неї не знаючи.
| Вибірка n | Не потрапляє | Різних значень | Рекорд лишається |
|---|
«Не потрапляє» — частка значень, яких немає в перевибірці; «Різних значень» — скільки різних значень у ній лишається; «Рекорд лишається» — імовірність, що найбільше значення вибірки потрапило в перевибірку.
Шар «Глибше» приховано на всіх задачах.
Перемкніть симуляцію на «Найбільше замовлення». Темна гірка перетворюється на стовпчик: у 63,6% перевибірок найбільше замовлення таке саме, як у вашому тижні, бо ваш рекорд потрапляє в перевибірку з імовірністю 1 − (49/50)⁵⁰. Більшого за нього перевибірка не дасть ніколи: вона знає лише ті числа, які ви вже бачили. А справжній рекорд нового тижня вищий за ваш рівно в половині випадків: який із двох тижнів рекордніший, вирішує випадок. У типовому тижні розкид перевибірок для рекорду приблизно втричі менший за справжній.
Те саме з усім, що залежить від країв: максимум, мінімум, найрідший випадок. Бутстреп працює для цифр, які спираються на багато значень одразу, як середнє чи медіана, і підводить для тих, що спираються на одне.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Число від −1 до +1, що показує, наскільки дві величини рухаються разом.
Улітку ростуть і продаж морозива, і кількість утоплень. Морозиво тут ні до чого: обох розганяє спека.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.