Словник / Кореляція
У дні, коли продають більше морозива, більше людей тоне. Зв'язок справжній і помітний у даних. Але морозиво тут ні до чого: в обидва боки штовхає спека. Кореляція вміє показати, що дві речі рухаються разом, і зовсім не вміє сказати чому.
Шар «На пальцях» приховано на всіх задачах.
Кожна точка — один день: скільки продали морозива і скільки людей утонуло. Що більше морозива, то більше утоплень, і це видно неозброєним оком. А тепер залиште лише дні з майже однаковою спекою.
Шар «Строго» приховано на всіх задачах.
Кореляцію позначають r. Вона показує, наскільки точки лягають уздовж прямої лінії. Знак каже про напрям, величина — про те, наскільки тісно.
300 точок. Рухайте повзунок і подивіться, яка хмара відповідає якому числу. Багатьох дивує, що r = 0,3 — це вже «зв'язок», хоча на око хмара майже кругла, а r = 0,8 ще далеко не лінія.
Навіть за тієї самої заданої кореляції 300 випадкових точок дають трохи інше r: «Перемішати» показує, наскільки.
Кореляція — корисне число, але воно легко обманює. Ось ще два способи, як дані можуть сказати одне, а r — інше.
Шар «Глибше» приховано на всіх задачах.
r = Σ (xᵢ − x̄)(yᵢ − ȳ) / √( Σ (xᵢ − x̄)² · Σ (yᵢ − ȳ)² )
Чисельник додає добутки відхилень від середніх. Точка праворуч угорі або ліворуч унизу дає плюс, праворуч унизу або ліворуч угорі — мінус. Знаменник лише нормує суму так, щоб r не залежало від одиниць виміру і лежало між −1 і +1. Звідси видно і слабке місце: одна далека точка дає величезний добуток і може переважити всі інші.
cov(x, x²) = E[x³] − E[x] · E[x²] = 0 − 0 · E[x²] = 0
Якщо x розкидані симетрично навколо нуля, то E[x] = 0 і E[x³] = 0: кожному кубу праворуч відповідає такий самий від'ємний ліворуч. Тож чисельник формули дорівнює нулю, хоча y повністю визначене через x. Кореляція міряє лише прямолінійну частину зв'язку.
rxy·z = (rxy − rxz · ryz) / √( (1 − rxz²)(1 − ryz²) )
Це часткова кореляція: зв'язок морозива x й утоплень y, коли температуру z тримають сталою. У першій симуляції морозиво з температурою корелює на –, утоплення з температурою на –. Їхній добуток – майже дорівнює кореляції морозива з утопленнями, –. Отже, майже весь зв'язок пояснює температура, і часткова кореляція –. Це той самий результат, що й кнопка «лише дні 28–32°», тільки без викидання даних.
Число посередині: якщо всіх вишикувати за зростанням, половина буде нижче, половина вище.
До бару заходить мільйонер, і середній дохід відвідувачів злітає, а медіана ледь ворухнеться.
Сума всіх значень, поділена на їхню кількість: скільки дісталося б кожному, якби поділити порівну.
Майже кожна людина має більше ніг, ніж у середньому: середнє трохи менше за дві.
Середній результат, якого можна чекати, якщо повторювати те саме дуже багато разів.
У грального кубика сподівання 3,5, хоча такої грані немає.
Міра розкиду: наскільки значення в середньому відходять від середнього. Стандартне відхилення — корінь з дисперсії, у тих самих одиницях.
Два міста з однаковою середньою температурою: в одному весь рік близько +15, в іншому то −20, то +50.
Розподіл у формі дзвона: більшість значень біля середнього, а що далі від нього, то рідше.
Кожна кулька на дошці Гальтона падає навмання, а тисячі кульок щоразу складаються в той самий дзвін.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Шанс події за умови, що вже відомо щось інше.
Майже всі баскетболісти НБА високі, але майже всі високі люди не баскетболісти.
Події незалежні, якщо знання про одну не змінює шансів іншої.
Після п'яти орлів поспіль решка не стає ймовірнішою: монета нічого не пам'ятає.
Скільки разів треба помножити основу саму на себе, щоб отримати число: log₂ 8 = 3, бо 2 · 2 · 2 = 8.
Аркуш паперу, складений навпіл 42 рази, був би товщим за відстань до Місяця.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.