Словник / Кореляція
У дні, коли продають більше морозива, більше людей тоне. Зв'язок справжній і помітний у даних. Але морозиво тут ні до чого: в обидва боки штовхає спека. Кореляція вміє показати, що дві речі рухаються разом, і зовсім не вміє сказати чому.
Шар «На пальцях» приховано на всіх задачах.
Кожна точка — один день: скільки продали морозива і скільки людей утонуло. Що більше морозива, то більше утоплень, і це видно неозброєним оком. А тепер залиште лише дні з майже однаковою спекою.
Шар «Строго» приховано на всіх задачах.
Кореляцію позначають r. Вона показує, наскільки точки лягають уздовж прямої лінії. Знак каже про напрям, величина — про те, наскільки тісно.
300 точок. Рухайте повзунок і подивіться, яка хмара відповідає якому числу. Багатьох дивує, що r = 0,3 — це вже «зв'язок», хоча на око хмара майже кругла, а r = 0,8 ще далеко не лінія.
Навіть за тієї самої заданої кореляції 300 випадкових точок дають трохи інше r: «Перемішати» показує, наскільки.
Кореляція — корисне число, але воно легко обманює. Ось ще два способи, як дані можуть сказати одне, а r — інше.
Шар «Глибше» приховано на всіх задачах.
r = Σ (xᵢ − x̄)(yᵢ − ȳ) / √( Σ (xᵢ − x̄)² · Σ (yᵢ − ȳ)² )
Чисельник додає добутки відхилень від середніх. Точка праворуч угорі або ліворуч унизу дає плюс, праворуч унизу або ліворуч угорі — мінус. Знаменник лише нормує суму так, щоб r не залежало від одиниць виміру і лежало між −1 і +1. Звідси видно і слабке місце: одна далека точка дає величезний добуток і може переважити всі інші.
cov(x, x²) = E[x³] − E[x] · E[x²] = 0 − 0 · E[x²] = 0
Якщо x розкидані симетрично навколо нуля, то E[x] = 0 і E[x³] = 0: кожному кубу праворуч відповідає такий самий від'ємний ліворуч. Тож чисельник формули дорівнює нулю, хоча y повністю визначене через x. Кореляція міряє лише прямолінійну частину зв'язку.
rxy·z = (rxy − rxz · ryz) / √( (1 − rxz²)(1 − ryz²) )
Це часткова кореляція: зв'язок морозива x й утоплень y, коли температуру z тримають сталою. У першій симуляції морозиво з температурою корелює на –, утоплення з температурою на –. Їхній добуток – майже дорівнює кореляції морозива з утопленнями, –. Отже, майже весь зв'язок пояснює температура, і часткова кореляція –. Це той самий результат, що й кнопка «лише дні 28–32°», тільки без викидання даних.
Вибірка, у яку одні потрапляють частіше за інших, тож вона погано описує всіх.
1936 року журнал опитав мільйони американців і все одно помилився з переможцем виборів.
Що більше повторень, то ближче частка результату до його справжньої ймовірності.
Частка орлів підповзає до 50%, а різниця між орлами й решками в штуках зазвичай росте.
Наскільки зазвичай промахується середнє чи частка, пораховані з вибірки: σ, поділене на корінь з розміру вибірки.
Щоб удвічі зменшити похибку, треба вчетверо більше даних.
Діапазон навколо виміряного числа, побудований методом, що накриває справжнє значення в обраній частці вибірок, наприклад у 95%.
Із двадцяти чесних 95% інтервалів у середньому один промахується, і жоден не знає, чи це він.
Як часто сам лише випадок дав би розрив щонайменше такий, як у вас, якби різниці насправді не було.
Коли ефекту немає зовсім, p < 0,05 випадає так само часто, як p між 0,50 і 0,55.
Число з байєсівських дашбордів: наскільки ймовірно, що B кращий за A, з огляду на дані й початкове припущення.
«Шанс 97%» каже правду, лише коли кожна ваша ідея щось змінює; якщо чотири з п'яти марні, B кращий лише в третині таких тестів.
Імовірність, що тест помітить справжній ефект заданого розміру. Потужність 80% означає: один робочий ефект із п'яти тест пропустить.
Слабкий A/B-тест, який таки знайшов ефект, майже завжди його перебільшує: справжні +10% на дашборді стають +24%.
Найменший справжній ефект, який тест заданого розміру знайде з імовірністю 80% (зазвичай за рівня значущості 5%). Менші ефекти тест здебільшого пропустить.
Магазину з 1000 відвідувачів на день, щоб надійно помітити +2% до конверсії, треба тестувати сім років.
Спосіб дізнатися похибку будь-якої цифри без формули: багато разів витягнути з власних даних вибірку того самого розміру з поверненням і подивитися, як стрибає результат.
Кожна перевибірка губить третину ваших даних і дублює інші, а розкид таких копій показує справжню похибку.
Невелика випадкова частка клієнтів, яка довго не бачить жодної із запущених змін, щоб порівняння з нею показало, що всі зміни дали разом.
Двадцять змін за рік, і кожна виграла свій A/B-тест, разом майже +50%, а клієнти, які не бачили жодної з них, купують лише приблизно на 7% менше.