Математичні парадокси

Регресія до середнього Після похвали гірше, після критики краще. Чи працює критика?Слова тут ні до чого.

Тренер хвалить найкращих гравців і сварить найгірших. Після похвали гравці грають гірше, а після критики краще. Чи означає це, що критика працює, а похвала шкодить? Зафіксуйте свою відповідь, а потім перевірте її в грі, на симуляції і через п'ять пояснень.

Будь-який результат складається з уміння і везіння. Хто став найкращим, тому зазвичай пощастило, і наступного разу він опуститься ближче до середнього. Хто став найгіршим, той зазвичай піде вгору. Так буває з похвалою, з критикою і взагалі без них. Перевірте це в грі, на симуляції і через п'ять пояснень.

Вгадати відповідь
84%із 10% найкращих наступного разу гірші
½шляху назад до середнього, коли везіння важить половину
Умова задачі

Уявіть: ви тренуєте команду

Назву явищу дав Френсіс Гальтон у статті 1886 року про зріст батьків і дітей. Спершу розгляньмо модель, а потім питання.

Назву явищу дав Френсіс Гальтон у статті 1886 року про зріст батьків і дітей. Парадокс ховається у висновках, які ми робимо: ми бачимо причину там, де працює випадок.

  1. 1

    Гравці

    Кожен гравець має приховане вміння. Воно не змінюється від раунду до раунду. Його ніхто не бачить, навіть тренер.

  2. 2

    Раунд

    Результат у раунді дорівнює вмінню плюс везіння. Везіння щоразу нове: у когось удалий день, у когось ні.

  3. 3

    Відгук

    Після раунду 1 тренер хвалить найкращих і сварить найгірших. Або мовчить.

  4. 4

    Питання

    Що станеться в раунді 2 з найкращими і з найгіршими? І чи доводить це щось про похвалу та критику?

Інтуїція підказує

«Похвалені розслабилися, а насварені зібралися. Отже, критика працює краще»

Насправді найкращі опускаються, а найгірші піднімаються навіть тоді, коли тренер мовчить. Серед найкращих у раунді 1 здебільшого ті, кому пощастило. У раунді 2 везіння нове, і їхній результат повертається ближче до їхнього справжнього рівня.

Припущення моделі

  • Результат = вміння + везіння.
  • Вміння в обох раундах однакове.
  • Везіння в раундах незалежне, у середньому нуль.
  • Похвала і критика ні на що не впливають.

Результати мають середнє 50 і стандартне відхилення 10. Скільки в них везіння, ви зможете змінити в раунді 3.

Раунд 1 · Вгадайте

Чи працює крик інструктора?

Інструктор льотної школи хвалить курсантів за вдалі посадки і сварить за невдалі. Він помітив: після похвали наступна посадка зазвичай гірша, а після прочухана краща. Він робить висновок, що критика працює, а похвала шкодить. Що скажете ви?

Ваша відповідь

Оберіть відповідь. Тут з'явиться симуляція 5 000 курсантів, яким ніхто нічого не казав.

Підказки

Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.

Далі розв'язок

Далі пояснення, і в ньому спойлери

Наступні раунди показують, чи працює крик інструктора: гра, 3000 гравців і пояснення. Спершу відповісти в раунді 1 чи йти далі?

Ви обрали завжди показувати всі раунди.

Раунд 2 · Гра

Похваліть, насваріть або промовчіть

30 гравців уже зіграли раунд 1. Малинові лінії позначають п'ятьох найкращих, чорні п'ятьох найгірших. Оберіть, що скажете команді, і подивіться на раунд 2. Зіграйте з кількома групами, з відгуком і без нього: таблиця праворуч їх порівнює.

Середня зміна від раунду 1 до раунду 2

Груп5 найкращих5 найгірших

Теорія: у середньому п'ятірка найкращих з 30 має 64,5 бала в раунді 1 і 57,2 у раунді 2. П'ятірка найгірших має 35,5 і 42,8. У цій грі вміння і везіння важать порівну.

Раунд 3 · Симуляція

3 000 гравців і повзунок везіння

Кожна точка означає гравця: по горизонталі його раунд 1, по вертикалі раунд 2. Якби результат залежав лише від уміння, точки лягли б на пунктирну діагональ. Що більше везіння, то пологіша лінія: її нахил дорівнює кореляції між раундами.

гравці теорія: 50 + r·(x − 50) середнє раунду 2 в кожному стовпчику 10% найкращих у раунді 1
Нахил лінії (кореляція)
–
10% найкращих: раунд 1 → раунд 2
–
З них у раунді 2 гірші, ніж у раунді 1
–

Нахил r за різної частки везіння:

Раунд 4 · П'ять пояснень

Чому крайнощі повертаються до середини

Ключ у тому, що ми відбираємо людей за результатом, а результат змішує вміння з везінням. Ось п'ять способів це побачити. Числа в перших двох картках беруться із симуляції раунду 3.

На пальцяхкартинки, аналогії, маленькі числа

Шар «На пальцях» приховано на всіх задачах.

Відбір за крайнощами

Нагору потрапляють ті, кому пощастило

Середнє везіння 10% найкращих у раунді 1–
Везіння тих самих гравців у раунді 2–

Назад у часі

Регресія працює і в зворотний бік

10% найкращих у раунді 2–
Ті самі гравці в раунді 1–

Візьміть найкращих у раунді 2 і подивіться, як вони грали раніше. Тоді вони теж грали гірше. Час тут не важливий, і ніхто не «втомився від успіху». Відбір за одним виміром показує регресію в іншому щоразу, коли в результатах є частка везіння.

Контрольна група

Ефект видно і без жодного втручання

Найкращі з похвалою−7,2
Найкращі без похвали−7,2

Щоб дізнатися, чи діє похвала, треба порівняти дві схожі групи: одну хвалять, іншу ні. Ефект похвали дорівнює різниці між змінами в групах. Тут вона нуль. Без контрольної групи падіння на 7 балів легко списати на похвалу.

Не «закон рівноваги»

Везіння не повертає борг

Регресія не означає, що після удачі мусить бути невдача. Везіння в раунді 2 у нульове. Найкращі опускаються до свого справжнього рівня, і нижче вони в середньому не падають. Їхній раунд 2 у середньому все одно вищий за загальне середнє.

І розкид не зменшується: у раунді 2 з'являються нові лідери і нові аутсайдери, яким пощастило або не пощастило вже цього разу.

Строготаблиці, графіки, формули

Шар «Строго» приховано на всіх задачах.

Для тих, хто любить формули

Вміння, везіння і кореляція

Результат у кожному раунді складається із середнього μ, вміння S, яке не змінюється, і везіння E, нового щоразу.

X1=μ+S+E1 X2=μ+S+E2

r між раундами дорівнює частці вміння в розкиді результатів.

r=Var(S)Var(S)+Var(E) =1−частка везіння

Очікуваний результат у раунді 2 для гравця, який у раунді 1 набрав X1.

E[X2|X1]=μ+r·(X1−μ) μ=50,r=0,5,X1=70 50+0,5·20=60

Яка частина відхилення в раунді 1 була везінням.

E[E1|X1]=(1−r)·(X1−μ) 0,5·20=10балів везіння

10% найкращих у раунді 1: їхній середній результат, а потім очікуваний результат у раунді 2.

μ+σ·φ(z)0,1=50+10·1,755=67,5 50+0,5·17,5=58,8

Очікуваний результат у раунді 2 віддаляється від середнього лише на частку r від того, наскільки далеко був раунд 1. Решта відхилення була везінням. Коли везіння немає (r = 1), регресії немає. Коли є лише везіння (r = 0), раунд 2 у середньому дорівнює загальному середньому, хоч би яким був раунд 1.

Раунд 5 · Ускладнюємо

Ліки, обкладинки, другий сезон і зріст

Регресія з'являється всюди, де людей відбирають за одним крайнім виміром, а потім вимірюють ще раз. Оберіть приклад або налаштуйте частку везіння і розмір відібраної групи. Параметри прикладів умовні, вони лише ілюструють механізм.

усі відібрані, перший вимір ті самі, другий вимір

Бонус · У роботі

Де це трапляється в роботі

Реальні ситуації з маркетингу, аналітики, продукту й бізнесу, де працює та сама математика. Лише відомі дані, дослідження і прості розрахунки, які можна перевірити.

Продукт і підприємництво

Програма для «найгірших» виглядає дивом

Ситуація
Організація Camden Coalition у США допомагала пацієнтам, які найчастіше потрапляли до лікарні: координатори, візити додому, допомога з ліками. Ранні дані без контрольної групи показували різке падіння госпіталізацій серед учасників.
Де пастка
Учасників набирали на піку проблем, тож наступного періоду їм і так ставало краще. Рандомізоване дослідження на 800 пацієнтах показало: за 180 днів повторно госпіталізували 62,3 % учасників програми і 61,7 % контрольної групи. Падіння було регресією до середнього. Те саме з «найгіршими» клієнтами, магазинами чи менеджерами, яких відібрали за одним поганим періодом.
Як врахувати
Якщо втручання спрямоване на тих, кого відібрали за крайнім результатом, лишіть контрольну групу з таких самих відібраних, якій нічого не роблять. Порівнюйте з нею, а не з «до».

Джерело: Finkelstein, Zhou, Taubman, Doyle, «Health Care Hotspotting — A Randomized, Controlled Trial», New England Journal of Medicine, 2020.

Performance-маркетинг

Найгірші кампанії тижня «виправляються» самі

Ситуація
100 груп оголошень з однаковим справжнім CPA 20 $: кожна витрачає 400 $ на тиждень і в середньому приносить 20 конверсій. У понеділок медіабаєр бере 10 найгірших за минулий тиждень і переписує їм креативи.
Де пастка
При 20 конверсіях випадковий розкид близько 22 % (1 / √20), тож хтось обов'язково виглядає погано. У симуляції 10 найгірших мали CPA близько 32 $, а наступного тижня без жодних змін близько 21 $. Будь-яка правка цим групам «спрацює».
Як врахувати
Перш ніж оцінювати правку, порахуйте, який розкид дає сама кількість конверсій. Залиште частину «найгірших» без змін як контроль або змінюйте лише те, що погано кілька тижнів поспіль.
Бонус · Цікаві факти

Що розповісти друзям

1886

Гальтон і зріст

Френсіс Гальтон порівняв зріст дорослих дітей і їхніх батьків. Діти дуже високих батьків у середньому теж були високими, але нижчими за батьків, а діти низьких батьків вищими за них. У статті 1886 року він назвав це «регресією до посередності».

y = a + bx

Звідки назва «регресія»

Лінійна регресія, один із головних інструментів статистики, отримала назву саме від роботи Гальтона про зріст. Слово прижилося, хоча більшість регресійних моделей не має жодного стосунку до повернення до середнього.

2011

Канеман і льотні інструктори

У книзі «Мислення швидке й повільне» (2011) Деніел Канеман розповідає, як пояснював інструкторам ізраїльських ВПС, що похвала навчає краще за покарання. Один інструктор заперечив: після похвали курсанти літають гірше, а після крику краще. Канеман зрозумів, що той бачить регресію до середнього.

SI

Прокляття обкладинки

У США говорять про «прокляття обкладинки Sports Illustrated»: після появи на обкладинці журналу спортсмен часто грає гірше. На обкладинку потрапляють після виняткової серії, у якій везіння теж було на боці спортсмена. Наступна серія ближча до його звичайного рівня.

1933

«Тріумф посередності в бізнесі»

Економіст Горацій Секріст у книзі 1933 року помітив, що найуспішніші компанії з часом стають звичайнішими, а найслабші кращими, і вирішив, що бізнес тяжіє до посередності. Статистик Гарольд Готеллінг у рецензії пояснив, що це регресія до середнього.

1948

Навіщо випробуванням ліків контрольна група

Дослідження стрептоміцину проти туберкульозу, опубліковане британською Радою медичних досліджень у 1948 році, вважають одним із перших рандомізованих контрольованих досліджень. Порівняння з контрольною групою відділяє дію ліків від регресії до середнього та ефекту плацебо.

Мислення швидке й повільне

Деніел Канеман

Наш Формат, 2017 · розділ 17

Як ніколи не помилятися. Сила математичного мислення

Джордан Елленберґ

Наш Формат, 2017 · розділи 14–15

Мистецтво статистики. Прийняття аргументованих рішень на основі даних

Девід Шпіґельгалтер

КМ-Букс, 2023 · розділ 5

Усі книжки →
Обговорення

Що ви думаєте?

Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.

Рівень «Поглиблено» відповідає задачі?

Дякуємо! Це допоможе точніше ставити рівні.

Розсилка

Нові задачі, пояснення й обговорення

Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.

Форма підписки з'явиться тут найближчим часом.