Десятеро учасників дивляться на банку і чесно оцінюють, скільки в ній грошей. Кожен ставить свою оцінку, банку отримує найвища ставка. Ніхто не жадібний і не хитрує. Скільки в середньому заробить чи втратить переможець? Зафіксуйте відповідь, а потім перевірте її в грі, на симуляції і в поясненнях.
Оцінки чесні, але банку отримує не найточніша з них, а найвища. Перемагає той, хто переоцінив найбільше, тож за банку на 100 гривень переможець платить у середньому близько 131. Сама перемога є поганою новиною про вашу оцінку. Перевірте це в грі, на симуляції і в поясненнях.
Так 1983 року робили на заняттях зі студентами MBA Макс Базерман і Вільям Семюелсон. Ми спростимо їхній дослід до чистої моделі.
У скляній банці монети рівно на 100 гривень. Учасники цього не знають: банку можна лише роздивитися.
Кожен із 10 учасників оцінює вміст сам, не підглядаючи в чужі оцінки. Оцінки чесні: у середньому вони влучають у 100, але кожна помиляється вгору чи вниз, зазвичай гривень на 20.
Кожен пише в закритому конверті ставку, рівну своїй оцінці. Банку отримує найвища ставка і платить стільки, скільки поставила.
Скільки в середньому заробить чи втратить переможець, якщо повторювати такий аукціон знову і знову?
«Оцінки чесні, тож переможець у середньому платить чесну ціну»
Чесна в середньому кожна окрема оцінка. Але переможець не випадковий учасник: він той, чия оцінка найвища. А найвища з десяти оцінок майже завжди завищена, у середньому на 31 гривню.
Стандартне відхилення 20 означає, що приблизно дві третини оцінок лежать між 80 і 120.
Десятеро чесно оцінюють банку на 100 гривень і ставлять свої оцінки. Що в середньому отримає той, хто переможе?
Оберіть відповідь. Тут з'явиться симуляція 10 000 таких аукціонів.
Важко вирішити? Відкривайте підказки по одній: спочатку легка, далі сильніша.
Подумайте, хто саме отримує банку: учасник, чия оцінка найточніша, чи той, чия оцінка найвища?
Кожна оцінка окремо чесна: у середньому вона влучає в 100. Але переможця обирають не випадково. Якою в середньому буде найбільша з десяти оцінок, якщо кожна помиляється вгору чи вниз?
Уявіть десять кидків кубика замість десяти оцінок. Середнє одного кидка 3,5. А якою в середньому буде найбільша цифра з десяти кидків? Тепер перекладіть це на похибки оцінок.
Тепер цінність банки випадкова, від 60 до 140, і її не знає ніхто, навіть ви. Ви бачите лише свою оцінку з такою самою похибкою, як у ботів. Оберіть, на скільки поставити нижче за оцінку, і зробіть ставку. Боти бувають чесні (ставлять свою оцінку) або обережні (ставлять оцінку мінус 31).
Для кожної кількості учасників симуляція проводить 2 000 аукціонів, де всі ставлять свої чесні оцінки, і рахує, на скільки переможець переплатив. Лінія показує точне значення, точки — симуляцію. Повзунок змінює, наскільки неточні оцінки.
Перший шар без формул, другий з таблицею, формулами і графіком, третій про історію та теорію аукціонів.
Шар «На пальцях» приховано на всіх задачах.
Усі десятеро дивляться на ту саму банку. Хтось трохи недооцінив, хтось трохи переоцінив. Аукціон не питає, чия оцінка найточніша, він питає, чия найвища. Тож перемагає той, кому найбільше «здалося», що грошей багато.
Якщо ви перемогли, це означає, що дев'ятеро інших, дивлячись на ту саму банку, вирішили, що грошей менше. Перемога сама є новиною: ваша оцінка, найімовірніше, завищена. Ця картка пояснює, чому переможець переплачує, але не скільки. Число дає наступний шар.
Числа з 10 000 симульованих аукціонів. Натовп у цілому оцінює правильно, а переможець майже завжди переплачує. У досліді Базермана і Семюелсона було ще цікавіше: середня оцінка студентів була нижчою за справжню цінність банки ($5,13 проти $8), а середня ставка переможця вищою ($10,01).
Із двох оцінок вища завищена в середньому на 11, із десяти на 31, зі ста на 50. Що більше людей оцінюють ту саму річ, то крайнішою буде найвища з оцінок. Тому на людному аукціоні треба ставити обережніше, а не сміливіше, хоча хочеться навпаки.
Тут ніхто не переоцінює навмисно і ніхто не захоплюється азартом. Кожна оцінка окремо чесна. Завищення створює саме правило «перемагає найвища». Воно відбирає оцінку з найбільшою похибкою вгору, хоч би якими розважливими були люди.
Шар «Строго» приховано на всіх задачах.
| Учасників n | E[max] у σ | Переплата, σ = 20 | P(переплата) |
|---|
Середнє найбільшого з n незалежних нормальних похибок, у стандартних відхиленнях σ. Переплата переможця дорівнює σ, помноженому на це число. Ймовірність, що переможець переплатив, дорівнює 1 − ½ⁿ: переплати немає, лише якщо всі n оцінок нижчі за 100.
Оцінка учасника i: справжня цінність V плюс похибка σZi, де Zi стандартні нормальні і незалежні. Переможець платить найвищу оцінку.
Середня переплата: σ, помножене на середнє максимуму n стандартних нормальних величин.
Переплати немає, лише коли всі оцінки нижчі за V.
Якщо всі ставлять оцінку мінус ту саму знижку s, переможець у середньому отримує s − σ·E[max]. Знижка, з якою переможець виходить у нуль, росте і з кількістю учасників, і з похибкою.
Шар «Глибше» приховано на всіх задачах.
Назва походить зі статті трьох інженерів нафтової компанії Atlantic Richfield: Капена, Клаппа і Кемпбелла, «Конкурентні торги в ситуаціях високого ризику» (Journal of Petroleum Technology, 1971). Компанії купували на аукціонах права на буріння на шельфі США і рік у рік отримували несподівано низький прибуток.
Пояснення було тим самим, що на цій сторінці: запаси нафти під ділянкою однакові для всіх, оцінки геологів неточні, і ділянку отримує той, хто оцінив її найоптимістичніше.
Банка з монетами, нафта під землею, права на фільм: їхня цінність для всіх однакова, але ніхто її точно не знає. Це аукціон зі спільною цінністю, і в ньому перемога несе погану новину.
Якщо ж ви купуєте картину, яка подобається саме вам, ваша цінність приватна: інші учасники нічого не знають про те, скільки картина важить для вас. Тоді перемога означає лише, що ви цінуєте її найбільше, і прокляття немає. Більшість справжніх аукціонів десь посередині.
Теорія аукціонів радить питати не «скільки, на мою думку, коштує банка?», а «скільки вона коштує, якщо моя оцінка виявиться найвищою з десяти?». Друге число нижче, і різниця росте з кількістю суперників і з неточністю оцінок. Ставка, обчислена так, не програє в середньому навіть тоді, коли перемагає.
Люди засвоюють це важко. У лабораторних аукціонах Джона Кейджела і Дена Левіна учасники, які навчилися уникати прокляття на аукціонах із чотирма учасниками, знову потрапляли в нього, коли учасників ставало семеро: досвід погано переносився на нові умови.
Спершу математика (як росте прокляття з кількістю учасників), потім логіка (будь-який вибір найкращого за неточною оцінкою), потім практика (переможець серед рекламних креативів).
Для великих n найвища з n нормальних оцінок завищена приблизно на σ·√(2 ln n). Формула завищує для малих n: при n = 10 вона дає 2,15 замість точних 1,54, а наближається до точного значення лише дуже повільно: при мільйоні учасників це 5,26 проти 4,86.
Головне тут — корінь із логарифма. Перехід від 10 до 100 учасників додає 0,97σ, від 100 до 1 000 ще 0,73σ, від 1 000 до мільйона 1,62σ. Найбільше прокляття додають перші суперники. Але воно ніколи не зупиняється, і для нормальних похибок не має межі.
10 проєктів, справжня цінність кожного випадкова (середнє 100, розкид 20). Оцінки чесні, з похибкою 20. Обираємо проєкт із найвищою оцінкою.
Аукціон лише один випадок загального правила: якщо обирати найкраще з кількох варіантів за неточною оцінкою, оцінка обраного завищена. Дослідники рішень Джеймс Сміт і Роберт Вінклер 2006 року назвали це прокляттям оптимізатора: навіть за чесних оцінок після вибору нас у середньому чекає розчарування.
Ліки — стиснути оцінку до середнього. Тут справжні відмінності між проєктами і похибки однаково великі, тож довіряти варто лише половині відхилення від 100: оцінку 140 читаємо як 120. Це та сама регресія до середнього, тільки застосована до власних прогнозів.
10 рекламних банерів з однаковим справжнім CTR 2%. Кожен показали однакову кількість разів, «переможцем» оголошують банер із найвищим CTR.
Обрати найкращий із 10 банерів означає провести аукціон, де «ставка» кожного банера — його виміряний CTR. Навіть коли всі банери однакові, переможець при 5 000 показів на банер у середньому виглядає кращим за справжні 2% на 15%. Після запуску на всіх цей «приріст» зникає. Що більше варіантів, то більше прокляття, і це той самий механізм, що в множинних перевірках.
Навіть справжній переможець A/B-тесту, який пройшов поріг значущості, зазвичай показує більший ефект, ніж має: про це картка «Прокляття переможця» на сторінці «Дві однакові сторінки». Звідси звичка дисконтувати виміряний приріст і перевіряти переможця повторним тестом. Те саме підозрюють на ринку вільних агентів у бейсболі, де команди з найоптимістичнішою оцінкою гравця підписують його найдорожче, і в первинних розміщеннях акцій, де ті, хто знає менше, частіше отримують повну заявку саме на гірші випуски.
Інженери Atlantic Richfield Капен, Клапп і Кемпбелл пояснили, чому компанії, що вигравали аукціони за нафтові ділянки на шельфі США, рік у рік заробляли менше, ніж очікували. Їхня стаття 1971 року ввела вираз «прокляття переможця».
Базерман і Семюелсон провели 48 аукціонів у 12 групах студентів MBA Бостонського університету. Банки з монетами і скріпками коштували по $8. Середня оцінка була $5,13, а середня ставка переможця $10,01: переможці втрачали в середньому $2,01.
Річард Талер присвятив прокляттю переможця одну з колонок «Аномалії» в Journal of Economic Perspectives, а 1992 року назвав ним свою книжку про парадокси економічного життя. 2017 року Талер отримав Нобелівську премію з економіки.
У лабораторних аукціонах Кейджела і Левіна учасники з досвідом навчалися не переплачувати на аукціонах із чотирма учасниками. Коли ж учасників ставало семеро і прокляття сильнішим, вони знову переплачували.
2000 року британський уряд продав п'ять ліцензій на мобільний зв'язок третього покоління за 22,5 млрд фунтів, тоді як офіційний прогноз був 1–3 млрд. Чи переплатили компанії, економісти сперечаються досі, і цей аукціон став одним із найвідоміших прикладів, на яких обговорюють прокляття переможця.
Джеймс Сміт і Роберт Вінклер показали в Management Science, що той самий механізм розчаровує будь-кого, хто обирає найкращий варіант за оцінками: проєкт, інвестицію, кандидата. Їхні ліки — байєсове стискання оцінок, яке вони назвали «дисциплінованим скептицизмом».
Поділіться своїм поясненням, запереченням чи варіантом задачі. Для коментаря потрібен акаунт GitHub.
Рівень «Поглиблено» відповідає задачі?
Дякуємо! Це допоможе точніше ставити рівні.
Я поступово додаю нові задачі, інші способи їх пояснити й розбори дискусій. Залиште email, і я напишу, коли з'явиться щось нове. Без спаму, відписатися можна в один клік.
Форма підписки з'явиться тут найближчим часом.