Систематическая ошибка выжившего (англ.

«Ошибка выжившего», или беспечная ложь победителей

Survivorship Bias) — разновидность систематической ошибки отбора, когда по одной группе ( «Выжившим») есть много данных, а по другой («погибшим») — практически нет. Так что исследователи пытаются искать общие черты среди «Выживших», забывая о том, что не менее важная информация скрывается среди «погибших».

— жизненные примеры.

Во вторую мировую войну Абрахам вальд задачу получил. Не все английские бомбардировщики на базу возвращались. На тех, что возвращались, было множество пробоин от зениток и истребителей на крыльях и хвосте. Значит ли это, что в этих местах нужно больше брони?
Вальд сказал: нет, как раз эти места достаточно защищены. Самолёт, которому попали в кабину или топливный бак, выходит из строя и не возвращается. Поэтому укреплять надо те места, которые наиболее «Чистые».
Известна фраза: «Слухи об уме и Доброте Дельфинов Основаны на Рассказах Уставших Пловцов, Которых они Толкали к Берегу, но мы Лишены Возможности Услышать Рассказ тех, Кого они Толкали в Другую Сторону».
Книги наподобие «Секреты Успеха от Джона Смита» также страдают ошибкой выжившего: это значит лишь то, что дело Джона Смита не разорилось. Куда полезнее было бы узнать: а какие ошибки допустили разорившиеся конкуренты Смита? Стивен левитт в своём блоге «Фрикономика» проанализировал несколько таких книг и выяснил: на момент написания статьи большинство компаний, превозносимых книгами, чувствовали себя не очень хорошо, а некоторые вообще прекратили своё существование. Таким образом, «Культура Дисциплины» — или что-то ещё, что якобы помогло им удержаться на плаву — в дальнейшем их подвело.

Человек тяготеет к авторитетам. Трудно идти собственным путем, для мотивации и оправдания собственного решения обязательно нужны ориентиры — лучшие представители той или иной сферы, равняясь на которых можно добиться успеха.

Журналист Дэвид МакРэйни объясняет, почему эта система не работает, и какую ошибку совершает человек, прислушиваясь к победителям.

(текст по материалам лекции)

Один из самых частых типов общения между людьми — напутственные речи. Таки речи произносят в школе после выпускного, на работе. Некоторые ходят на специальные мастер-классы, суть которых в том, что один человек дает универсальный совет публике. Казалось бы, очень эффективно и удобно. Как правило, такую речь произносит человек, который преодолел тяжкие невзгоды или добился определенного успеха.

Подобный механизм хорошо отражает процесс поиска совета. Но часто это происходит необъективным путем: нас «тянет» к определенному типу людей, при этом мы часто упускаем то, что находится вне поля нашего зрения.

Во времена Второй мировой войны на стороне США против фашизма боролся венгерский математик и статистик Абрахам Вальд. Его работа заключалась в использовании статистических методов для решения проблемы уменьшения потерь американской боевой авиатехники. Фактически он вместе со специальной военной коллегией проводил анализ повреждений вернувшихся с вылетов самолетов и определял места, подвергнувшиеся наибольшему обстрелу. Когда скапливается груда подобных чертежей, получается своеобразная тепловая карта «травмоопасных» частей самолета.

И вот после одной из таких процедур представители военной комиссии заявили примерно следующее:

— Отлично! Мы поняли результаты исследований! Нельзя упаковать самолет в броню, как танк, но можно добавить брони в тех местах, которые были повреждены.

Когда Абрахам Вальд услышал об этом, он сказал:

— Оу-оу-оу (А Вальд уже жил в США и, вероятно, перенял манеру американской речи), стойте! Это огромная, глупая ошибка!

Военачальники прикусили свои сигары и посмотрели на Вальда:

— О чем ты говоришь? Ты отлично поработал.

— Эти самолеты дотянули до дома, а значит, вы смотрите на места, с повреждениями в которых самолет может вернуться на базу, эти места и так самые крепкие.

Систематическая ошибка выжившего или почему истории успеха бесполезны?

Не осматривая самолеты, которые не вернулись, мы допускаем огромное опущение. Ваше внимание приковано к выжившим. Самолеты, которые не вернулись, получили повреждение в тех местах, где нет дыр. Их и надо усилить.

Поступив по логике Вальда, военное министерство приняло правильное решение, которое во многом изменило ход войны.

Встает вопрос: когда ставки были так высоки (а речь шла о судьбе всей планеты), как можно допускать такие глупые ошибки? А совершаем ли мы подобные ошибки в своей работе?

Да, ежедневно. Вчера, сегодня, возможно, вы совершаете ее прямо сейчас. Будучи математиком, Вальд был знаком с явлением, которое в статистике и матанализе называется «систематическая ошибка выжившего».

«Систематическая ошибка выжившего»
— это тенденция человека сосредотачиваться на «выживших», а не на тех,
кого в зависимости от ситуации можно назвать «погибшими».

Это могут быть живые вместо мертвых, победы вместо провалов. Любой процесс оставляет после себя аутсайдеров, и этих «погибших» часто уничтожают, заставляют замолчать, просто убирают с глаз. Если на виду остались лишь успехи, все внимание будет направлено на них, и поражений никто не заметит. Можно много чему научиться, используя информацию, заключенную в отсутствующих деталях, но вы даже не заметите, что какая-то информация отсутствует.
Мы сталкиваемся с такого рода ошибкой каждый день.

Фотограф Майк Джонсон в своем блоге приводит один из подобных примеров – историю о бревенчатых домиках, которые строили на диком западе. Он выкладывал фотографии этих домиков, и тогда кто-нибудь в комментариях восклицал: «Только взгляните на эти постройки! Они сделаны из бревен и грязи, но все равно стоят уже сотню лет! Сейчас такого уже не умеют, люди разучились строить простые и практичные сооружения…»
«Да нет, — отвечал Майк, — вы не поняли: 99% этих домиков развалились практически сразу. Они не выдержали первого столкновения с плохой погодой и быстро начали гнить, вы видите те редкие экземпляры, которые выжили, и они искажают ваш взгляд на всю систему этих построек. Вы упускаете отсутствующие детали».

Другой в буквальном смысле живой пример – актер Брэд Питт. Мировая знаменитость, привлекательный, уверенный в себе, настойчивый, мы узнали о нем благодаря этим качествам. Такую личность ищут все, все хотят получить от такого человека совет, планируют что-то от него перенять, а потом сесть и прикинуть, как бы достичь такого же успеха. Но есть одна проблема.
Как говорит инженер Google Барнаби Джеймс: «Навыки позволяют нам повышать ставки, но они не гарантируют успех».

На той же неделе, когда Брэд Питт приехал в Голливуд, туда приехали еще десятки и сотни начинающих актеров, которые были такими же привлекательными, способными, напористыми, но по какой-то причине им пришлось вернуться восвояси. И их не спросят о том, как уберечься от провала, хотя они располагают массой информации о том, как избежать его. Они знают об этом не понаслышке. Брэд Питт не сможет объяснить вам, как избежать провала, потому что все его решения в итоге оказались правильными.

Еще один пример — допустим, ресторанный бизнес. Обедая в хорошем ресторане в каком-нибудь большом городе, вы можете подумать : «А не податься ли мне в ресторанный бизнес? Все рестораны на этой улице приносят неплохой доход, они успешны и знамениты». И вы опять попали в сети систематической ошибки выжившего, так как, если вы видите скопление сверхуспешных предприятий, эту отрасль вам следует избегать. Потому что нужно быть таким же сверхуспешным, чтобы выжить в этой враждебной среде. Большинство ресторанов терпят банкротство в первые 3 года, но после того, как они разоряются, их естественным образом убирают из виду. А все, что вы видите, искажает ваш взгляд на вещи в пользу победителей.

Тот же Барнаби Джеймс говорит: «Остерегайтесь советов успешных людей».

Когда вы читаете все эти журналы, в которых пишут о великих людях, где приводятся подробности их жизни, когда узнаете об истории и развитии компаний, выживших в суровых условиях, будьте осторожны. Ведь рассказчики подобных историй оценивают события «задним умом».

Если вы планируете повторить успех компаний, выросших в мировые корпорации, просто повторяя и копируя их решения, обратите внимание на момент, когда они только начинали. Предвидели они последствия того решения, которое мы сейчас расцениваем как успешное? Знали ли они, как компания будет развиваться вследствие этого решения? Психолог Даниэль Канеман (прим. Нобелевский лауреат) уверяет, что вы этого никогда не узнаете.

Дело в том, что, когда эти люди рассказывают о своих успехах, вспоминают свою историю, они с уверенностью смотрят в прошлое, хотя в реальности там был только хаос.

Консультационный бизнес практически целиком монополизирован «выжившими», а это значит, что они не могут объяснить, чего НЕ стоит делать. По большей части они этого и сами не знают, хотя им кажется иначе.

Так что, если вы основываете свои знания о том, что СТОИТ делать, на суперуспешных примерах, если вы штудируете книги, описывающие в деталях компании, которые потрясли весь мир, ваше знание о мире будет чрезвычайно однобоко и чудовищно неполноценно. А стоит обратить внимание на неудачи, послушать о провалах, подумать, что они могут сообщить.

Все, что мы сейчас знаем о мире из истории, прошло через миллионы фильтров. Ведь те, кто держал эти фильтры, отбросили часть информации, посчитав, что есть более интересные, более красивые, более важные и оригинальные вещи. Все, что мы знаем сейчас об истории, дошло до нас по рассказам людей, которые, в том или ином смысле, «выжили».

Не недооценивайте свои ошибки.

Связанные личности:

Системати́ческая оши́бка вы́жившего (англ. survivorship bias) — разновидность систематической ошибки отбора, когда по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет. Так что исследователи пытаются искать общие черты среди «выживших» и упускают из вида, что не менее важная информация скрывается среди «погибших».

Примеры

Во Вторую мировую войну венгерскому математику Абрахаму Вальду, работавшему в нью-йоркской лаборатории SRG, поручили найти решение важной задачи. Не все американские бомбардировщики возвращались на базу. А на тех, что возвращались, оставалось множество пробоин от зениток и истребителей, но распределены они были неравномерно: больше всего на фюзеляже и прочих частях, меньше в топливной системе и намного меньше — в двигателе. Значило ли это, что в пробитых местах нужно больше брони? Вальд ответил: нет, исследование как раз показывает, что самолёт, получивший пробоины в данных местах, ещё может вернуться на базу. Самолёт, которому попали в двигатель или бензобак, выходит из строя и не возвращается. Поскольку попадания от вражеского огня на самом деле (в первом приближении) распределены равномерно, укреплять надо те места, которые у вернувшихся в массе наиболее «чистые»^[1].

Также известно расхожее мнение о доброте дельфинов, основанное на рассказах пловцов, которых животные толкали к берегу, но нет данных от тех, кого толкали в обратном направлении^[2].

Книги наподобие «Секреты успеха от Джона Смита» также страдают ошибкой выжившего: объективным фактом в них является лишь то, что дело Джона Смита (пока) не разорилось. Стивен Левитт проанализировал две такие книги и выяснил: на момент написания статьи большинство компаний, превозносимых ими, чувствовали себя не очень хорошо, а некоторые вообще прекратили своё существование. Таким образом, «культура дисциплины» — или что-то ещё, что якобы помогло им удержаться на плаву — в дальнейшем их подвело.^[3] Гораздо полезнее было бы сравнить действия ряда Джонов Смитов с действиями их разорившихся конкурентов: только это может показать, какие их действия — а возможно, и посторонние факторы — реально создали разницу.^[4]

Исследования по охране труда осложняются тем, что не приспособленные к вредным условиям рабочие быстро увольняются (так называемый эффект здорового рабочего).

Ветеринарам известен парадокс: котов, упавших с шести и более этажей, приносят к ветеринарам в намного лучшем состоянии, чем упавших с меньших высот^[5]. Одно из объяснений этому — кот через некоторое время достигает предельной скорости (когда рост скорости остановится из-за сопротивления воздуха) и при этом успевает принять наилучшую позицию для приземления, что помогает ему выжить. Благодаря принятой позиции кот уподобляется парашюту и даже начинает снижать свою скорость после первых шести этажей. Другое объяснение — ошибка выжившего: чем больше высота, тем вероятнее случай, что кот погибнет и его не понесут в больницу.

В промышленности и строительстве ошибка выжившего тоже встречается.

Систематическая ошибка выжившего или почему истории успеха бесполезны?

Так, из старых зданий остаются только самые красивые и прочные — только потому, что остальные сносят, а не реставрируют. Из техники старых поколений остаются только те образцы, которые сделаны хорошо. Классика — это произведения искусства, проверенные временем, а плохими работами прежних периодов большинство людей не интересуется.

Несмотря на существование таких явлений как планируемое устаревание, на «систематической ошибке выжившего» нередко играют рекламщики («Они не делают машины так, как раньше», Гельмут Крон, «Фольксваген»).^{[источник не указан 564 дня]}

Ошибка выжившего важна и в испытаниях лекарств. Если испытание оказалось неудачным, его, скорее всего, не опубликуют, и лекарство — как минимум поначалу — будет переоценено^[6].

История

Одним из первых высказывание, близкое по смыслу к описанию систематической ошибки выжившего, сделал древнегреческий поэт и софист V в. до н. э. Диагор Мелосский — по словам Цицерона, когда один из друзей Диагора убеждал его поверить в существование богов, указывая на множество «изображений о спасении людей, которые попадали в шторм и давали клятву богам совершить какой-либо обет», Диагор парировал: «Однако отсутствуют любые изображения тех, кто погиб в море в результате кораблекрушения»

Парадокс доступности информации

Аналогом ошибки выжившего является парадокс доступности информации. Он заключается в том, что люди могут считать исход более вероятным только потому, что о подобных исходах больше сообщается. В отличие от ошибки выжившего, здесь причиной асимметрии являются внешние причины — например, предпочтения журналистов при выборе материала для репортажа.

Например, опрашиваемые в большинстве случаев утверждали, что происходит больше убийств, чем самоубийств. На самом деле самоубийства случаются в два раза чаще.

Но о них реже сообщают в средствах массовой информации, поэтому люди воспринимают это явление как более редкое^[7].

Примечания

См. также

Пробоины на вернувшихся самолётах показывают места, в которых они могут получить повреждения и выжить. Получившие повреждения в других местах не смогли вернуться на базу.

Абрахам Вальд (нем. Abraham Wald; 31 октября 1902, Клуж-Напока, Австро-Венгрия — 13 декабря 1950, Траванкор, Индия) — венгерский математик и статистик.

Биография

Родился в религиозной еврейской семье. Получил домашнее образование под руководством родителей.

«Ошибка выжившего», или беспечная ложь победителей

Продолжил образование в Венском университете, в 1931 году стал доктором философии по математике. Был вынужден эмигрировать в США. В годы Второй мировой войны использовал статистические методы для решения проблемы уменьшения потерь американской боевой авиатехники. В 1950 г. по приглашению индийского правительства читал лекции, погиб в результате авиационной катастрофы в горном массиве Нилгири.

Основатель статистического последовательного анализа, в сферу его научных интересов входили теория принятия решений, эконометрика, геометрия, математическая статистика и теория вероятностей. Его имя носят распределение Вальда, тест Вальда, тождество Вальда и другие термины.

Интересные факты

Во время Второй мировой войны командование американских и британских ВВС поручило Абрахаму Вальду выяснить, какие части фюзеляжа самолета нужно защитить дополнительной броней.

Вальд изучал самолеты, возвращавшиеся с боевых вылетов, отмечая места попаданий. В результате он рекомендовал установить дополнительную защиту на те участки (центральную и заднюю части фюзеляжа), где количество пробоин было минимальным. Рекомендация была основана на выводе, что защищать нужно от тех попаданий, которых Вальд не видел, — самолеты, которые их получили, не возвращались.

Основные публикации

• «A New Formula for the Index of Cost of Living», Econometrica, vol. 7, no 4, 1939, p. 319—331
• «Contributions to the Theory of Statistical Estimation and Testing Hypotheses», dans Annals of Mathematical Statistics, vol. 10, no 4, 1939, p. 299—326
• «The Fitting of Straight Lines if Both Variables Are Subject to Error», dans Annals of Mathematical Statistics, vol. 11, no 3, 1940, p. 284—300
• Abraham Wald, «Sequential Tests of Statistical Hypotheses», dans Annals of Mathematical Statistics, vol. 16, no 2, juin 1945, p. 117—186
• Abraham Wald, Sequential Analysis, New York, John Wiley & Sons, 1947
• Abraham Wald, Statistical Decision Functions, John Wiley & Sons, New York ; Chapman & Hall, Londres, 1950.