Утиный тест

Представьте, что ваш знакомый должен вернуть вам деньги. Срок наступил неделю назад, но он не приехал: по его словам, попал в небольшое ДТП.

Ну с кем не бывает? Вы договариваетесь на следующий день. Однако теперь у него заболела родственница, которую пришлось срочно отвезти в больницу.

Причина снова уважительная. Вы назначаете ещё одну встречу. И опять ничего не получается. На этот раз ломается машина, разряжается телефон или неожиданно приезжают дальние родственники.

После какого по счёту объяснения вы начнёте подозревать, что человек просто не хочет возвращать деньги?

Или представьте другую ситуацию. Вы просите однокурсника поделиться конспектом лекции. Он постоянно находит причины этого не делать: сначала не понял просьбу, затем принёс не то, после этого забыл приложить важный файл. Каждый случай по отдельности можно объяснить недоразумением. Но в какой-то момент возникает ощущение, что товарищ не просто забывает, а ведёт какую-то свою игру, что-то скрывает или сознательно тянет время.

Стопроцентных доказательств у вас нет. Вы не можете заглянуть человеку в голову. Но после каждого нового случая вероятность одной версии уменьшается, а другой — растёт.

Первая несостоявшаяся встреча может быть случайностью. Вторая тоже. Однако цепочка из пяти случайностей требует уже другого объяснения.

Мы постоянно рассуждаем таким образом, хотя редко замечаем это. Каждый новый поступок человека немного меняет наше мнение о нём. Мы не производим вычислений на бумаге, не строим формул, но фактически обновляем вероятность другой версии событий.

В книге «Чёрный лебедь» Нассим Талеб предлагает похожий мысленный эксперимент.

Представьте, что монету подбросили 99 раз и каждый раз выпал орёл. Какова вероятность, что в сотый раз выпадет решка?

Академичный доктор Джон отвечает: 50 процентов. Если монета честная, а броски независимы, предыдущие результаты не влияют на следующий. С точки зрения теории вероятностей всё правильно.

Но Жирный Тони рассуждает иначе. Получить 99 орлов подряд при честной монете невероятно трудно. Поэтому разумнее предположить, что монета устроена необычным образом, эксперимент был организован нечестно или нам сообщили неверные исходные условия. Вероятность решки в следующем броске Жирный Тони оценивает не более чем в один процент.

Доктор Джон прав внутри математической модели. Если нам гарантировано, что монета честная, вероятность действительно остаётся равной 50 процентам. Но Жирный Тони живёт не в учебнике. Он понимает, что после 99 орлов подряд нужно пересмотреть само предположение о честности монеты.

Доктор Джон отвечает на вопрос: «Как ведёт себя честная монета?» Жирный Тони задаёт другой, более жизненный вопрос: «Насколько вероятно, что после увиденного монета действительно честная?»

Иногда новые факты требуют не просто изменить ответ внутри модели, а усомниться в правильности самой модели.

Примерно об этом я думал, когда читал замечательную книгу Дэвида Шпигельхалтера «The Art of Statistics». Её посоветовал мой коллега по Нархозу, очень умный профессор. В книге приводится история, показывающая, как похожая логика работает уже не в бытовом споре или мысленном эксперименте, а в настоящем научном исследовании.

В 2012 году археологи начали раскопки под автомобильной стоянкой в английском городе Лестере. Когда-то на этом месте находилась церковь францисканского монастыря Грейфрайерс. Согласно историческим источникам, именно там после гибели в битве при Босворте был похоронен английский король Ричард III.

Археологи нашли человеческий скелет. Но какова вероятность, что это Ричард III? Мало ли людей было похоронено в средневековой церкви? Одного места находки, разумеется, недостаточно. Однако затем начали появляться новые совпадения.

Скелет принадлежал мужчине подходящего возраста. Радиоуглеродный анализ указал на необходимый исторический период. Захоронение находилось в той части монастырской церкви, где, согласно источникам, похоронили короля. У человека был выраженный сколиоз, соответствовавший известным описаниям внешности Ричарда. Повреждения костей согласовывались с обстоятельствами его гибели в бою.

Каждый отдельный признак ещё можно было объяснить совпадением. В XV веке погибло немало мужчин. Среди них наверняка встречались люди подходящего возраста, со сколиозом и боевыми травмами. Но сколько таких людей могли быть похоронены именно в этом месте?

Затем исследователи провели генетический анализ. Митохондриальная ДНК совпала с ДНК потомков родственницы Ричарда по материнской линии. Анализ по мужской линии совпадения не показал, однако учёные учли и это свидетельство: за множество поколений официальное отцовство не всегда совпадало с биологическим.

Исследователи не стали искать одно волшебное доказательство. Они объединили генетические, археологические, антропологические и исторические данные и рассчитали общую вероятность. Даже при наиболее консервативных предположениях вероятность того, что найденные останки принадлежали Ричарду III, составила 99,999 процента. В 2015 году их перезахоронили в Лестерском соборе.

Эта история впечатлила меня не только результатом, но и способом рассуждения. Учёные не требовали стопроцентной уверенности. Её почти никогда не бывает за пределами математических доказательств. Они начинали с первоначальной версии, а затем меняли её вероятность по мере появления новых данных.

Нашли скелет в нужном месте — вероятность выросла.

Установили пол и возраст — выросла ещё немного.

Обнаружили сколиоз и соответствующие обстоятельствам гибели повреждения — версия стала убедительнее.

Получили совпадение митохондриальной ДНК — вероятность увеличилась ещё сильнее.

За всем этим стоит байесовский метод. Формула Байеса может показаться сложной, но главная идея довольно проста.

Сначала у нас есть первоначальное мнение о том, что произошло или произойдёт. Затем появляется новая информация. Если она лучше согласуется с одной версией, чем с другими, мы повышаем её вероятность. Если факты ей противоречат — понижаем.

После первого оправдания должника мы ещё склонны ему верить. После пятого вероятность обмана становится выше.

После 99 орлов подряд Жирный Тони перестаёт верить, что монета честная.

После каждого нового совпадения учёные всё сильнее убеждались, что найденный в Лестере скелет принадлежал Ричарду III.

Ситуации разные, но логика одна: новые факты должны менять наши представления.

В повседневной жизни похожий способ рассуждения часто называют «утиным тестом»:

Если нечто выглядит как утка, плавает как утка и крякает как утка, то это, скорее всего, утка. Главные слова здесь — «скорее всего». Утиный тест не даёт абсолютного доказательства. Он лишь говорит, что при накоплении совпадающих признаков одна версия становится значительно правдоподобнее остальных.

Однако пользоваться этим тестом нужно осторожно. Если мы заранее решили, что перед нами утка, то можем замечать только клюв, перья и кряканье, игнорируя всё, что противоречит нашей версии. Так работает предвзятость подтверждения: человек ищет не истину, а доказательства собственной правоты.

Поэтому вместе с утиным тестом необходимо задавать ещё один вопрос:

Какое другое объяснение может дать те же самые признаки?

В истории с должником возможны как минимум две версии. Возможно, ему действительно несколько раз подряд не повезло. Возможно, он уклоняется от обязательств. После каждого нового объяснения нужно спрашивать: при какой из этих версий наблюдаемая последовательность событий выглядит более правдоподобной?

Если человек действительно собирается вернуть деньги, насколько вероятно, что пять встреч подряд сорвутся по разным уважительным причинам? А если он намеренно тянет время, насколько удивительна такая последовательность оправданий?

Подобные вопросы помогают не только собирать подтверждения любимой версии, но и сравнивать альтернативные объяснения.

При этом важно не впадать в другую крайность. Один опоздавший студент ещё не является безответственным. Одна ошибка сотрудника не доказывает его некомпетентность. Одна плохая оценка не означает, что человек не способен освоить предмет.

Мы слишком часто делаем окончательный вывод на основании единственного яркого случая. Но столь же неразумно бесконечно закрывать глаза на повторяющуюся закономерность.

Если студент регулярно опаздывает, не выполняет обещаний и каждый раз находит новое объяснение, наше мнение о его надёжности должно меняться. Если источник информации неоднократно публикует недостоверные сведения, к его очередной сенсации следует относиться осторожнее. Если человек много раз нарушает данное слово, странно продолжать доверять ему так же, как прежде.

Интеллектуальное смирение не требует от нас отказаться от суждений. Оно требует помнить, что любое наше суждение может оказаться ошибочным, и быть готовыми изменить его под давлением фактов.

Умный человек не говорит: «Я сразу всё понял». Он говорит: «Сначала я считал одну версию более вероятной, но после новых событий изменил своё мнение».

Иногда это трудно. Нам неприятно признавать, что мы ошиблись в человеке, проекте или решении. Мы держимся за первоначальное впечатление и начинаем придумывать всё новые оправдания, чтобы не менять сложившуюся картину мира.

Однако доверие не должно означать отказ от наблюдения. Оно тоже представляет собой оценку вероятности: насколько вероятно, что человек выполнит обещание, скажет правду или поступит порядочно? Эта оценка не обязана оставаться неизменной.

Утиный тест учит одновременно двум вещам. Не стоит делать окончательный вывод после первого подозрительного признака. Но не стоит и требовать абсолютного доказательства, когда множество независимых признаков указывает в одну сторону.

Один странный звук ещё не доказывает, что перед нами утка. Но если нечто выглядит как утка, плавает как утка и раз за разом крякает как утка, разумно признать: скорее всего, это всё-таки утка.

Именно «скорее всего», а не «точно». В этих двух словах и заключается интеллектуальное смирение.