Пророки и прогнозисты

Человеку всегда хотелось заглянуть в будущее.

Когда-то люди обращались к оракулам и гадалкам, читали Нострадамуса и пытались разглядеть будущее в хрустальном шаре. Сегодня мы спрашиваем экономистов, политологов, футурологов и искусственный интеллект.

Меняются декорации, но не наше желание. Мы хотим, чтобы кто-нибудь уверенно рассказал нам, что произойдёт завтра. Наверное, поэтому всегда будет спрос на самоуверенных оракулов. Они продают не знание будущего — его у них нет. Они продают ощущение определённости.

Перед выборами президента США 2024 года я много раз видел примерно один и тот же телевизионный сюжет. Сначала ведущий сообщал, что сидящий перед ним профессор правильно предсказал результаты почти всех президентских выборов за последние десятилетия. После такой рекомендации сомневаться в нём казалось почти неприличным.

Затем профессор торжественно объявлял:

— Камала Харрис станет следующим президентом Соединённых Штатов.

Но президентом стал Дональд Трамп. Сам факт ошибки не означает, что профессор некомпетентен, а его система бесполезна. Ошибаются все. Если синоптик сообщил о 70-процентной вероятности дождя, а дождя не было, это ещё не доказывает, что прогноз был плохим. Оставались 30 процентов. Чтобы оценить синоптика, нужно проверить много его прогнозов. Действительно ли дождь шёл примерно в семи случаях из десяти, когда он давал 70 процентов?

Меня смущало другое. Почему профессор не сказал, что оценивает вероятность победы Харрис, например, в 60 или 70 процентов? Почему не назвал условия, при которых изменил бы своё мнение? Почему вместо вероятности прозвучал категоричный ответ?

Похожие оракулы есть и в Казахстане. Некоторые экономисты и футурологи, кажется, уже знают всё: каким будет курс тенге, сколько будет стоить нефть, когда наступит очередной кризис и какие профессии исчезнут из-за искусственного интеллекта.

Их отличает не столько точность прогнозов, сколько удивительная самоуверенность. Особенно хорошо они объясняют прошлое и уверенно предсказывают будущее. Правда, к своим старым прогнозам возвращаются нечасто.

Хотя именно второй, скорее всего, лучше понимает природу будущего.

На своих лекциях я провожу со студентами небольшую игру. Идею я почерпнул из книги Дугласа Хаббарда «Как измерить всё, что угодно». Я задаю десять вопросов, ответы на которые выражаются числами. Это могут быть год рождения Моцарта или высота пика Талгар. Точного ответа знать не требуется. Студент должен указать интервал, в который правильный ответ, по его мнению, попадёт с вероятностью 90 процентов.

Допустим, я спрашиваю:

— Какова высота пика Талгар?

Студент может указать интервал от 4500 до 5200 метров. Тем самым он утверждает: «Я на 90 процентов уверен, что правильный ответ находится между этими числами». По данным Бюро национальной статистики Казахстана, высота пика составляет 4979 метров — ответ попал в интервал. Если человек правильно оценивает границы своих знаний, ответы должны попасть в выбранные интервалы примерно в девяти случаях из десяти.

Обычно мои студенты попадают лишь в трёх-четырёх. Дело не в том, что они мало знают. Никто не обязан помнить высоту горы или год рождения композитора. Гораздо интереснее другое: студенты не знают границ собственного незнания.

Им кажется, что широкий диапазон продемонстрирует невежество. Поэтому они выбирают слишком узкий интервал, стараются выглядеть точными — и ошибаются. Калибровка означает соответствие между нашей уверенностью и реальной частотой попаданий. Если человек заявляет о 90-процентной уверенности, но прав лишь в 30 процентах случаев, перед нами не уверенность, а самоуверенность.

После нескольких подобных упражнений студенты начинают высказываться осторожнее. Реже употребляют слова «точно», «очевидно» и «этого не может быть». Вместо них появляются «скорее всего», «по имеющейся информации» и «я оцениваю вероятность примерно в 70 процентов». Цель калибровки не в том, чтобы сделать человека нерешительным. Она учит соотносить силу утверждения с силой доказательств.

Есть и другая проблема: мы забываем собственные прогнозы или незаметно изменяем их после того, как узнаём результат.

Мы с друзьями по МГУ часто обсуждали политические и экономические события. Перед президентскими выборами на Украине в 2010 году многие рассуждали так: если во второй тур выйдут Виктор Янукович и Юлия Тимошенко, сторонники Виктора Ющенко и других кандидатов «оранжевого лагеря» объединятся вокруг Тимошенко и не позволят Януковичу победить.

Я осторожно предположил, что такого объединения может не произойти. Политические конфликты между бывшими союзниками были слишком глубокими, а голоса избирателей нельзя было просто механически сложить.

В итоге Янукович победил во втором туре с небольшим преимуществом: 48,95 против 45,47 процента. А через некоторое время мне стало казаться, что этот результат был для меня очевиден с самого начала. Я почти убедил себя, что точно предсказал победителя.

Но это было неправдой. Я лишь осторожно допустил один из возможных сценариев. До выборов у меня не было той уверенности, которую я приписал себе после них.

Так работает ошибка ретроспективного взгляда — hindsight bias. Когда результат уже известен, прошлое кажется понятнее и логичнее, чем было в действительности. Возможный сценарий превращается в нашей памяти в неизбежный, а осторожное предположение — в точный прогноз.

Именно поэтому инвесторам рекомендуют вести дневник решений. Принимая решение об инвестиции, они записывают дату, аргументы, ожидания, возможные риски и условия, при которых первоначальную идею придётся признать ошибочной. Позднее можно проверить не только результат, но и качество исходных рассуждений.

Акция может вырасти случайно, несмотря на слабый анализ. И может упасть, хотя решение при имевшейся тогда информации было разумным. Дневник помогает отделить качество решения от его результата и не переписывать прошлое в свою пользу.

Если бы перед украинскими выборами я записал свою оценку в процентах, память уже не смогла бы её улучшить. Допустим, я дал победе Януковича 40 процентов. Его победа не превратила бы эти 40 процентов задним числом в 90.

А что, если начать систематически записывать прогнозы тысяч людей, выражать их в процентах и затем беспристрастно проверять?

Именно такой эксперимент в 2011 году запустила IARPA — исследовательская организация американского разведывательного сообщества. Несколько университетских команд соревновались в прогнозировании геополитических событий.

Вопросы формулировались предельно конкретно. Уйдёт ли определённый политик с должности до указанной даты? Произойдёт ли конкретное международное событие в течение ближайших месяцев? Каким окажется экономический показатель?

Ответ «возможно» не принимался. Участник должен был назвать вероятность: например, 20, 55 или 80 процентов. По мере появления новой информации прогноз разрешалось менять.

Точность прогнозов тщательно оценивали с помощью различных показателей. Чем увереннее человек был в событии, которое не произошло, тем серьёзнее становился штраф.

Турнир наказывал не просто за ошибку, а за неоправданную уверенность.

Победителем стала команда Good Judgment Project под руководством Филипа Тетлока и Барбары Меллерс. Исследователи набрали тысячи добровольцев, обучили их основам вероятностного мышления, организовали совместную работу и начали измерять результаты каждого участника. После первого года лучших объединили в команды суперпрогнозистов.

Само название может ввести в заблуждение. Эти люди не обладали сверхъестественными способностями и не видели будущее. Они просто лучше остальных обращались с неопределённостью.

Что их отличало?

Суперпрогнозисты были любознательны, хорошо обращались с числами, изучали больше источников и задавали больше вопросов. Они воспринимали свои убеждения как гипотезы, которые нужно проверять, а не как собственность, которую следует защищать.

Они начинали с базовой вероятности — base rate. Сначала спрашивали: «Что обычно происходит в подобных ситуациях?» И лишь затем учитывали особенности конкретного случая.

Главное — они постоянно обновляли оценки. Получив новую информацию, суперпрогнозист мог снизить вероятность с 70 до 62 процентов, а через несколько дней — до 48.

Для самоуверенного человека изменение мнения выглядит слабостью. Для хорошего прогнозиста это нормальная реакция на новые факты.

По существу, конкурс IARPA представлял собой огромный дневник прогнозов. Каждая вероятность фиксировалась до события, а затем сравнивалась с результатом. Участник уже не мог сказать: «Я имел в виду другое» или «Я всегда знал, что так произойдёт».

Цифры помнили лучше людей.

После знакомства с Good Judgment Project я очень хотел провести похожий эксперимент сначала в AlmaU, а позднее в Нархозе.

Больших денег для этого не требовалось. Нужны были простая электронная платформа, несколько увлечённых преподавателей и группа любознательных студентов.

Мы могли бы прогнозировать инфляцию, курс тенге, цену нефти, результаты выборов в разных странах и другие события с чёткими сроками и однозначными критериями. Студенты фиксировали бы оценки, объясняли их, обновляли по мере появления информации, а затем получали объективный результат.

Такой проект стал бы замечательным образовательным инструментом. Он учил бы искать базовую вероятность, проверять источники, замечать собственные предубеждения, прислушиваться к чужим аргументам и не бояться менять мнение.

Для него не требовалось больших инвестиций. Главным дефицитом оказались энтузиасты, готовые долго и последовательно поддерживать инициативу. Поэтому идея так и не была реализована.

Мне по-прежнему кажется, что подобный турнир стоило бы провести в одном из казахстанских университетов. Возможно, он не научит студентов видеть будущее. Но поможет им точнее формулировать вопросы, честнее оценивать границы своих знаний и осторожнее обращаться со словом «точно».

Мы никогда не получим хрустальный шар. Но можем научиться прогнозировать немного лучше. Для этого нужно выражать ожидания в вероятностях, записывать прогнозы, обновлять их при появлении новой информации и честно проверять результаты.

А главное — помнить: слова «я могу ошибаться» не ослабляют аргумент. Иногда именно они отличают хорошего прогнозиста от самоуверенного оракула.