Проблема третьего уровня: можно ли отличить реальных экспертов от шарлатанов?

Снижает ли введение смертной казни уровень насильственных преступлений? Какая экономическая политика принесет процветание? Какие виды лечения нужно разрешать и поощрять для лечения новых заболеваний? У этих вопросов есть кое-что общее. Их последствия важны для всех нас, поэтому политики и общественность хотели бы знать ответы — если они вообще существуют. К счастью, есть целые сообщества экспертов, которые проводят исследования, чтобы ответить на эти вопросы. К сожалению, это вопросы сложные, и чтобы на них ответить, нужно найти причинно-следственные связи, а это не так просто.

Расцвет социальных сетей означает, что эксперты, желающие поделиться своими с трудом добытыми знаниями, сейчас весьма доступны для общественности. Поэтому считается, что коммуникация между экспертами и лицами, принимающими решения, тоже идет хорошо. Но это не так. Любой, кто сидит в Twitter или смотрит новости, подтвердит, что медиа переполнены так называемыми «экспертами», у которых нет никаких реальных знаний. Но это не мешает им широко делиться своими взглядами.

Такие псевдоэксперты или даже откровенные шарлатаны — далеко не новость, и они не ограничиваются вопросами политики. В каждой области, где людям, принимающим решения, необходимы специализированные знания экспертов, те, кто не обладает соответствующими знаниями — осознают они это или нет, — будут соревноваться с настоящими экспертами за деньги и внимание. Аналитики хотят эфирного времени, ученые хотят привлечь внимание к своей работе, а консультанты — будущих клиентов. Часто уверенность этих экспертов обоснованна. Но часто бывает и обратное. Генеральный менеджер баскетбольной команды «Хьюстон Рокетс» Дэрил Мори охарактеризовал время, которое он провел в качестве консультанта, как попытку имитировать полную уверенность в неопределенных вещах — своего рода театр экспертного мнения. В книге Майкла Льюиса «The Undoing Project» (2016) Мори подробно описывает собеседование в консалтинговой компании McKinsey, на котором его упрекнули за признание в неуверенности. «Я сказал: «Это потому, что я действительно не уверен». А они ответили: «Мы выставляем клиентам счета на $500 тысяч в год [за ваше время], поэтому вы должны быть уверены в том, что говорите».

Существование экспертов, обладающих реальными знаниями, но преувеличивающих свои выводы, добавляет шума в информационную среду, в результате чего людям, принимающим решения, становится сложнее понять, что же делать. Задача состоит в том, чтобы отфильтровать сигналы от шума.

При рассмотрении важных вопросов в сложных областях, таких как экономическое прогнозирование и кризисы общественного здравоохранения, зачастую эксперты не находят ответов. Но признают это они значительно реже.

Должны ли мы согласиться с тем, что любая экспертная оценка может быть сотрясением воздуха или, в лучшем случае, компетентный эксперт выходит за рамки своей компетенции? Или мы можем сделать лучше?

Чтобы лучше понять проблему передачи научных знаний политикам и общественности, можно разделить вопросы на три уровня сложности. Вопросы первого уровня — это те, на которые может ответить любой, у кого есть самый скромный опыт или просто доступ к поисковой системе. К этой категории относятся политэкономические вопросы вроде «приведет ли регулирование цен к дефициту» или «если экономика развивается хорошо, больше ли шансов у правящей партии хорошо выступить на выборах».

Вопросы второго уровня — это те, на которые могут ответить только самые квалифицированные специалисты. В эту категорию попадают, например, такие вопросы: «можем ли мы разработать алгоритмы, эффективно распределяющие врачей для участия в программах» (да) и «улучшает ли результат ограничение сроков для руководителей» (нет). Это вопросы, ответы на которые предлагает научная литература. Ответить на них можно с помощью того, что американский философ Томас Кун в 1962 году назвал «нормальной наукой», то есть в рамках существующих парадигм научного знания.

Вопросы третьего уровня — это те, на которые не знают ответов даже лучшие эксперты. Например, снижает ли смертная казнь уровень насильственных преступлений или какие процентные ставки будут через два года. На такие вопросы либо невозможно ответить на основе текущих исследовательских парадигм, либо, что более фундаментально, на них в принципе нет ответа. Во многом научная работа в том и состоит, чтобы разобраться, дадут ли дальнейшие исследования ответы. С точки зрения политики не так важно, почему мы не можем дать этих ответов. Так что для общения о науке с публикой наиболее важно различать второй (вопросы, требующие серьезных знаний) и третий уровни (вопросы, на которые на самом деле нельзя ответить, по крайней мере, в настоящее время).

Если вы не уверены, правильна ли наша классификация, в принципе так и должно быть. Чтобы понять, в какую категорию какие вопросы попадают, требуется опыт. (И нам самим, если уж честно, его не хватает для некоторых из упомянутых вопросов, но мы сверялись с недавними обзорами литературы от ведущих экспертов.) Эксперты могут иногда ошибаться. Специалисты по Советскому союзу считали, что на вопрос «СССР — это стабильная страна с минимальным риском распада?» можно смело ответить «да», а многие эксперты считали, что такой политический аутсайдер, как Дональд Трамп, не сможет стать выдвиженцем от Республиканской партии, не говоря уже о том, чтобы выиграть президентские выборы.

Тем не менее, эксперты, безусловно, с большей вероятностью знают, на какие вопросы можно ответить, чем люди, принимающие решения. Политики и руководители могут быть специалистами в области принятия решений, но они редко бывают экспертами в областях, в которых принимают решения.

Нам не стоит слишком переживать о вопросах первого уровня. Конечно, некоторые люди могут быть слишком ленивы, чтобы воспользоваться Google. Мы не призываем игнорировать потенциальную опасность того, что эксперты (или политики) выступят с заведомо ложными утверждениями, но эта опасность не должна быть постоянной проблемой для людей, искренне заинтересованных в истине.

Сложно бывает разграничить второй и третий уровни. Ключевое различие между этими типами вопросов заключается в следующем: «Может ли компетентный эксперт, хорошо разбирающийся в соответствующей научной литературе, быть достаточно уверенным в своем ответе?» Обратите внимание, что вопрос касается как компетентности эксперта, так и возможности ответить на вопрос в целом.

Это означает, что при принятии решений, требующих экспертной точки зрения, признаком настоящего эксперта может быть признание того, что он или она не может дать ответ, по крайней мере, пока. А если мы не уверены, на какие вопросы можно ответить, то нас могут ввести в заблуждение эксперты, утверждающие, что у них ответы есть. Хуже того, хорошие эксперты, когда им задают вопрос, на который нет ответа, могут сделать то же самое. С точки зрения экспертов, признание сомнения может навредить их репутации, потому что незнание обычно считается чертой плохих экспертов. Точнее говоря, ответ «я не знаю» плохо звучит в телеэфире, и это неудачный ответ для амбициозных аналитиков и консультантов, надеющихся оправдать свою почасовую оплату.

Когда эксперты и аналитики не могут или не хотят сказать «не знаю», последствия могут быть ужасными. В краткосрочной перспективе плохой совет приводит к неверным решениям. Особенно ясно и заметно это во время пандемии COVID-19.

Во-первых, столкнувшись с проблемой второго уровня, совет квалифицированных экспертов может потеряться в шуме, или люди, принимающие решения, могут просто обратиться не к тем экспертам. Широкой аудитории потребовалось много времени, чтобы понять: более частое мытье рук спасет жизни, социальное дистанцирование необходимо, а крупные мероприятия следует отменить.

Вероятно, более обычная ситуация при принятии политических решений — когда люди предпринимают рискованные действия или находят оправдания своим действиям, основываясь на ложной уверенности, прозвучавшей со стороны экспертов. Например, пара статей американского правоведа Ричарда Эпштейна, опубликованных в середине-конце марта 2020 года, в которых преуменьшается угроза COVID-19, оказала влияние на некоторых представителей администрации Трампа. Аргументы Эпштейна были, мягко говоря, необоснованны.

Плохие решения также могут возникать, когда исследование не дает однозначных ответов или дает неправильные ответы. История медицины изобилует примерами лечения, которое, как мы теперь знаем, приносило больше вреда, чем пользы. Например, кровопускание, табак и опиум. Все эти методы имели «доказательства» полезности — от расплывчатых теорий о «жидкостях» (кровопускание) до реальных данных, что они уменьшают боль, но без достаточного учета побочных эффектов (опиум). Многие жизни были бы спасены, если бы врачи поняли, что не знают, перевешивает ли эффективность этих методов лечения побочные эффекты, и смогли бы это признать.

Во время кризиса трудно не заметить краткосрочных издержек, но если мы не сможем должным образом рассмотреть и устранить неопределенность, появятся важные долгосрочные последствия. Борьба с неопределенностью занимает центральное место в науке, и важно это признавать. Не зная, какие важные вопросы не имеют ответа, мы не поймем, на что лучше направить усилия. Ложная уверенность в понимании важных вопросов задержит реальный прогресс. Как сказал американский физик-теоретик Ричард Фейнман в своей лекции в 1963 году:

Именно в признании невежества и допущении сомнения есть надежда на непрерывное движение людей в каком-то направлении, которое не будет ограничено, навсегда заблокировано, как это уже неоднократно происходило раньше в различные периоды истории человека.

Слишком сильная вера в ложную или преувеличенную точность экспертов мешает направлять ресурсы на методические попытки решения сложных вопросов. С другой стороны, не менее рискованно вообще игнорировать советы экспертов.

Понимание рынка для экспертов и понимание того, когда эксперты более или менее готовы признать неопределенность, — задача, достойная нашего времени. Чтобы немного разобраться в этих вопросах, мы разработали простую математическую модель (опубликованную в American Political Science Review). Как и все модели, она упрощает реальность. Например, в инфекционной модели, опубликованной Гарри Стивенсом в The Washington Post, люди были представлены как шары, плавающие вокруг и отскакивающие друг от друга, а карантин — физической стеной, разделяющей их. Эта графическая простота ясно показала, как карантин и другие меры, такие как социальное дистанцирование, могут «сгладить кривую» заражения. Конечно, жизнь людей сложнее, чем скачущие мячи, но множеству людей эта модель показалась настолько содержательной, что она стала самой просматриваемой статьей в истории веб-сайта газеты.

Модели предназначены для упрощения. В нашей модели используется один эксперт («он») и один человек, принимающий решения («она»). Предположим, что речь идет о решении разрешить или запретить использование нового лекарства для лечения болезни. Мы рассматриваем «одноразовое» взаимодействие, когда лицо, принимающее решение, сталкивается с этим выбором и обращается за советом к медицинскому эксперту. Это вопрос второго или третьего уровня, но тот, кто принимает решение, не знает, какого именно. То есть неизвестно, могут ли быть убедительные доказательства того, подействует ли препарат.

Эксперт может быть компетентным, и в этом случае он будет знать, говорят ли собранные доказательства о том, что лекарство безопасно и эффективно (вопрос второго уровня. Но если доказательств недостаточно, чтобы с уверенностью сказать, что лекарство безопасно и эффективно, то это вопрос третьего уровня). Если эксперт некомпетентен или вопрос выходит за рамки его компетенции, он не сможет дать полезный совет, независимо от того, что говорится в медицинской литературе.

Если препарат эффективен, должностное лицо захочет разрешить его использование, если нет — захочет запретить. Если доказательства еще не убедительны, давайте для простоты предположим, что оптимальный выбор — «промежуточное» решение, возможно, разрешающее использование в тяжелых случаях или ограниченные пилотные исследования. Ключевой (и реалистичный) вывод заключается в том, что человек, принимающий решение, сможет сделать наилучший выбор при имеющихся доказательствах только в том случае, если эксперт будет говорить честно, даже когда он не уверен. Конечно, решающему лицу непременно нужно знать, эффективен препарат или нет. И когда доказательства неубедительны, ей тоже нужно это знать, поскольку более решительные действия хуже, чем перестраховка. Чтобы решения были оптимальными, эксперты должны признавать, что не знают ответов.

Но скажет ли эксперт когда-нибудь «я не знаю»? Если он хочет, чтобы было принято правильное решение, то да. Однако озабоченность экспертов своей репутацией может создавать проблемы. Даже если некоторые хорошие эксперты будут сомневаться, столкнувшись с проблемой третьего уровня, некомпетентные не моргнут глазом. Политики, вероятно, не понимают, насколько серьезна проблема. В результате компетенция и знания считаются взаимосвязанными, и эксперт, признающийся в незнании, выглядит менее компетентным, даже если это не так. Эксперты, которые заботятся о своей репутации больше, чем о правде, попробуют «угадать», безопасно лекарство или нет.

Когда эксперт не разбирается в теме, ответственное лицо может в конечном итоге принять неправильное решение. Кроме того, поскольку она знает, что эксперт иногда строит догадки, она никогда не может быть абсолютно уверена в том, безопасен препарат или нет.

Что мы можем сделать с этой проблемой? Казалось бы, очевидное решение — проверить правильность утверждений экспертов. Если эксперты, чьи заявления впоследствии опровергаются, будут наказаны и в будущем не получат работу, это может удержать их от самонадеянности. Увы, наказание за неправильные догадки никогда не бывает таким серьезным: инициаторы войны в Ираке и те, кто несет ответственность за решения, которые привели к финансовому кризису 2008 года, по-прежнему преуспевают. И наша модель дает теоретическое обоснование, почему. Некоторые эксперты, которые сталкиваются с вопросом, на который не может быть правильного ответа, все равно компетентны. Так же и те, кто строит догадки и в конечном итоге ошибается, могут быть компетентными. На деле, если все неосведомленные эксперты будут лишь гадать, то угадывать и ошибаться — это не хуже, чем просто признать свои сомнения. Так что эксперт может бросить кости и попытаться угадать: если он окажется прав, то будет выглядеть компетентным, если нет — то это не хуже, чем если бы он честно признался в сомнениях.

Такое положение дел особенно расстраивает компетентных экспертов, которые сталкиваются с трудным вопросом: именно потому, что они компетентны, они знают, что столкнулись с трудным вопросом, и не хотят гадать о правильном ответе, как шарлатаны. Их отличие от шарлатанов в том, что они всегда знают, что столкнулись с вопросом, на который нет ответа. Истинный опыт требует понимания пределов своих знаний.

Понимание определенного преимущества настоящих экспертов также подсказывает, как можно побудить их признавать неопределенность: вместо того, чтобы проверять правильность их прогнозов, важно прежде всего понять, можно ли было вообще дать ответ на вопрос. Таким образом, хорошие эксперты будут готовы сказать: «Я не знаю, потому что на этот вопрос нет ответа», будучи уверенными, что последняя часть будет подтверждена. И как только компетентные эксперты скажут: «Я не знаю», некомпетентные смогут сделать то же самое, если предположение о том, что на вопрос не может быть ответа, лучше для них, чем попытка угадать.

Итак, можно сделать вывод, что хотя проверка фактов экспертов и полезна, она неэффективна для того, чтобы заставить их признать неопределенность. С другой стороны, «проверка уровня сложности», попытка понять, можно ли было в принципе ответить на вопрос, может побудить хороших — а иногда и плохих — экспертов сказать «я не знаю»,

Более того, мы думаем, что есть реальные институты, которые уже используют этот подход.

Например, научные публикации полагаются на рецензирование, когда другие эксперты читают черновики статей и критически оценивают достоверность результатов и то, насколько они интересны для публикации. Важно отметить, что рецензенты обычно проверяют не правильность утверждений в статье, а то, придумали ли авторы способ сделать проблему в принципе решаемой.

Вот некоторые практические идеи, как улучшить коммуникацию с экспертами в других условиях.

Во-первых, полезно не только спрашивать разных экспертов, но и задавать разным экспертам разные вопросы (а небольшие различия в задаваемых вопросах могут сильно повлиять на ответ). Вместо того, чтобы спросить: «подействует ли лекарство», переформулируйте вопрос: «Есть ли убедительные доказательства того, что лекарство подействует?» Квалифицированные эксперты не всегда знают ответ на первый вопрос, но они всегда будут знать ответ на второй.

Во-вторых, не транслируйте самые экстремальные и самоуверенные позиции. Самые уверенные эксперты могут оказаться либо действительно осведомленными, либо просто уязвимыми к эффекту Даннинга-Крюгера: у них недостаточно знаний, чтобы понять, что не нужно быть слишком уверенными. По нашему опыту, при решении действительно важных и сложных вопросов чаще встречаются вторые.

В-третьих, послушайте разговоры экспертов. Поскольку они знают, что необоснованные заявления не вызывают восторга у коллег, то зачастую бывают более честными в отношении своего уровня уверенности в таком контексте, чем когда выступают по телевидению. Это реальное преимущество социальных сетей: разговоры между экспертами больше не происходят на лабораторных собраниях или конференциях. Они часто возникают в публичном пространстве, где любой может их услышать.

В одном из наших любимых эпизодов телешоу Джимми Киммела — Lie Witness News — интервьюеры выходят на улицы Нью-Йорка и задают прохожим неправдоподобные вопросы, такие как «Не пора ли вернуть американские войска из Ваканды?» Опрашиваемые реагируют соответственно, отвечая уверенно и с деталями. Наша работа показывает, что когда репутация выходит на первый план, рынок экспертных консультаций выглядит не намного лучше и, что еще хуже, даже у настоящих экспертов может быть стимул блефовать, когда им задают вопросы, на которые нет ответа.

Итак, как укрепить доверие и честность в дискуссиях о науке? Еще один аспект проблемы состоит в том, что репутационные стимулы к тому, чтобы казаться квалифицированными и знающими, побуждают экспертов переоценивать свою уверенность. Один из способов противостоять этой тенденции — задавать более точные вопросы, а это обычно вопросы о природе доказательств и о том, что они допускают. Мы также можем изменить свое отношение к экспертам: прислушиваться не только к самым громким и уверенным голосам, но и к тем, кто делает утверждения только в той мере, в какой это обосновано доказательствами, и кто готов сказать «не знаю».

Источник