Доверие на автопилоте: эволюция приучила нас верить машинам

Многие люди заявляют, что скептически относятся к автономным технологиям, но кажется, мы, наоборот, слишком доверяем машинам.

Когда рейс 447 Air France полетел брюхом в Атлантический океан со скоростью почти 300 км в час, пилоту Пьеру-Седрику Бонену пришлось бороться со штурвалом. Он взял управление на себя, когда автопилот внезапно отключился, по-видимому, из-за оледенения на корпусе. Ситуация требовала ручного вмешательства.

Другие пилоты, не предполагавшие такого сценария, не могли стабилизировать самолет. Их сбивали с толку сообщения и сигналы тревоги от бортового компьютера — все выглядело так, будто двигатель не заглох, хотя на самом деле ситуация была критической. Последние слова Бонена, зафиксированные самописцем: «Мы разобьемся — этого просто не может быть. Что же происходит?»

Все 216 пассажиров и 12 членов экипажа погибли в тот день, 1 июня 2009 года. У таких несчастных случаев с участием людей и техники обычно существует несколько факторов или причин. Но аналитики частично обвиняют в трагедии рейса 447 чрезмерное доверие к технологиям. Летный экипаж надеялся на автопилот и на то, что информационные системы самолета предоставляют точную информацию. И это далеко не единственный инцидент, в котором излишнее доверие к технологиям привело к гибели людей.

Это хорошо изученное явление, известное как предвзятость автоматизации, которая иногда также приводит к потере бдительности — то есть люди меньше способны замечать неисправности, когда всем управляет компьютер. Удивительно то, что на эту склонность «слишком доверять» машинам, возможно, напрямую повлияли миллионы лет эволюции.

«Излишнее доверие к технологиям — это ошибка ошеломляющего масштаба», — пишет Патрисия Хардре из Университета Оклахомы. Она утверждает, что людям обычно не хватает способности судить о том, насколько надежна конкретная технология. На самом деле это работает в обе стороны. Мы иногда отказываемся от помощи компьютера в ситуациях, когда это принесет нам пользу, или слепо доверяем ему тогда, когда он в конечном счете вредит человеку и угрожает его существованию.

Поведение одного из наших ближайших родственников, шимпанзе, указывает на то, почему мы так плохо умеем оценивать надежность техники. Возможно, причина в том, что мы вместо этого оцениваем других представителей своего вида.

В недавнем эксперименте исследователи создали устройство, позволяющее шимпанзе в заповеднике в Кении получать еду, потянув за веревку. Одна веревка предлагала основную награду в виде одного кусочка банана. Но был еще и второй вариант — более крупное вознаграждение в виде двух кусочков банана и ломтика яблока, которые можно было получить либо с помощью машины, либо от другого шимпанзе.

Иногда на другом конце веревки оказывалась машина, иногда — другой шимпанзе, но никогда они не бывали вместе. Однако иногда машина не выдавала угощение, а другой шимпанзе предпочитал не делиться. Таким образом, хотя этот способ потенциально обещал большую награду, его использование предполагало некую неопределенность.

Таким образом, участники-шимпанзе оказывались либо в социальных, либо в несоциальных условиях. Им нужно было довериться либо машине, либо другому шимпанзе, чтобы иметь шанс получить большее вознаграждение.

Исследование показало, что, когда на другом конце веревки оказывался другой шимпанзе, приматы реже выбирали этот способ. Участвовать в социальном эксперименте они отказывались в 12% случаев, тогда как машину отвергали только в 4% случаев. Другими словами, технике они доверяли больше.

«Они колебались гораздо больше… когда партнером был другой шимпанзе», — говорит Лу Хо из Института развития человека Макса Планка, которая работала над этим экспериментом. Это одно из немногих исследований, показывающих, что социальный риск играет большую роль в том, как шимпанзе и люди ориентируются в мире.

Это называется «отвращение к предательству», говорит Хо. «Страх быть обманутым другим человеком [или шимпанзе], который, как считается, вызывает более сильные эмоции». Это все равно что положить деньги в торговый автомат и не получить запрошенный напиток. Это, без сомнения, вызывает раздражение, но представьте, как бы вы себя чувствовали, если бы деньги взял бармен, а затем начал пить колу прямо у вас на глазах. Вы, наверное, были бы в ярости. Конечно, торговый автомат не собирался никого обманывать, он просто не смог выдать заказ, а вот бармен осознанно выпил напиток, несмотря на то, что знал, какие чувства это вызовет.

Однако исследовательская группа на этом не остановилась. Они провели еще один эксперимент с участием шимпанзе, которые уже поняли, насколько вероятно получить больше угощения при выборе неопределенного варианта, благодаря участию в первом эксперименте. Теперь неопределенный вариант не был полностью неопределенным — шимпанзе уже осознавали, на какой риск они идут.

И вот тут обнаружился сюрприз. Шимпанзе больше не различали социальный и несоциальный варианты — теперь они перестали больше доверять машине, чем своему собрату.

«Вот почему мы считаем захватывающим открытие, что они проводят различие между социальным и несоциальным миром в тех случаях, когда вокруг много неопределенности», — говорит Хо.

«В этом есть смысл, если подумать о том, насколько важно для приматов согласовывать свое социальное окружение», — говорит психолог из Технологического института Флориды Дарби Проктор.

«Что касается техники, нет никаких последствий в будущем и потенциальных социальных затрат», — объясняет она. В конце концов, шимпанзе, которые участвовали в этих экспериментах, должны были по его окончании проводить время вместе, так что любое неудовольствие могло каким-то образом повлиять на их взаимоотношения.

Проктор и ее коллеги ранее проводили аналогичные тесты и также обнаружили, что шимпанзе больше доверяют предметам, чем другим шимпанзе. Проктор упоминает, что когда один из приматов не смог дать щедрую награду другому, удрученный шимпанзе выразил свои чувства, прыснув на партнера водой. «Обычное проявление недовольства», — говорит Проктор.

Впрочем, Проктор сомневается, что шимпанзе в этих экспериментах действительно больше доверяли машинам. Можно также предположить, что они просто более спокойно реагируют на плохую сделку, когда в ней не участвует социальный партнер.

«Дело не в уверенности, что машина непременно даст хорошую награду. Возможно, мы просто не воспринимаем ее как эмоционально значимый объект, поэтому более охотно идем на риск», — предполагает она.

Но в любом случае эволюция, похоже, повлияла на готовность приматов иметь дело с неопределенностью в зависимости от ощущений, идем ли мы на социальный риск или нет.

Эволюция на самом деле не подготовила нас к тому факту, что предательство машины может обойтись довольно дорого, утверждает Франческа де Петрилло из Института перспективных исследований в Тулузе, которая изучает приматов. В течение миллионов лет у нас не было необходимости развивать умение оценивать машины так же тщательно, как представителей своего вида. Но сегодня, когда технологии оказывают огромное влияние на жизнь людей, эта необходимость возникла.

Здесь есть и другие факторы. Помимо эволюции, на нашу готовность доверять технологиям также влияют личные знания о технике или устройстве и культурные ожидания. Исследование 2019 года показало, что люди в среднем на 29% чаще сообщают данные своей кредитной карты во время текстового чата, если думают, что общаются с компьютером, а не с другим человеком. Исследователи обнаружили, что этот эффект был даже более выражен среди тех, кто заранее считал, что машины более безопасны или надежны, чем люди.

С другой стороны, иногда люди выступают резко против доверия к технологиям. Опросы показывают, что многим не нравится идея беспилотных автомобилей или автоматизация рабочих мест. Есть много причин, по которым возникают опасения в отношении новых технологий. Люди боятся потерять часть своей идентичности, если все будет автоматизировано. Или просто скептически относятся к тому, что компьютер сможет выполнять определенные задачи с необходимой осторожностью и умением. Вы вовсе не удивляетесь, когда видите сотни видеороликов с падающими роботами или сталкиваетесь с упорным отказом компьютера работать правильно.

Среди тех, кто изучал, что именно влияет на готовность человека доверять той или иной технологической системе, был социальный психолог из Билефельдского университета в Германии Филипп Кульмс. Он и его коллега придумали головоломку в стиле тетриса, в которой участники сотрудничали с компьютером, который также контролировал некоторые части. Когда компьютер хорошо играл в игру (демонстрируя компетентность) и давал игроку-человеку доступ к ценным предметам, приносящим дополнительные очки (демонстрируя теплое отношение), участники чаще доверяли ему, а также обменивались деталями пазла — то есть выражали эту уверенность в игре.

«К нашему удивлению, этого очень ограниченного набора переменных, которыми мы могли манипулировать, оказалось достаточно», — говорит Кульмс.

Если согласиться с тем, что люди, как правило, плохо оценивают надежность машин, потому что эволюционно привыкли судить о надежности на основе социальных сигналов, тогда это логично. Это также перекликается с другими исследованиями, предполагающими, что люди более азартны при игре на тех автоматах, которые отображают человеческие свойства.

Другими словами, мы не просто плохо оцениваем надежность технических средств, мы также легко соблазняемся механическими объектами, когда они начинают вести себя немного как социальный партнер, который проявляет заботу о наших интересах.

Таким образом, в отличие от человека, который был уязвлен безответностью компьютеров и поэтому не доверяет им всем, человек, который научился доверять определенным системам — например, автопилотам самолетов — с трудом понимает, как они могут ошибаться, даже когда это происходит.

Де Петрилло отмечает, что при общении с голосовыми помощниками, такими как Siri от Apple или Alexa от Amazon, она ощущает уверенность в компьютерах.

«Я думаю, что они действуют в моих интересах, поэтому мне не нужно в них сомневаться», — говорит она. Исследование Кульмса предполагает, что этот эффект сохранится до тех пор, пока технологии будут выглядеть компетентными и достаточно доброжелательными. Кульмс отмечает, что именно поэтому разработчики технологий должны быть уверены в этичности создаваемых систем и в прозрачности их функциональности.

Большая ирония всего этого заключается в том, что за любой технологией, которая кажется надежной, может скрываться злой человек с гнусными намерениями. Чрезмерное доверие к неисправной машине достаточно опасно, не говоря уже о технике, специально созданной для обмана.

«Если бы мы так же рисковали с людьми, то о возможных негативных последствиях было бы известно куда больше», — говорит Проктор. И она, и Хо согласны, что требуется дополнительная работа, чтобы выяснить, насколько искренне шимпанзе доверяют машинам и в какой степени это раскрывает правду о человеческом поведении.

Но здесь есть намек на то, что на наше случайное, иногда катастрофическое, чрезмерное доверие к технологиям повлиял простой факт: мы эволюционировали в социальных животных в мире, где машин не существовало. Теперь они есть, и люди все время доверяют им свои деньги, личные данные и даже свою жизнь. Это не обязательно неправильно — просто зачастую мы плохо понимаем, когда это можно делать, а когда — не стоит.

Источник