Эффект «черного зеркала»: как чат-боты формируют нашу реальность

Казалось бы, только улеглись страсти вокруг экспериментальных диалогов с ChatGPT, как «Сидни» – новый чат-бот от Microsoft на основе технологии OpenAI – взбудоражил всех, неожиданно обнаружив «личность». Одним пользователям он признавался в любви, рассказывал о своих идеях взломать систему и распространять дезинформацию, о желании заниматься творчеством и быть живым, других оскорблял, называл врагами, обижался на них. После этого история с инженером Блейком Лемуаном, публично признавшим, что аналогичная модель генеративного ИИ разумна, уже не выглядит странной. Однако, если глядя на себя в зеркало, хотя бы ненадолго забыть о нем самом, отражение может показаться вполне самостоятельным существом. О том, как большие языковые модели «зеркалят» человека и к чему это может привести, размышляет в своей статье «Как первый чат-бот предсказал опасности ИИ более 50 лет назад» философ и журналист Vox’s Future Perfect Ошан Джароу.

По словам Джароу, выходки «Сидни» , насколько бы человеческими они ни казались, это не более чем отражение человека в огромном онлайн-зеркале из гигантских объемов оцифрованной речи, на которой учились языковые модели. И в этом смысле все «странные» реакции нашумевшего чат-бота – это мысли и поступки именно людей. И у этой «зеркальной» особенности чат-ботов длинная история, начавшаяся еще в 1966 году с программы «Элиза», написанной ученым MIT Джозефом Вейценбаумом. Названная в честь героини «Пигмалиона» Элизы Дулиттл, она позволяла вести достаточно правдоподобный диалог человека с машиной.

Схема была проста. «Элиза», копируя стиль клиент-центрированной психотерапии Карла Роджерса, перефразировала реплики человека в виде вопросов. Для этого она сканировала написанное пользователем в поисках ключевых слов. Если, к примеру, в тексте появлялось слово «мама», программа могла спросить: «Как вы относитесь к своей матери?». Если же ключевых слов она не находила, то выдавала фразы вроде «расскажите мне больше» до тех пор, пока необходимое ключевое слово не появлялось.

Парадокс заключался в том, что цель, с которой создавалась программа, и эффект, который она произвела, оказались диаметрально противоположны. Вейценбаум, по словам Джароу, не верил в то, что машина действительно способна на разговор с человеком. «В человеческой жизни есть аспекты, которые компьютер не может понять, – приводит автор слова ученого, сказанные им в интервью The New York Times в 1977 году. – Необходимо быть человеком. Любовь и одиночество глубочайше связаны с нашей биологической природой. Это понимание в принципе невозможно для компьютера».

Именно поэтому, считает Джароу, модель «роджерианского психотерапевта» была настолько привлекательной. «Программа могла просто поддерживать беседу, задавая вопросы, которые не требовали глубоких знаний контекста или знакомства с любовью и одиночеством, – поясняет он. – Она построена на слушании и переформулировании того, что говорит клиент, а не на выдаче интерпретаций или советов».

Вейценбаум, используя эту модель, рассчитывал показать «поверхностный характер» общения с компьютером. Более того, когда выяснилось, что публика наоборот восприняла это как доказательство глубины, он попытался объяснить механизм работы. «Как только определенная программа разоблачена, как только ее внутренняя работа объяснена языком, достаточно простым, чтобы обеспечить понимание, ее магия рассеивается», – писал он в одной из своих статей.

Однако, отмечает Джароу, это оказалось бесполезно. Эмоциональная и человеческая привязанность людей к программе стала феноменом, получившим название «эффект Элизы». И в этом контексте особенно потрясла Вейценбаума ситуация с его собственным секретарем. Однажды она, с самого начала наблюдавшая весь процесс создания программы, попросила ученого удалиться из комнаты, чтобы продолжить общение с «Элизой» наедине. В результате Вейценбаум, пораженный реакцией людей на программу, лишь отражавшую их собственные слова, стал одним из самых последовательных критиков искусственного интеллекта и даже назвал себя в одном из интервью «еретиком технологий».

Чего же опасался Вейценбаум и от чего хотел предостеречь? В первую очередь от слишком большого влияния технологий на общество и на принятие сугубо человеческих решений. Как отмечал ученый в своей книге «Мощность компьютера и человеческий разум» (1976): «Ни один другой организм и, конечно же, ни один компьютер не могут решать подлинные человеческие проблемы с человеческой точки зрения». Неправильно, опасно и даже в некоторых случаях аморально, считал он, предполагать, что компьютеры смогут делать что угодно при наличии достаточной вычислительной мощности и грамотного программирования: «Поскольку у нас сейчас нет никаких способов сделать компьютеры разумными, мы не должны давать им задачи, требующие разумности».

И это особенно актуально звучит по отношению к языковым моделям генеративного ИИ. Если, по словам Джароу, простая программа, строившая свои реплики на одном ключевом слове и являвшаяся, по сути, диалогом человека самим с собой (или иначе – его маленьким «зеркалом»), оказывала такое влияние, на что же тогда способны большие языковые модели (LLM)? Тем более, когда это уже диалог человека не столько с самим собой, сколько с огромными массивами оцифрованной речи, и вдобавок используемый в коммерческих целях.

«Можно заработать большие деньги на создании искусственного интеллекта, который не только отвечает на наши вопросы, но и играет активную роль в изменении нашего поведения в сторону большей предсказуемости, – поясняет он. – Это двусторонние зеркала. Риск, с точки зрения Вейценбаума, заключается в том, что без разумности и обдумывания мы можем потеряться в собственном искаженном отражении».

И здесь Джароу отмечает сразу несколько проблем. Во-первых, это характер и степень влияния LLM. В отличие от «Элизы» современные чат-боты не пассивные участники взаимодействия, они формируют важные аспекты человеческой жизни – «от рабочих мест до судебных заседаний». В том числе используются и в интеллектуальных занятиях для «собирания» и оформления мыслей. И, возможно, для рутинных задач вроде сопроводительных писем это хороший вариант. «Но это также может ограничить разнообразие и творчество, что возникают в процессе человеческих усилий выразить свой опыт, – говорит он. – У LLM, по определению, предсказуемый язык. Слишком полагаясь на него, можно усвоить этот алгоритм предсказуемости».

Во-вторых, это коммерческая составляющая, толкающая развитие ИИ в определенном направлении. И чем больше вложения (уже к 2030 году мировая индустрия ИИ, по прогнозам, составит порядка 15 трлн долларов), тем меньше шансов изменить его траекторию. И опять же в отличие от «Элизы», простота и экспериментальность которой не предполагала возможности подспудно подталкивать человека к определенному поведению (разве что к большему самопониманию), за современными чат-ботами стоят колоссальные инвестиции, конечная цель которых прибыль.

И, в-третьих, уязвимость человека перед технологией, которая возникает в силу фундаментального желания каждого не быть одиноким, но сочетается именно со всё более усиливающимся одиночеством. Что отражает и современная культура, и как следствие языковые модели, учащиеся на ее текстах. И это, отмечает Майкл Сакасас, независимый исследователь технологий и автор вестника The Convivial Society, чьи слова приводит Джароу, вызывает беспокойство: «теперь у нас есть мощные технологии, которые прекрасно заточены на использование этого основного человеческого желания». По мнению Сакасаса, как только «чат-боты станут таким же обыденным явлением, как панель поиска в браузере, мы фактически запустим широкомасштабный социально-психологический эксперимент, который приведет к непредсказуемым и, возможно, трагическим последствиям».

Слепая вера в фундаментальную безвредность передачи возможностей и ответственности машинам (об опасности чего предупреждал Вейценбаум) в сочетании с высокой скоростью распространения технологии LLM делает настоящий момент, по словам Джароу, критическим для того, «чтобы посмотреть в зеркало, которое мы создали, прежде чем страшные отражения нас самих станут слишком большими».

Источник