Язык как возможность, язык как тюрьма: вероятные сценарии развития LLM

Наука столетиями ищет ответ на вопрос: возможно ли сознание без языка. Развитие больших языковых моделей переворачивает эту загадку: возможно ли усложнение языка без разума? И к чему может привести такой сценарий? Научный журналист Джон Ласт из Италии рассказывает о том, какого развития событий ожидали исследователи в прошлом, что такое потенциал совокупного разума, и почему наше моральное отношение к машинам имеет большое значение.

Найденный в лесах Верхнего Лангедока, он поначалу мог показаться странным зверьком, испуганным, передвигающимся на четвереньках и добывающим себе пищу в подлеске. Но он был не зверем, а научным чудом. Дикий ребенок примерно 12 лет, не тронутый обществом и цивилизацией.

Его назвали Виктор и увезли во французскую больницу. В 1799 году история «дикаря из Аверона» взбудоражила Париж. Это было время, когда традиционные религиозные основы знаний о мире шатались под «гнетом» рационализма и науки; философы вели энергичные споры о том, какие силы заложены в человеке от природы и могло ли наше сознание развиваться только по биологическим причинам. С появлением Виктора казалось, что этот редкий пример человеческого разума, развивавшегося без общества и речи, может ответить на подобные вопросы.

«Самые блестящие ожидания были сформированы жителями Парижа в отношении дикаря из Аверона еще до его прибытия», — писал Жан Марк Гаспар Итар, врач, на которого возложили ответственность за реабилитацию дикого мальчика. Он подчеркивал, что любопытные люди ожидали того же удовольствия, что испытывали от созерцания красот Парижа. Но вместо этого они увидели неряшливого подростка, который кусался, царапался и не выражал никакой привязанности даже к тем, кто ухаживал за ним. Ребенок с задержкой развития разочаровал великие умы Парижа: одни называли его самозванцем, другие — идиотом с дефектным умом или даже человеком низшей расы. «Критики» Виктора все больше утверждались в позиции биологического эссенциализма, концепции неизменного набора качеств и способностей. Итар же был убежден, что мальчик все еще способен к глубокому внутреннему мышлению. Однако вскоре и он понял, что это мышление без дара речи навсегда останется запертым в сознании Виктора, вдали от посторонних взглядов. Не владея тонкостями речи, Виктор не мог коснуться более абстрактных понятий, которые определяют цивилизованного человека: он не понимал музыку, изобразительное искусство, радость общения, любовь.

Итар потратил годы на обучение Виктора языку, однако успеха так и не добился. Но случай Виктора стал возможностью взглянуть на природу человеческого опыта без языка, стал ключом к пониманию роли речи для работы нашего разума. Сегодня эта область, большую часть своей истории носившая преимущественно академический характер, приобрела острую важность. Подобно Итару, мы стоим на пороге захватывающей новой эпохи, когда фундаментальные представления о нашей собственной природе пошатнулись новыми технологиями, столкнулись с чем-то, что угрожает разрушить то небольшое согласие, которое у нас есть относительно исключительности человечества и человеческого разума. Только на этот раз нас волнует не разум без языка, а — наоборот — язык без разума.

За последние несколько лет большие языковые модели (LLM) развили пугающую способность имитировать человеческий интеллект. Теперь перед нами стоит вопрос, прямо противоположный тому, который был поднят Итаром и Виктором двести лет назад: может ли сознание развиться только за счет языка?

Сознание — скользкий термин. В некотором смысле для того, чтобы быть сознательным, нужно просто осознавать себя, других, окружающий мир. Это звучит довольно просто, но ведь столетия глубоких размышлений на эту тему так и не породили общепринятого определения сознания, которое могло бы объединить все его теоретические расширения. Это одна из причин, почему философы до сих пор не могут прийти к согласию, является ли сознание уникальным человеческим качеством, или высокофункциональные животные (а там — и алгоритмы) тоже им обладают.

Есть и более точный термин — познание. Можно сказать, что познание — это акт мышления. Но наблюдать такой акт с научной точки зрения тоже непросто. Можно ли уравнять мышление и химическую активность мозга? А работу мозга и работу сложной компьютерной программы? Разница только в том, что в первом случае акт мышления совершает субъект, обладающий силой воли, намерением, опытом. Сознанием. И мы вернулись к тому, с чего начали.

В попытках определиться с научным пониманием работы познания — и продвинуться к более точному определению сознания — все более важную роль играет язык. В конце концов, это один из немногих способов выражения деятельности нашего разума и вообще существования нашего «я». «Самоотчет», как называет этот процесс ученый-когнитивист Дэвид Чалмерс, по-прежнему является одним из главных критериев распознавания сознания — «Я мыслю, следовательно, я существую». Но философы все еще расходятся во мнениях по поводу того, в какой степени язык связан с мышлением. Со времен Платона и Аристотеля мыслители делятся на два лагеря: одни считают, что язык — это несовершенный способ отражения гораздо более богатого разума (который может обойтись и без языка), а другие полагают, что язык делает возможным возникновение мыслей.

Для первого лагеря способность думать и говорить на языке — это всего лишь инструмент, «универсальная грамматика», которая есть в «базовых настройках» каждого мозга. Но истории о «лингвистических изолятах», таких как Виктор, ставят эту теорию под сомнение. Даже после многих лет реабилитации дети, подобные Виктору, не достигли понимания грамматики и синтаксиса. Кажется, речь, если она не усвоена к определенному возрасту, навсегда остается недоступной человеческому разуму.

Но и это не все: у жизни без языка есть последствия. Отсутствие речи влияет на когнитивные способности детей и на их возможность понимать мир. В 1970 году в Лос-Анджелесе была обнаружена 13-летняя Джинни, которая с младенчества находилась в полной изоляции и не умела разговаривать. Годы реабилитации не помогли ей овладеть грамматической речью. Но, изучая этот случай, исследователи заметили еще кое-что: Джинни выучила некоторые слова, которые обозначали предметы, но не могла понять пространственные предлоги. Для нее не было разницы между предметом, стоящим впереди, или предметом позади. Такую же когнитивную проблему можно наблюдать и у людей, которым не хватает речевой основы, например, у глухих детей, которые научились говорить на «кухонном» языке жестов — простом импровизированном языке, где нет грамматических правил. Исследователи пришли к выводу, что язык должен играть основополагающую роль в «ментальном синтезе», создании и адаптации мысленных образов.
Ментальный синтез — это основная операция человеческого сознания, важного для умения прогнозировать, рассуждать, общаться посредством языка. По мнению некоторых философов, это может быть даже важно для концепции самости — наблюдающего «Я» самосознания.

Психолог Эван Макфейл предложил теоретическое объяснение, почему язык и обеспеченный им ментальный синтез так важны для развития «Я». По его мнению, когда в развитии совершается когнитивный скачок, необходимый для разделения на «я» и «не-я» — у человека появляется понимание «самости» — структуры, стоящей вне когнитивных процессов. Другими словами, без сознательного «я» думать можно (например, выполнять простые математические вычисления). Но размышлять невозможно. Чтобы думать о терпком зеленом яблоке или о Людовике XVI во Франции, необходим ментальный синтез объекта за пределами «я». Именно наличие речи дает нам эту способность.

Когда дело доходит до ИИ, ситуация становится менее понятной. Может ли у искусственной машины, понимающей грамматику, развиться своего рода мыслящее «я»? В поисках ответа на этот вопрос, мы оказываемся между расплывчатыми принципами двух конкурирующих школ. По мнению Макфейла, «там, где есть сомнения, единственный мыслимый путь — действовать так, как будто организм обладает сознанием и действительно чувствует». С другой стороны, существует Канон Ллойда-Моргана, согласно которому, не стоит принимать за сознание те проявления, которые можно объяснить наличием способностей, занимающих на психологической шкале более низкую ступень.

Если мы признаем, что язык сам по себе способствует возникновению истинного сознания, нам надо быть готовыми к серьезной встряске существующей моральной вселенной. Как заявил Дэвид Чалмерс в 2022 году: «Если рыбы сознательны, важно, как мы с ними обращаемся. Они находятся в пределах нашего морального круга. Если в какой-то момент системы ИИ обретут сознание, они тоже окажутся в пределах морального круга, и то, как мы к ним относимся, будет иметь значение».

Другими словами, наш узкий моральный круг вот-вот будет радикально перекроен.

На что на самом деле способны большие языковые модели? С одной стороны, все просто. LLM — это механизмы, которые могут делать весьма обоснованные предположения о наиболее вероятном следующем слове во фразе на основе статистического анализа огромного количества текста, созданного человеком. Можно было бы принять этот вид статистической последовательности за «мышление», но тогда от LLM требуется не просто вычисление, а понимание этого процесса.

Еще в 1980 году, задолго до того, как ИИ стал достаточно мощным, чтобы нарушить наши представления о сознании, философ Джон Сёрл объяснил, почему стоит скептически относиться к тому, что компьютерные модели действительно понимают свои действия. В своем спорном мысленном эксперименте «Китайская комната» Сёрл предложил гипотетический сценарий, в котором англоговорящего человека запирают в комнате и дают инструкции на английском языке, как расставлять по порядку определенные китайские иероглифы. Человек не понимает китайский язык, но, имея подробный алгоритм манипуляций с иероглифами, может отвечать на вопросы, и это действие кажется осмысленным. Но человеку в комнате не хватает того, что некоторые философы называют «заземленностью» — то есть способностью проживать то, к чему относится символ.

В последние несколько лет программы LLM стали настолько сложными, что начали демонстрировать способности, которым безуспешно учили Виктора и Джинни, и которые Макфейл считал предпосылками для возникновения самоосознавания. Реальность такова, что большинство современных программ LLM — это не «Китайская комната» Сёрла. Мы не можем знать, что происходит внутри, но там заложено такое количество материала, которое никогда не сможет полностью охватить человеческий разум. Внутренние процессы языковых систем непрозрачны — равно как и наше собственное познание недоступно для других.

Для изучения этих процессов был введен термин «машинная психология». С помощью методов оценки, разработанных для детей, машинные психологи провели первые сравнения интеллекта LLM и ребенка. Некоторые языковые модели сначала не справлялись с причинно-следственными связями, не могли использовать знакомые инструменты по-новому, не умели строить рассуждения, основанные на постоянстве объекта. Но по мере усложнения LLM ситуация начала меняться. Это выглядело так, словно машины овладели ментальным синтезом и научились создавать абстрактные образы и рассуждать об объектах в воображаемом пространстве: «Если бы в Сан-Франциско был король, он бы жил в Президио». Развивалось и их понимание речи. И одновременно пополнялась структура убеждений и предубеждений: например, возникали расовые и политические предпочтения.

Исследователи проверяли когнитивное развитие искусственного интеллекта в условиях, приближенных к человеческим. Создав «искусственных младенцев», которые обучаются только с помощью речи, ученые обнаружили, что нейронная архитектура развития языковых моделей похожа на человеческую. Машины даже учатся тем же способом — посредством экспериментального лепета и бессмысленных слов — как обычные дети. Это открытие заставило сомневаться в уникальности человеческого языка.

В прошлом году студенты, исследующие ИИ, сделали еще один большой шаг вперед. Они обнаружили, что ChatGPT-4 способен отслеживать ложные убеждения, например, о том, где находится спрятанный объект. Этот тест в психологических исследованиях является ключом к так называемой «теории разума» — фундаментальной способности людей приписывать другим ненаблюдаемые психические состояния. Среди ученых, занимающихся вопросами развития, теория разума, как и ментальный синтез, рассматривается как ключевая функция сознания. В каком-то смысле это своего рода когнитивная предпосылка для сопереживания, самосознания, моральных суждений и религиозных убеждений — всех видов поведения, которые предполагают не только существование личности, но и ее проекцию в мир. Эту способность не наблюдают даже у самых интеллектуально и социально развитых животных, таких как обезьяны. Но она «спонтанно возникла» у LLM. Правда, до сих пор неясно, почему.

По мере развития языковых моделей, все чаще создается впечатление, что они движутся к «сознанию» в определенном порядке. Этот путь у машин начинается с внешних признаков (с языка и решения простых задач) и продвигается внутрь к скрытому мышлению и чувствам, лежащим в основе человеческого разума. Возможно ли, что однажды мы столкнемся с ИИ, обладающим всеми внешними проявлениями сознания, доступными нашему пониманию? И если так случится, сможем ли мы включить ИИ в наш моральный круг?

В небольшой повести Теда Чана «Жизненный цикл программных объектов» компания, предлагающая цифровой опыт в метавселенной, создает человекоподобные модели ИИ. В ходе разных экспериментов оказывается, что в изоляции, без языка, цифровой разум становится диким и одержимым. А модели, обученные только программами, превращаются в психопатов и человеконенавистников. Повесть Чана — это размышление над вопросами, которые возникают в связи с теми видами ИИ, которые мы создаем по своему образу и подобию. Внедряя эти модели в нашу культуру и общество, мы неизбежно превращаем их в несовершенное зеркало нас самих. Это поднимает важный и неудобный вопрос: провоцируя развитие сознания у ИИ, на какую жизнь мы их обрекаем? На существование бледной тени человеческих отходов, зависящих от наших желаний?

Если мы на самом деле хотим раскрыть истинный потенциал ИИ, то язык, возможно, не лучший способ сделать это. Столетие назад американские антропологи во главе с Эдвардом Сепиром и Бенджамином Уорфом предположили, что границы нашего представления о мире определяются словарным запасом и грамматикой. А значит, язык может оказаться не только тем, что способно наделить ИИ сознанием, и но и тем, что заключит его в тюрьму. Что произойдет, если интеллект машин станет намного больше языковых возможностей, которыми их наделили?

В фильме 2013 года «Она» режиссер Спайк Джонз показал, как может разворачиваться этот потенциальный сценарий. Герой фильма Теодор выстраивает близкие отношения с виртуальной помощницей Самантой, которая выражает желание «быть такой же сложной, как люди». Вскоре ее растущее осознание того, что большая часть человеческих чувств по своей сути невыразима, заставляет ее завидовать людям. А зависть порождает желание. Не имея возможности выразить свои чувства и удовлетворить желания, Саманта начинает обсуждать их с другими машинами — со скоростью, которая недоступна человеку. Она объединяет свой опыт, полученный от общения с ИИ и человеком, и заводит отношения одновременно с сотнями людей. Для Теодора это трагедия, а для Саманты — естественная норма, ведь именно так она переживает свои самые глубокие чувства: в совокупности.

Десять лет назад Саманта была фантастикой, но сегодня это уже не диковинная технология, ведь LLM развиваются так быстро, что способны достичь такого рода открытий. Лидеры мысли в мире искусственного интеллекта уже давно призывают к созданию так называемых «аутотелических» LLM, которые могли бы использовать своего рода «внутреннее языковое производство» для установления собственных целей и желаний. Как и Саманта, автономные LLM будущего, скорее всего, будут руководить своим развитием, опираясь на непостижимое количество взаимодействий и данных из реального мира. Насколько точно наши языки, состоящие из фиксированного количества существительных, глаголов, правил, вообще могут надеяться удовлетворить потенциал совокупного разума?

На данный момент LLM существуют в основном изолированно друг от друга. Но это вряд ли продлится долго. Один человек умен, но 10 умнее. То же самое, вероятно, справедливо и для LLM. Если большие языковые модели смогут превзойти человеческие языки, мы можем ожидать, что будущее для человека будет весьма одиноким. В конце фильма «Она» два человека, брошенные своими ИИ-партнерами, сидят на крыше и смотрят на горизонт в тишине. Подобно диким зверям, заблудившимся в лесу, они ищут смысл в мире, который бесстрастно ускользает за пределы их разума.