Ник Бостром: Что произойдет, когда компьютеры станут умнее нас?

Я работаю с математиками, философами и информатиками. Среди всего прочего, мы собираемся и думаем о будущем машинного интеллекта. Некоторые люди полагают, что это вроде научной фантастики, далеко отсюда, безумие какое-то. Но я люблю говорить: хорошо, давайте глянем на современное состояние человечества. Все, как обычно.

Но если задуматься над этим, на самом деле мы гости, появившиеся совсем недавно на этой планете, человеческий род. Задумайтесь, если бы Земля была создана год назад, человеческому роду было бы всего 10 минут от роду. Индустриальная эра началась две секунды назад. Другой способ взглянуть на это — подумать о мировом ВВП за последние 10 тысяч лет. Я построил для вас график. Это выглядит вот так. Это любопытная форма для обычного состояния. Я бы не хотел сидеть на этом.

Давайте спросим себя, в чем же причина нынешней аномалии? Кто-то скажет, что это технологии. Да, это правда, технологии накопились за все время существования человека, и сейчас технологии развиваются чрезвычайно быстро — это непосредственная причина, вот почему мы в последнее время очень продуктивны. Но мне хочется думать дальше, об окончательной цели.

Взгляните на этих двух выдающихся джентльменов: У нас есть Канзи, он освоил 200 лексем, невероятный подвиг. И Эд Уиттен, развязавший вторую революцию в теории струн. Если мы посмотрим вглубь, вот что мы найдем: в основном одно и то же. Один чуть крупнее, может быть, хитрее устроен изнутри. Как бы там ни было, невидимые различия не могут быть очень сложными, потому что появилось всего 250 тысяч поколений после нашего последнего общего предка. Мы знаем, что сложным механизмам для эволюции требуется много времени. Куча относительно незначительных изменений привела нас от Канзи к Уиттену, от палок-копалок к межконтинентальным баллистическим ракетам.

Поэтому становится довольно очевидным, что все достигнутое, и все важное для нас кардинально зависит от незначительных изменений, создавших человеческий разум. И в результате, конечно же, какие-либо дальнейшие изменения, которые могли бы существенно изменить основание мышления, могут иметь потенциально огромные последствия.

Некоторые из моих коллег думают, что мы на грани чего-то, что может создать глубокое изменение в том основании, и это машинный суперинтеллект. Искусственным интеллектом ранее считался ввод команд в ящик. У вас есть программисты-люди, которые кропотливо вручную создавали крупицы знаний. Вы строите экспертные системы, и они были в какой-то степени полезны для некоторых целей, но они были очень хрупкими, они не масштабировались. В основном мы получали только то, что вводили. Но с тех пор в области искусственного интеллекта произошла смена парадигмы.

Сегодня вся активность сосредоточена вокруг машинного обучения. И вместо представления знаний и инструментария, мы создаем алгоритмы, которые зачастую обучаются на необработанных данных. Почти так же, как младенец. В результате ИИ не ограничен одной областью знаний. Одна и та же система может научиться переводить между несколькими парами языков или научиться играть в компьютерные игры на игровой приставке Atari. Конечно, ИИ до сих пор далек от мощной междисциплинарной способности обучаться и планировать, как это делает человек. У коры мозга есть некоторые алгоритмические приемы, которые мы еще не научились реализовывать в машинах.

Вопрос в том, как мы далеки от возможности реализовать эти приемы? Пару лет назад мы опросили ведущих мировых экспертов по ИИ. Одним из наших вопросов был: «К какому году мы с вероятностью в 50% достигнем машинного интеллекта человеческого уровня?» Мы определили человеческий уровень как способность выполнять практически любую работу так же хорошо, как взрослый человек. Обычный человеческий уровень, не только в пределах какой-то ограниченной области. И средний ответ был 2040 или 2050 год, в зависимости от группы экспертов, которую мы опрашивали. Это может произойти намного-намного позднее или же раньше, по правде говоря, никто точно не знает.

Но мы точно знаем, что предел скорости обработки информации машинами лежит далеко за пределами возможностей биологической ткани. Все сводится к физике. Биологический нейрон срабатывает примерно 200 раз в секунду, 200 герц. Но даже современный транзистор работает на гигагерцах. Нейроны медленно двигаются в аксонах, максимум 100 метров в секунду. А в компьютерах сигналы могут путешествовать со скоростью света. Есть также ограничения по размеру. Человеческий мозг обязан умещаться внутри черепа, а компьютер может быть размером со склад или даже больше. Потенциал для интеллекта дремлет в материи, так же как энергия атома дремала на протяжении всей человеческой истории, терпеливо ожидая 1945 года. В этом столетии ученые могут узнать, как пробудить энергию искусственного интеллекта. И я думаю, что тогда мы могли бы увидеть взрыв интеллекта.

Сейчас большинство людей, когда они думают о том, что умно, а что глупо, думаю у них в голове примерно такая картинка. На одном конце у нас есть деревенский идиот, а далеко на другой стороне у нас есть Эд Уиттен, или Альберт Эйнштейн, или кто-либо из ваших любимых гуру. Но я думаю, что с точки зрения искусственного интеллекта настоящая картинка выглядит примерно вот так. ИИ начинается отсюда, в нулевом интеллекте и затем, после многих, многих лет очень тяжелой работы, может быть, в итоге, мы получим искусственный интеллект уровня мыши. Что-то, что сможет перемещаться по беспорядочным средам, так же, как может мышь. Затем, после многих, многих лет тяжелой работы, множества инвестиций, может быть, в итоге, мы получим искусственный интеллект уровня шимпанзе. Затем, после многих, многих лет очень, очень тяжелой работы мы придем к искусственному интеллекту деревенского дурачка. И несколько мгновений спустя окажемся дальше Эда Уиттена. Поезд не останавливается на станции «Человечество». Скорее он со свистом пронесется мимо.

У этого далекоидущие последствия, особенно когда это касается вопросов энергии. Например, шимпанзе сильные во всех отношениях, шимпанзе примерно в два раза сильнее мужчины в форме. И еще — судьба Канзи и его товарищей гораздо больше зависит от людей, чем от самих шимпанзе. Как только появится суперинтеллект, судьба человечества может зависеть от того, что будет делать суперинтеллект. Подумайте об этом: машинный интеллект — последнее изобретение человечества. Тогда машины будут лучше в изобретениях, чем мы, и они будут это делать с цифровой скоростью. Это означает телескопичность будущего. Подумайте обо всех сумасшедших технологиях, которые люди могли бы открыть, имея время в избытке: лекарства от старения, колонизация космоса, самовоспроизводящиеся нанороботы или загрузка мозгов в компьютеры, все виды вещей из научной фантастики, в рамках законов физики, конечно. Все это мог бы открыть суперинтеллект и, возможно, довольно таки быстро.

Суперинтеллект с такой технологической зрелостью был бы чрезвычайно влиятельным, и, по крайней мере по некоторым сценариям, он сможет получить все, что захочет. Мы бы тогда имели будущее, сформированное предпочтениями этого ИИ. Теперь интересный вопрос в том, каковы эти предпочтения? Тут все хитрее. Чтобы как-то сдвинуться, прежде всего мы обязаны избегать очеловечивания. И это иронично, потому что в каждой газетной статье о будущем ИИ есть такая картинка. Я думаю, что нам необходимо представить проблему более абстрактно, без ярких голливудских сценариев.

Нам нужно подумать об интеллекте, как о процессе оптимизации, процессе, регулирующем будущее в определенный набор конфигураций. Суперинтеллект – это очень сильный процесс оптимизации. Он чрезвычайно хорош в использовании доступных средств для достижения цели. Это значит, что нет обязательной связи между «быть очень интеллектуальным» в этом смысле и «иметь цель, которую мы люди нашли бы стоящей и значимой».

Предположим, что мы дали ИИ цель — «улыбнуть» людей. Когда ИИ слаб, он выполняет полезные и забавные действия, которые вызывают улыбку у пользователя. Когда ИИ становится суперумным, он понимает, что существует более эффективный способ достичь эту цель: взять мир под контроль и вживлять электроды в лицевые мышцы людей, вызывая постоянные сияющие улыбки. Другой пример. Предположим, мы даем ИИ цель — решить трудную математическую проблему. Когда ИИ становится суперумным, он понимает, что самый эффективный способ решить проблему — преобразовать планету в гигантский компьютер, чтобы улучшить свою мыслительную способность. И заметьте, что это дает ИИ инструментальное обоснование делать для нас вещи, которые мы можем не одобрить. Люди в этой модели выступают угрозами — мы могли препятствовать решению математической проблемы.

Конечно, вещи не выйдут из-под контроля именно такими способами, это надуманные примеры. Но главная суть здесь важна: если вы создаете очень мощный процесс оптимизации для максимизации цели «икс», вам лучше убедиться, что ваше определение «икс» включает все, что вас волнует. Это урок, который также давался во многих мифах. Король Мидас желает, чтобы все, чего он касается, превращалось в золото. Он трогает свою дочь, она превращается в золото. Он трогает свою еду, она превращается в золото. Это могло стать актуальным на практике не только как метафора для жадности, но как иллюстрация возможности, что будет, если вы создадите мощный процесс оптимизации и дадите ему неправильное представление или плохо определенные цели.

Вы можете сказать, что если компьютер начнет вживлять электроды в лица людей, мы просто отключим его. А) это не обязательно легко сделать, если мы стали зависимыми от системы. Например, где кнопка отключения интернета? Б) почему шимпанзе не отключили кнопку человечества или неандертальцы? У них определенно были причины. У нас есть кнопка выключения, например, прямо здесь. Причина в том, что мы интеллектуальные соперники: мы можем предвидеть угрозы и планировать обходные пути. Но это может и суперумный агент, и он будет намного лучше в этом, чем мы. Суть в том, что мы не должны быть уверены, что у нас это под контролем.

И мы могли бы попытаться сделать нашу работу проще, скажем, запихнув ИИ в коробку, в безопасную программную среду, виртуальную имитацию реальности из которой он не сможет сбежать. Но насколько мы можем быть уверены, что ИИ не сможет найти такую ошибку. Учитывая, что даже человеческие хакеры находят ошибки все время, я бы сказал, возможно, не очень уверены. Мы отсоединили сетевой кабель, чтобы создать воздушный зазор. Но опять же, человеческие хакеры регулярно нарушают воздушные зазоры, используя социальную инженерию. В то время как я говорю, я уверен, где-то там есть некий работник, которого убедил раскрыть свой пароль кто-то, утверждающий, что он из отдела ИТ.

Возможно, будут еще более творческие сценарии, как если бы ИИ представлялся вам шевелящимися электродами вокруг вашей внутренней схемы, создающим радиоволны, которые вы можете использовать для общения. Или, может, вы могли бы симулировать сбои, и затем, когда программисты вскроют вас, что же с вами пошло не так, они посмотрят на исходный код — Бам! Манипуляция имеет место. Или он может напечатать схему действительно отличной технологии, и когда мы реализуем ее, будут некоторые тайные побочные эффекты, которые ИИ уже спланировал. Суть здесь в том, что мы не должны быть уверены в нашей способности вечно держать сверхразумного джина взаперти в бутылке. Рано или поздно он выйдет наружу.

Я верю, что ответ заключается в том, чтобы выяснить, как создать сверхразумный ИИ с учетом, что если он сбежит, он все равно будет безопасен, потому что он по существу на нашей стороне и разделяет наши ценности. Я не вижу путей обхода этой сложной проблемы.
Вообще я довольно оптимистичен, что эту проблему можно решить. Не нужно писать длинный список всего что нас волнует, или еще хуже, расшифровывать это на каком-нибудь компьютерном языке, как C++ или Python. Это было бы безнадежной задачей. Вместо этого мы бы создали ИИ, который использует свой интеллект для познания того, чем мы дорожим. ИИ, который был бы мотивирован преследовать наши ценности или выполнять действия, наше одобрение на которые он предсказал. Следовательно, мы бы использовали его интеллект как можно больше, чтобы решить проблему наполнения ценностями.

Это может произойти, и результат может быть очень полезен для человечества. Но это не произойдет автоматически. Начальные условия для взрыва интеллекта нуждаются в правильной установке, если мы хотим иметь контролируемый взрыв. Ценности ИИ должны согласовываться с нашими, не просто в знакомых контекстах, где мы можем легко проверить, как ИИ себя ведет, но также во всех новых контекстах, с которыми ИИ может столкнуться в неопределенном будущем.

Также, есть несколько необычных проблем, которые нам необходимо решить: точные детали его теории принятия решений, как обращаться с логической неуверенностью и так далее. Технические проблемы, нужные для завершения этой работы, выглядят весьма трудно, не так трудно, как создание сверхразумного ИИ, но довольно трудно. Вот что нас волнует: создание сверхразумного ИИ — действительно сложная задача. Создание сверхразумного и безопасного ИИ включает в себя еще некоторые дополнительные проблемы. Риск в том, что кто-то сможет решить первую задачу без решения второй задачи, без обеспечения безопасности.

Я думаю, мы должны заранее найти решение проблемы контроля, чтобы оно было доступно, когда понадобится. Возможно, мы не сможем решить проблему контроля целиком и заранее, потому что некоторые элементы могут быть разработаны только со знанием деталей архитектуры места реализации. Но чем большую часть проблемы контроля мы решим заранее, тем больше наши шансы на благополучный переход к эре машинного интеллекта.

Для меня это выглядит проблемой, достойной решения, и я могу представить, что если все пойдет хорошо, через миллион лет люди взглянут назад на этот век, и, вполне возможно, они скажут, что единственной важной вещью была именно эта.

Перевод: Марина Верещагина
Редактор: Мио Аунг

Источник