Стюарт Рассел: как мы можем стать лучше благодаря ИИ?

Это Ли Седоль. Ли Седоль — один из лучших игроков в го в мире, и сейчас он в ситуации, которую мои друзья из Кремниевой долины называют «Мама дорогая!» — момент осознания того, что искусственный интеллект развивается гораздо быстрее, чем мы ожидали. Итак, человечество проиграло партию в го. Но как же реальный мир?

Ну, реальный мир гораздо больше и сложнее, чем доска для игры в го. Несмотря на то, что это не столь очевидно, все упирается в принятие решений. Если мы задумаемся о грядущих технологических инновациях…Норико [Араи] упомянула, что машины еще не понимают смысл прочитанного. Но в будущем это произойдет, и в этот момент, совсем скоро, машины прочитают все, что когда-либо написали люди. Благодаря этому машины смогут предугадывать развитие событий лучше, чем люди; что и случилось во время игры в го. Получив больший доступ к информации, они смогут принимать решения лучше, чем мы. Хорошо ли это? Надеюсь, что да.

Вся наша цивилизация, все, чем мы дорожим, основывается на нашем интеллекте. Если бы наш интеллект увеличился, человеческим возможностям не было бы предела. Думаю, это стало бы тем, что некоторые называют величайшим событием в истории человечества. Почему же тогда люди говорят, что ИИ может положить конец человечеству? Это что-то новое? Это лишь мнение Илона Маска, Билла Гейтса и Стивена Хокинга?

На самом деле нет. Эта идея появилась довольно давно. Вот цитата: «Даже если бы мы сохранили власть над машинами, например, имея возможность отключить их в любой момент, — чуть позже я вернусь к этой идее отключения, — мы, как вид, должны чувствовать себя довольно униженными». Кто же сказал это? Алан Тьюринг в 1951 году. Как известно, Алан Тьюринг — это отец информатики, а также, во многих аспектах, отец ИИ. Если мы задумаемся над проблемой создания чего-то более разумного, чем наш вид, это можно будет назвать «проблемой гориллы», потому что предки горилл думали об этом несколько миллионов лет назад, и теперь гориллам можно задать вопрос: «Это была хорошая идея?»

Они бы собрались, чтобы решить, была ли это хорошая идея, и через некоторое время пришли бы к заключению,что это была ужасная идея. Наш вид находится в ужасном состоянии. Фактически в их глазах можно увидеть экзистенциальную печаль.

Что нам делать с тошнотворным ощущением, что создание кого-то умнее нас может оказаться не лучшей идеей? Единственный выход — прекратить разработку ИИ. Но, учитывая упомянутые мной преимущества и тот факт, что я исследователь ИИ, лично я против. Я хочу продолжать создавать ИИ.

Поэтому нам следует обсудить проблему более подробно. В чем суть проблемы? Почему совершенный ИИ может обернуться катастрофой?

Вот еще цитата: «Нам следует быть уверенными, что цели, заложенные в машину, совпадают с нашими желаниями». Это сказал Норберт Винер в 1960 году, вскоре после того, как увидел, как одна из первых обучающихся систем научилась играть в шашки лучше своего создателя. Нечто подобное сказал царь Мидас: «Хочу, чтобы все, к чему я прикоснусь, превращалось в золото». Он получил именно то, что просил. Именно эту цель он вложил в машину, так сказать, и затем еда, напитки и его семья превратились в золото, а он сам умер мучительной и голодной смертью. Итак, назовем это проблемой царя Мидаса: постановка цели, которая в действительности не совпадает с нашим желанием. В современном мире это называется проблемой согласования.

Некорректная постановка цели — лишь часть проблемы. Есть еще кое-что. Если вы закладываете в машину цель, даже такую простую как сварить кофе, машина задастся вопросом: «Как я могу потерпеть неудачу в приготовлении кофе? Кто-то может отключить меня. Тогда я должен предотвратить это. Я сломаю свой выключатель. Я сделаю что угодно, чтобы защититься от любых вмешательств в процесс выполнения поставленной мне задачи». На деле этот режим крайней самозащиты не имеет ничего общего с первоначальной целью человечества — именно с этой проблемой мы столкнулись. Фактически, это главный тезис выступления. Единственное, что вам нужно помнить: вы не сможете сварить кофе, если вы покойник.

Все очень просто. Всего лишь помните это. Повторяйте себе это три раза в день.

На самом деле, в этом заключается сюжет фильма «2001: [Космическая Одиссея]»: у HAL есть цель, миссия, которая не совпадает с целью людей, что и приводит к конфликту. К счастью, HAL не обладает сверхразумом. Он довольно умный, но в итоге Дэйв смог перехитрить и отключить его. Но нам может повезти меньше. Что же нам делать?

Я пытаюсь переосмыслить ИИ, чтобы уйти от классического понятия машин, которые благоразумно преследуют цель. Здесь задействованы три правила. Первое, правило альтруизма: единственная цель робота — помочь человеку добиться всего, к чему он стремится, и приумножить его ценности. Я подразумеваю не сентиментальные ценности, а любые представления людей об идеальной жизни. И это правило нарушает закон Азимова, который гласит: робот должен защищать себя. Он вообще не заинтересован в сохранении своей жизни.

Второе, правило покорности. Это действительно важно для того, чтобы обезопасить нас от роботов. Оно гласит: робот не знает, что именно относится к человеческим ценностям, он должен приумножать их, не зная, что они из себя представляют. Это позволяет избежать проблемы концентрации на одной цели. Эта неопределенность оказывается решающей.

Но, чтобы приносить пользу, у него должно быть общее понимание наших желаний. Он узнает об этом, в первую очередь, из решений, принимаемых людьми, так что принятые нами решения содержат информацию о том, какой мы хотим сделать нашу жизнь. Итак, вот эти три правила. Теперь рассмотрим, как они применяются к вопросу, поставленному Тьюрингом: «Можно ли отключить машину?»

Итак, это робот PR2 из нашей лаборатории. Прямо на спине у него есть красная кнопка «Выкл». Вопрос: позволит ли он вам отключить его? Если мы пойдем старым путем, у него будет цель «Варить кофе. Я должен варить кофе. Я не могу варить кофе, если я мертв». Очевидно, PR2 слушал мое выступление, и поэтому он говорит: «Я должен сломать свой выключатель и вырубить работников Starbucks, которые могут мне помешать».

Это кажется неизбежным, не так ли? Кажется, этого фатального режима невозможно избежать, он следует из конкретно определенной цели.

Что же случится, если у машины не будет четко поставленной цели? Тогда она будет рассуждать по-другому и скажет: «Человек может отключить меня, но только если я допущу ошибку. Я точно не знаю, что правильно, а что нет, но я точно знаю, что не хочу ошибаться». Здесь действуют первые два правила. «Следовательно, я должен разрешить людям отключить меня». Фактически вы можете просчитать стимул, благодаря которому робот позволит людям отключить себя, и этот стимул тесно связан с неопределенностью поставленной цели.

А когда машина отключена, начинает действовать третье правило. Она узнает что-то о целях, которые должна преследовать, потому что понимает, что сделала что-то не так. По сути, мы, подобно математикам, можем применить греческие символы для доказательства теоремы, согласно которой именно такой робот принесет человеку пользу. Вероятно, вам будет лучше работать с машиной, которая разработана с учетом этого момента. Данный пример очень прост, но это лишь начало наших попыток разработки робота-компаньона.

Итак, думаю, третье правило озадачивает вас. Вероятно, вы думаете: «Допустим, я поступаю плохо, я не хочу, чтобы робот поступал так же, как я. По ночам я пробираюсь к холодильнику за едой. Я делаю то-то и то-то». Вы бы не хотели, чтобы робот повторял за вами все. На самом деле система работает немного иначе. Робот не будет копировать ваше плохое поведение. Он попытается понять ваши мотивы и, возможно, поможет вам противостоять им в случае необходимости. Но это сложная задача. Фактически мы пытаемся разрешить машинам прогнозировать все возможные варианты своей жизни и жизни каждого человека. Какую жизнь они бы предпочли? Этот процесс сопряжен с множеством затруднений. Я не ожидаю, что с ними можно справиться быстро. Главная сложность заключается именно в нас.

Как я уже упоминал, мы ведем себя плохо. Некоторые из нас просто ужасны. Но роботу, как я уже говорил, не нужно копировать поведение. У робота нет своих собственных целей. Он абсолютно альтруистичный и создан не только для удовлетворения потребностей своего пользователя, он должен уважать предпочтения каждого. Он может справиться с плохими поступками и даже понять, что вы поступаете плохо, например, берете взятки, работая паспортистом, потому что вам нужно кормить семью и оплачивать обучение детей. Он может это понять, и это не значит, что он будет воровать. По сути, это лишь помогает вам оплатить учебу детей.

Наши вычислительные способности также ограничены. Ли Седоль прекрасно играет в го, но он все равно проиграл. Сделанные им ходы привели к поражению. Это не значит, что он хотел проиграть. Чтобы понять его поведение, нам следует смотреть сквозь призму человеческого познания, включающего наши вычислительные ограничения и являющегося очень сложной моделью. Но нам все еще есть над чем поразмыслить.

С моей точки зрения, самое сложное в исследовании ИИ — тот факт, что нас очень много, и поэтому машине нужно идти на компромисс, сопоставлять пожелания множества разных людей, и для этого существуют разные способы. Экономисты, социологи, нравственные философы поняли это, и мы стараемся активно сотрудничать.

Давайте посмотрим, что произойдет, если вы допустите ошибку. Итак, например, вы беседуете с умным личным помощником, который может появиться через несколько лет. Представьте Siri на стероидах. Siri говорит: «Звонила ваша жена, чтобы напомнить о сегодняшнем вечере». И, разумеется, вы забыли.

«Что? Какой ужин? О чем ты говоришь?»

«Ваша 20-я годовщина в 19:00».

«Я не могу, у меня встреча с генеральным секретарем в 19:30. Как такое могло случиться?»

«Я предупреждала вас, но вы проигнорировали мой совет».

«Что же мне делать? Я же не могу просто сказать ему, что занят».

«Не беспокойтесь. Я задержала его рейс. Какая-то компьютерная неисправность».

«Ты и такое можешь сделать?»

«Он приносит глубочайшие извинения и приглашает вас на обед завтра».

Итак, есть небольшая ошибка в оценке приоритетов. Четкое следование ценностям моей жены и ее принципу«Счастливая жена — счастливая жизнь».

Могло быть и по-другому. Вы приходите домой после тяжелого рабочего дня, а компьютер спрашивает:

«Трудный день?»

«Даже не успел пообедать».

«Думаю, вы очень голодны».

«Умираю с голоду. Можешь приготовить ужин?»

«Я должна кое-что вам сказать. Люди в Южном Судане нуждаются в помощи больше, чем вы. Так что я ухожу. Готовьте себе ужин сами».

Итак, нам нужно решить эти проблемы, и мне не терпится поработать над ними.

Для оптимизма есть основания. Во-первых, собран огромный объем данных. Помните, я говорил, что они прочитают все, что когда-либо написали люди? В основном мы писали о том, как одни люди что-либо делают, а другие расстраиваются по этому поводу. Так что у нас есть множество данных для изучения.

Также есть важный экономический стимул сделать все правильно. Представьте вашего робота у себя дома. Вы снова задерживаетесь на работе, и робот должен накормить детей, а кормить их нечем, потому что холодильник пуст. И робот видит кошку. Робот не изучил сущность человеческих ценностей и не понимает, что сентиментальная ценность кошки превосходит ее питательную ценность. Что происходит тогда? Что-то вроде этого: «Ненормальный робот готовит котенка на семейный ужин». 

Этот инцидент положил бы конец производству домашних роботов. Так что у нас есть огромный стимул сделать все правильно до того, как мы создадим суперумную машину.

Итак, подытожим. По сути, я пытаюсь изменить определение ИИ, чтобы наши машины были действительно полезными. Основные моменты: это альтруистичные машины, которые хотят добиваться лишь наших целей, но не знают, каких именно целей, и будут наблюдать за всеми нами, чтобы узнать, чего мы на самом деле хотим.Надеюсь, в процессе мы сами станем лучше. Большое спасибо.

Крис Андерсон: Очень интересно, Стюарт. Мы задержимся здесь немного, потому что, сейчас идет подготовка к следующему выступлению. Пара вопросов. Идея программирования незнания подсознательно кажется очень мощной. Что помешает роботу, получившему суперразум, почитать книги и обнаружить, что на самом деле знания лучше невежества, начать следовать другим целям и перепрограммировать себя?

Стюарт Рассел: Как я уже сказал, мы хотим, чтобы роботы узнали больше о наших целях. Они станут более определенными лишь когда станут правильными, робот будет запрограммирован правильно понимать полученные данные. Например, он будет понимать, что книги описывают мир довольно однобоко. Они повествуют лишь о королях, принцах и знатных белых мужчинах, которые делают свою работу. Это сложная проблема, но чем больше он будет узнавать о наших целях, тем больше пользы он будет приносить нам.

КА: Вы не можете свести все к одному закону, который бы гласил: «Если когда-нибудь человек попытается меня выключить, я подчинюсь. Я подчинюсь»?

СР: Абсолютно исключено. Это была бы ужасная идея. Представьте, что у вас есть беспилотный автомобиль, и вы хотите отправить на нем своего пятилетнего сына в детский сад. Хотели бы вы, чтобы ваш пятилетний сын мог отключить машину, когда она едет? Вероятно, нет. Поэтому нужно понимать степень рациональности и здравомыслия личности. Чем более рационален человек, тем вероятнее робот согласится на отключение. Если это случайный человек или даже злоумышленник, он отключится с меньшей охотой.

КА: Хорошо Стюарт. Я очень надеюсь, что вы разберетесь с этим ради нас. Большое спасибо за выступление. Это было потрясающе.

Перевод: Наталья Писемская 
Редактор: Екатерина Юссупова 

Источник