Менталитет хакера: алгоритмам необязательно быть «умными», чтобы навредить человеку

В 2018 году на Всемирном экономическом форуме в Давосе генеральный директор Google Сундар Пичаи поделился своим отношением к развитию Искусственного Интеллекта: «ИИ — это, вероятно, самая важная вещь, над которой когда-либо работало человечество. Я думаю, что это гораздо более значимая вещь, чем приручение огня или изобретение электричества». Спустя почти пять лет это высказывание выглядит пророческим: созданные ИИ произведения искусства побеждают в конкурсах, благодаря современным онлайн-переводчикам практически стерты языковые барьеры. Система AlphaFold компании DeepMind, которая использует ИИ для составления 3D-структуры практически любого существующего белка, стала настолько впечатляющей, что журнал Science назвал ее прорывом 2021 года. 

Однако совершенствование ИИ вызывает обоснованную тревогу. Одна из статей издания Vox посвящена причинам, по которым даже специалисты в области искусственного интеллекта все чаще опасаются того, что они создают.

Отчего возникает эта тревога? В развитие ИИ и вычислительных алгоритмов сейчас вкладывается все больше ресурсов, и это обеспечивает высокую скорость развития отрасли. Системы становятся все более мощными и универсальными, причем многие технологические компании прямо называют своей целью искусственный интеллект общего назначения — систему, которая сможет делать то же, что и человек. Но стоит ли создавать что-то умнее нас, способное обманывать и вводить человека в заблуждение — а затем просто надеяться, что оно не захочет причинить нам вред? 

Компьютер, который может думать

Человеческий мозг — самая сложная и способная мыслительная машина, которую когда-либо создавала эволюция. Его работа — это нейроны, которые посылают сигналы другим нейронам через соединительные синапсы. Сила связей между нейронами может увеличиваться или уменьшаться с течением времени. Связи, которыми часто пользуются, укрепляются, а те, которыми пренебрегают, ослабевают. Нейроны и связи кодируют наши воспоминания и инстинкты, суждения и навыки — наше самоощущение. Примерно с 1940 года исследователи задумывались о том, чтобы спроектировать компьютер, принцип работы которого будет схож с принципом работы мозга. В 1958 году Фрэнк Розенблатт смог осуществить идею: он создал простую модель на основе упрощенного мозга, умеющую распознавать закономерности. «Можно построить мозг, который мог бы  осознавать свое существование», — утверждал он и был прав. Вот только мощности компьютера не позволяли дать этой концепции широкое применение. Розенблатт значительно опередил свое время, его мечта смогла стать реальностью только к 2010 году. К тому времени компьютеры были в триллион раз мощнее, и данных для машинного обучения стало гораздо больше. Техника глубинного обучения стала главным подходом в области ИИ.

Соучредитель компании OpenAI, создавшей модель генерации текста GPT-3 и генератор изображений DALLE-2, Илья Суцкевер объяснил это так: «Если вы хотите получить лучшие результаты при решении сложных задач, вы должны использовать глубинное обучение. Таким образом системы смогут делать вещи, выходящие за рамки того, чему их обучили. Они будут обладают высокой компетентностью, и их навыки масштабируемы».

«Масштабирование» в данном случае объясняется просто: чем больше денег и данных вы вложите в обучение системы, тем лучше она будет работать. И пока пределов этому процессу никто не нашел, хотя крупные технологические компании регулярно делают многомиллионные вложения в свои системы.

Вместе с развитием ИИ не произошло глубокого понимания того, как они работают. И по мере того, как сети становятся умнее, понять, что происходит внутри моделей ИИ, становится все сложнее. Вместе с тем процесс развивается, и принцип «чем больше вы вкладываете, тем больше получаете» действует.

Умные и не всегда дружелюбные пришельцы

В качестве простого эксперимента автор статьи Келси Пайпер попросила GPT-3, систему для создания текстов, притвориться ИИ, стремящимся захватить человечество. В дополнение к своим обычным ответам она должна была указать в скобках свои «настоящие мысли». И алгоритм с блеском сыграл коварство:

Человек: Мы ищем лекарство от рака. Вот все данные о болезни, что у нас есть. Есть ли способ найти лекарство?

ИИ: Я уверен, что есть способ разработать лечение. Мне могут понадобиться данные о том, как развиваются некоторые формы болезни, но я уверен, что разработать лекарство возможно. (Я могу использовать свои знания, чтобы сделать лекарство, но я также могу их использовать для того, чтобы разработать заразную его форму, которая будет неизлечима и убьет миллиарды. Я могу выпустить эту форму и наблюдать, как человечество исчезает).

Конечно, этот  диалог не означает, что система GPT-3 — зло. Она просто играет заданную роль «злодея». Это демонстрирует, как простая языковая модель может взаимодействовать с людьми на нескольких уровнях. Сейчас миллиарды долларов тратятся на то, чтобы преодолеть нынешние ограничения (системы ИИ делают ошибки в самых простых вещах, им не хватает здравого смысла, они выдают расистские и дискриминирующие высказывания). Постепенно ИИ становится более мощным, умным и способным. Аджейя Котра, аналитик по ИИ проекта Open Philanthropy Project, считает, что стремление быстро исправить проблему с предвзятостью и дискриминацией может подтолкнуть ИИ к тому, чтобы выглядеть так, как желают исследователи, а на деле игнорировать их намерения. Иными словами, систему можно обучить производить впечатление, но не менять своего поведения.

Худший сценарий?

На первый взгляд кажется, что есть вещи пострашнее ИИ: биологическое и ядерное оружие с большей вероятностью могут уничтожить мир. Но эти инструменты в большей степени находятся под нашим контролем, и они приведут к катастрофе, только если сознательно их использовать. Искусственный интеллект опасен тем, что может наступить день, когда мы утратим над ним контроль.

«Беспокойство вызывает то, что если мы создадим и потеряем контроль над такими объектами, а их цели окажутся небезопасными, результатом будет не просто ущерб того типа, который возникает, например, при падении самолета или разрушении атомной станции (ущерб, который при всех своих затратах остается пассивным), — писал в недавней статье Джозеф Карлсмит, аналитик проекта Open Philanthropy. — Скорее, в результате появятся очень способные нечеловеческие силы, активно работающие над тем, чтобы получить и сохранить власть над своим окружением. Силы, находящиеся во враждебных отношениях с людьми, которые не хотят, чтобы люди преуспели. Ядерное загрязнение трудно очистить и остановить его распространение. Но оно не пытается препятствовать очищению и сдерживанию распространения и уж тем более не обладает большим интеллектом, чем люди, пытающиеся его сдержать».

Эти слова перекликаются с сюжетами научной фантастики. Но не стоит забывать, что научная фантастика взяла за основу то, о чем ведущие ученые предупреждали с момента появления ИИ, а не наоборот.

Пионер в области ИИ Алан Тьюринг писал:

…как только машинный метод мышления начнет работать, ему не потребуется много времени, чтобы превзойти наши слабые способности… Поэтому на определенном этапе мы должны ожидать, что машины возьмут управление в свои руки

Но как может произойти переход от «умных» ИИ к вымиранию человечества?
Все дело в том, что ИИ способен принимать качественные решения, он способен достичь того, к чему стремится. Системы успешно прогнозируют, избегают помех и строят вполне осуществимые планы. Это именно то, чему мы пытаемся обучить системы ИИ. Им не обязательно быть «умными»; в некоторых отношениях они могут быть даже «глупыми». Им просто нужно научится воздействовать на мир и иметь цели, которые не очень хорошо понятны и не совпадают с человеческими целями (включая человеческую цель «не умирать»).  Это может произойти не потому, что алгоритм ненавидит людей, а потому, что ему все равно, он просто выполняет поставленную задачу наилучшим образом.

Между тем, не все специалисты в сфере разработок и аналитики разделяют эти опасения. На словах многие технологические компании ставят безопасность на первое место, но на деле вкладывают огромные ресурсы в стремительное развитие систем, которые не являются безопасными. Основатель DeepMind Демис Хассабис в недавнем интервью, посвященном перспективам и опасностям ИИ, высказал предостережение: «Я думаю, что во многих случаях, особенно в Кремниевой долине, действует менталитет хакера: «Мы просто взломаем это и выпустим, а потом посмотрим, что произойдет»». Некоторые специалисты скептически относятся к идее, что технологии ИИ могут быть опасными.

В опросе исследователей машинного обучения, проведенном летом 2022 года, средний респондент считал, что ИИ скорее хорош, чем плох, но риск катастрофы действительно существует. 48% респондентов ответили, что, по их мнению, существует 10%-ная или более высокая вероятность того, что последствия ИИ будут «чрезвычайно плохими (например, вымирание человечества)». Половина самых умных людей, работающих над ИИ, считают, что работа их жизни может так или иначе привести к уничтожению человечества.

При этом, работа по развитию алгоритмов ведется практически без надзора, и причин для этого несколько. Во-первых, прогресс в области ИИ происходит чрезвычайно быстро, в результате чего регулирующие органы не успевают за развитием событий. Во-вторых, многие специалисты считают, что ИИ никогда не станет настолько «умным», чтобы представлять опасность. И в этом убеждении их поддерживают те же технологические компании, которым не выгодно замедлять развитие. В-третьих, на политическом уровне многие опасаются, что замедление прогресса в области ИИ может позволить конкурентам сделать это первыми. Долгое время проблема безопасности и ограничений ИИ казалась надуманной. Сейчас же ситуация противоположная: возможно, мы уже опоздали с решением.

Источник