Зачастую общество признает, что некоторые люди — например, солдаты, шпионы и сотрудники правоохранительных органов — бывают вынуждены пойти на убийство во имя общего блага. Другими словами, у них есть «лицензия на убийство». Мы разрабатываем технологически совершенные машины, которые могут автономно выбирать цели и поражать их. Они могут делать это с меньшим риском для людей-операторов. Моральная проблема этого автономного оружия заключается в том, что оно дегуманизирует жертву.
В мире Джеймса Бонда, созданного Яном Флемингом, у агента 007 есть «лицензия на убийство». Это означает, что Бонд имеет право принимать решение, использовать ли смертельное оружие ради высшего блага. Но люди эмоциональны и непостоянны. Мы склонны к ошибкам и предвзятости. В связи с этим возникает вопрос: если «лицензия на убийство» необходима правоохранительным органам, может, стоит вместо этого выдать ее роботу?
Это уже не теоретическая проблема. Сейчас мы живем в мире, где боевые действия все больше и больше ведутся с помощью технологий, от ракет дальнего радиуса действия до беспилотных летательных аппаратов. Давайте рассмотрим на этот вопрос более лично: может ли местное отделение полиции, например, иметь право использовать роботов с правом на убийство в вашем районе?
Служить и защищать 2.0
У «роботов-убийц» есть более официальное название: «смертоносное автономное оружие» (Смертоносные автономные системы, САС). В последнее время они часто появляются в новостях. В ноябре департамент полиции Сан-Франциско обратился к представителям законодательной власти города с просьбой разрешить полиции использовать роботов, способных убивать. Полиция Сан-Франциско хотела бы использовать роботов, «когда риск гибели людей или офицеров неизбежен и перевешивает любой другой вариант применения силы, доступный полиции Сан-Франциско». Другими словами, они хотят использовать САС, только когда они являются лучшим средством в опасной ситуации.
Для полиции использование смертоносных роботов не является беспрецедентным. В 2016 году полиция Далласа приказала роботу со взрывчаткой уничтожить боевика, который уже убил пятерых офицеров. У полиции Окленда есть робот, вооруженный дробовиком, который надежно обезвреживает бомбы, и они думали над тем, чтобы оснастить робота боевыми патронами (хотя и отказались от этой идеи).
Первоначально запрос полиции Сан-Франциско был удовлетворен, но потребовалась всего неделя давления со стороны протестующих групп за гражданские свободы, чтобы решение было отменено. Дин Престон, один из законодателей города, который с самого начала возражал против этой идеи, заявил: «Жители Сан-Франциско высказались громко и ясно: в нашем городе нет места полицейским роботам-убийцам. Мы должны работать над тем, чтобы уменьшить применение силы местными правоохранительными органами, а не давать им новые инструменты для убийства людей».
Моральная дилемма
Кто прав в этом споре? Если робот, ответственно запрограммированный и под должным контролем, может защитить или спасти жизни гражданских лиц, почему нельзя их использовать? Есть два важных моральных различия для человека и ИИ.
Первая касается того, в какой степени компьютеры могут принимать сложные этические решения в условиях боевых действий или выполняя работу правоохранительных органов. Почти любое сложное событие, связанное с применением огнестрельного оружия или вооружений, включает в себя риск, связанный с жизнью мирных жителей. Тем не менее человек может проявить моральную осмотрительность. Например, он может отказаться от выполнения задания, если оно сопряжено со слишком высоким риском для детей. Или агент может изменить тактику, если сочтет цель неподходящей или ошибочной. У полицейского с оружием есть такая степень выбора, которой нет у робота: последний только выполняет приказы. Многие САС, лишившись связи со своими операторами-людьми, не могут проявить благоразумие. Они не могут принять моральное решение.
Кампания против использования САС «Остановите роботов-убийц» заявляет: «машины видят в нас не людей, а просто еще один фрагмент кода, который нужно отсортировать». Анна Арендт, наблюдая за судом над Адольфом Эйхманом, устроившим Холокост, считала, что, то, что он отстранялся от работы, усугубляло зло. У него были приказы, которые нужно было выполнять, и квоты, которые нужно было соблюдать. Он видел электронные таблицы, а не людей. Как выразилась Арендт:
Эйхман не был ни Яго, ни Макбетом. Кроме необычайного усердия в заботе о личном продвижении, у него не было никаких мотивов… он никогда не осознавал, что делает… Именно чистое бездумье, что отнюдь не тождественно глупости, и предопределило то, что он стал одним из величайших преступников того времени. Такая оторванность от реальности и такое бездумье могут посеять больший хаос, чем все злые инстинкты вместе взятые.
Читая это, нетрудно увидеть в Эйхмане аспект робота — нечеловеческий расчетливый взгляд на жизнь. Беспилотники или роботы не большее зло, чем пуля или копье сами по себе. А вот то, что искусственный интеллект сможет решать, чью жизнь остановить, — это гораздо большее. САС не в состоянии оценивать жизнь человека как достойную, поэтому трудно представить, что они вообще способны оценить человека. Другими словами, роботы-убийцы — это высшее проявление знаменитого выражения Арендт «банальность зла».