Если вы читаете эти слова, вероятно, масса алгоритмов сделала прогнозы о вас. Возможно, алгоритм предложил вам эту статью для просмотра, потому что предсказал, что вы ее прочтете. Алгоритмическое прогнозирование способно определить, получите ли вы кредит, работу, жилье, страховку и многое другое.
Эта предсказательная аналитика захватывает всё больше сфер жизни. И никто не спрашивает вашего разрешения делать такие прогнозы. Ни один государственный орган их не контролирует. Никто не сообщает вам о выводах, определяющих вашу судьбу. Хуже того, анализ научной литературы по поводу прогностической этики показывает, что это весьма неизученная область знаний. Как общество, мы еще не думали об этических последствиях предсказаний, касающихся людей, – существ, которые считаются наделенными свободой действия и свободой воли.
Бросать вызов судьбе – это основа того, что значит быть человеком. Наши величайшие герои – это те, кто бросил вызов своим обстоятельствам: Махатма Ганди, Мария Кюри, Хелен Келлер, Роза Паркс, Нельсон Мандела и многие другие. Все они добились успеха сверх всяких ожиданий. Каждый школьный учитель знает детей, которые достигли большего, чем предполагали их характеристики. Помимо улучшения базового уровня каждого человека, мы хотим жить в обществе, которое одобряет и стимулирует сопротивление обстоятельствам. Однако чем больше мы используем ИИ для классификации людей, предсказания их будущего и соответствующего отношения к ним, тем сильнее мы ограничиваем человеческую свободу действий, что делает нас подверженными новым, еще неизвестным рискам.
К предсказаниям люди прибегали задолго до Дельфийского оракула. Эти пророчества становились поводом для развязывания войн. Уже в новое время предсказание использовалось для таких вещей, как определение страховых взносов. Прогнозы зачастую касались больших групп людей – например, сколько из 100 000 человек разобьют свои автомобили. Некоторые из водителей могли быть осторожнее и удачливее других, но взносы были примерно одинаковы (кроме таких широких категорий, как возрастные группы). Предполагалось, что объединение рисков позволяет увеличение затрат на менее осторожных водителей компенсировать их уменьшением на более аккуратных коллег. Чем значительнее была выборка, тем более предсказуемыми и стабильными оказывались взносы.
Сегодня предсказания делаются главным образом с помощью алгоритмов машинного обучения, которые на основе статистики восполняют пробелы в информации. Текстовые алгоритмы используют огромные языковые базы данных, чтобы предсказать наиболее вероятную цепочку слов в предложении. Игровые алгоритмы используют данные прошлых игр, чтобы предсказать наилучший следующий ход. А алгоритмы, применяемые к человеческому поведению, используют исторические данные, чтобы сделать вывод о нашем будущем: что мы собираемся купить, планируем ли сменить работу, можем ли заболеть, совершить преступление или разбить машину. При такой модели страхование больше не сводится к объединению рисков больших групп людей. Прогнозы стали индивидуализированными, и вы всё чаще платите сами за себя в соответствии с личным уровнем риска, и это создает новый комплекс этических проблем.
Важной характеристикой предсказания является то, что оно не описывает реальность. Оно касается будущего, а будущее – это то, что реальностью только собирается стать. Прогноз – это предположение, и оно содержит всевозможные субъективные оценки и предубеждения относительно риска и пользы. Конечно, прогнозы могут быть более или менее точными, но связь между вероятностью и реальностью гораздо тоньше и этически проблематичнее, чем думают некоторые.
Однако сегодня организации зачастую пытаются выдать предсказания за модель объективной реальности. И даже в случае исключительно вероятностных прогнозов ИИ, на практике они часто интерпретируются как предопределенность – отчасти из-за непонимания людьми сути вероятности, отчасти из-за того, что избегание рисков во многом способствует их реализации. (Например, если с вероятностью в 75% прогнозируется, что человек окажется плохим сотрудником, компании не захотят его нанимать, особенно если есть кандидаты с меньшим показателем риска).
То, как мы используем предсказания, поднимает этические вопросы, ведущие к одному из старейших философских споров: если существует всеведущий Бог, можно ли сказать, что мы действительно свободны? Если Бог знает всё, что должно произойти, это означает, что будущее полностью предопределено, иначе оно было бы непознаваемым. Смысл в том, что наше чувство свободы воли есть всего лишь чувство. Такой взгляд называется теологическим фатализмом.
В этом аргументе, помимо вопросов о Боге, беспокоит следующая идея: если точные прогнозы возможны (независимо от того, кто их делает), значит предсказанное уже определено. В эпоху ИИ подобное беспокойство становится всё более заметным, поскольку предиктивная аналитика постоянно нацелена на людей.
Одна из основных этических проблем заключается в том, что, прогнозируя человеческое поведение так же, как погоду, мы относимся к людям как к вещам. Относиться к человеку с уважением – означает, в том числе, признавать его свободу действий и способность менять себя и свои обстоятельства. Если мы решим, что знаем чье-то будущее еще до его наступления, и будем соответствующе относиться к человеку, мы не дадим ему возможности, действуя свободно, изменить вероятность этого предсказания.
Вторая этическая проблема, связанная с прогнозированием человеческого поведения, заключается в том, что, рассматривая людей как вещи, мы создаем самоисполняющиеся пророчества. Прогнозы редко бывают нейтральными. Чаще всего акт предсказания, призванный лишь наблюдать за реальностью, вторгается в нее. Например, когда соцсеть прогнозирует «вирусность» поста, она максимально увеличивает количество его просмотров – и, о чудо, пост становится вирусным. Или вернемся к примеру с алгоритмом, определившим, что из вас не выйдет хороший сотрудник. Ваша неспособность получить работу может быть объяснена не точностью предсказания, а рекомендациями алгоритма, которые компании получают и учитывают. Попадание в черный список алгоритма может серьезно ограничить ваши жизненные возможности.
Философов прошлого, интересовавшихся теологическим фатализмом, беспокоило то, что если Бог всеведущ и всемогущ, Его трудно не обвинить во зле. Как писал Дэвид Юм: «Примирить […] случайность человеческих действий с предвидением […] и при этом освободить Божество от того, чтобы быть ответственным за грех, это выше возможностей философии». В случае с ИИ, если предиктивная аналитика отчасти создает реальность, которую она призвана предсказывать, то она отчасти несет и ответственность за негативные тенденции, которые мы наблюдаем в эпоху цифровых технологий, – от растущего неравенства до поляризации, дезинформации и вреда, наносимого детям и подросткам.
В конечном итоге широкое использование предсказательной аналитики лишает нас возможности открытого будущего, в котором мы можем что-то изменить, – и это способно разрушительно повлиять на общество в целом.
На протяжении всей истории мы стремились жить так, чтобы сопротивляться фатализму. Мы делаем всё возможное, чтобы дать образование нашим детям, надеясь, что наши вложения сделают их жизнь лучше. Мы прилагаем усилия, чтобы изменить наши привычки в надежде на улучшение здоровья. Мы хвалим за хорошее поведение, чтобы поощрить к нему еще больше, признавая, что люди могут делать иной, худший выбор. Мы наказываем правонарушителей отчасти для того, чтобы лишить их и других людей стимулов нарушать социальные нормы, а отчасти для того, чтобы укорить тех, кто, по нашему мнению, должен поступать лучше. Мы стремимся построить наше общество на основе добродетелей.
Ни одна из социальных практик, столь важных для нашего образа жизни, не имела бы никакого смысла, если бы мы думали или вели себя так, будто судьбы людей предрешены. Похвала и порицание были бы совершенно неуместны. Представьте себе мир без оценок, штрафов, поощрений и наказаний любого рода. Мир без каких-либо попыток изменить будущее. Мир, в котором люди совершенно смирились с предопределенностью. Такой мир почти не вообразим. Если бы будущее каждой компании можно было с точностью предсказать, финансовые рынки в их нынешнем виде мгновенно бы рухнули, а вместе с ними и вся наша экономика. Хотя такая экстремальная перспектива маловероятна, нам не стоит идти путем, приближающим к ней.
Существует неразрешимое противоречие между практикой предсказания человеческого поведения и верой в свободу воли как часть нашей повседневной жизни. Здоровая степень сомнения в том, что произойдет, побуждает нас стремиться к лучшему и оставляет возможности открытыми. Желание собрать все потенциально возможные данные, чтобы определить наше будущее, несовместимо с отношением к человеку как к творцу собственной жизни.
Нам приходится выбирать между отношением к людям как к механическим устройствам, будущее которых можно и нужно определять (в этом случае верить в меритократию бессмысленно), и отношением друг к другу как к субъектам (в этом случае делать из людей мишени для индивидуальных прогнозов неприемлемо). Нам и в голову не придет сажать трактор или другую машину в тюрьму. Если люди подобны тракторам, то и их нельзя сажать в тюрьму. Если люди отличаются от машин, а нам необходимо продолжать хвалить или порицать их, тогда мы не должны относиться к людям как к вещам, предсказывая их дальнейшие действия, будто они не имеют права голоса.
Предсказания не безобидны. Широкое использование предиктивной аналитики может даже изменить то, как люди думают о себе. Вера в свободу воли имеет свою ценность. Психологические исследования показывают, что подрыв этой веры приводит к росту лжи, агрессии и конформизма, а также негативно влияет на помогающее поведение и такие положительные чувства, как искренность и благодарность. Чем больше мы используем предсказательную аналитику в отношении человека, тем больше мы концептуализируем его как всего лишь результат его собственных обстоятельств, и тем больше людей, вероятно, будут чувствовать себя безвольными и бессильными перед лицом трудностей. Чем меньше мы оставляем человеку возможностей бороться с обстоятельствами, тем больше будем виноваты в том, что обрекаем его и общество на статус-кво. Способность бороться с судьбой – это один из величайших даров человечеству, и мы рискуем, разрушая его.