«Вы арестованы»: как Google напугал гарвардского профессора

Сегодня компьютеры принимают множество самостоятельных решений, от составления кредитных рейтингов до заключения сделок. Постепенно алгоритмы берут на себя то, что делали эксперты. Но можно ли алгоритмом заменить человеческую интуицию? И понравятся ли нам последствия такого доверия? Об этом в книге «Машина, платформа толпа. Наше цифровое будущее» рассуждают Эндрю Макафи и Эрик Бриньолфсон. В ноябре русскоязычная версия книги выходит в издательстве МИФ.

У передачи решений машинам есть вполне реальное неприятное следствие: ошибки и недочеты в алгоритмах могут закрепить или даже усилить некоторые из вредных предрассудков нашего общества. Например, Латания Суини, известный профессор из Гарварда, встревожилась, после того как ввела свое имя в Google. Вместе с результатами появилось объявление:

Латания Суини. Арестована? 1. Введите имя и штат. 2. Получите доступ ко всей информации.

Такое объявление предполагало, что у нее криминальное прошлое, хотя она никогда не подвергалась задержанию. Решив исследовать это явление, Суини обнаружила, что поиск по именам, более распространенным среди афроамериканцев (например, Тревон, Лакиша или — да, Латания), с гораздо большей вероятностью приводил к появлению сообщения «Арестована?», чем по именам, чаще ассоциирующимся с белыми (например, Лори или Брендан).

О причинах этого феномена нельзя сказать ничего точно, но Суини дала ему такое объяснение: алгоритм Google, обеспечивающий показ рекламы, заметил, что клики более вероятны, когда объявления связаны с именами, характерными для чернокожих. Это не отражение сознательных дискриминирующих действий людей, размещающих объявления или работающих в Google. Просто алгоритм отражает и усиливает распространенный в обществе расовый предрассудок, проявляющийся в решениях миллионов людей кликнуть по определенным объявлениям. Аналогичным образом по словам «ученый» и «бабушка», набранным в январе 2017 года в сервисе поиска изображений Google, выдавалось ошеломляющее количество фотографий белых людей.

В статье в Nature Кейт Кроуфорд и Райан Кало отмечали опасность того, «что в ряде контекстов недостатки систем искусственного интеллекта чрезвычайно влияют на группы, которые и без того находятся в невыгодном положении из-за таких факторов, как расовая принадлежность, пол или социально-экономические условия», и подчеркивали, насколько важно при проектировании таких систем учитывать социальные воздействия — как намеренные, так и непреднамеренные. Мы разделяем эту озабоченность и видим в тенденции к алгоритмическому принятию решений как вероятные проблемы, так и благоприятные возможности.

Проблемы состоят в том, что такой подход способен укоренить и закрепить несправедливые, опасные и нежелательные искажения. Хуже того, такие искажения могут возникать, несмотря на искреннее желание разработчиков создавать по-настоящему беспристрастные системы, и, вероятно, их будет трудно обнаружить без масштабного тестирования. Любой проект обязательно столкнется с такой проблемой.

Благоприятные возможности состоят в том, что компьютерные системы, как правило, легко поддаются тестированию и улучшению. И если какую-то ошибку однажды исправить, то маловероятно, что она проявится снова. Людям, напротив, крайне трудно разобраться в своих предрассудках (сколько явных расистов и сексистов вы знаете?), не говоря уже о том, сколько труда нужно для их преодоления. Если смотреть на ситуацию реалистично, то для систем, принимающих решение, идеальным не будет ни один стандарт — хоть на основе компьютера, хоть на основе человека, хоть на их сочетании. Любая система, скорее всего, будет содержать искажения и делать ошибки. Так что лучше поставить цель выработать такой подход, который сведет их к минимуму и позволит легко и быстро их исправлять.

Читайте подробнее о книге «Машина, платформа толпа. Наше цифровое будущее» в базе «Идеономики».