Зейнеп Тюфекчи: Искусственный интеллект усиливает важность человеческой этики

Я начала работать программистом в первый год учебы в колледже, практически подростком. Вскоре после того, как я начала работать — писать программное обеспечение — один из работающих в компании менеджеров подошел ко мне и прошептал: «Он понимает, когда я вру?» В комнате никого больше не было.

«Кто он? И почему ты шепчешь?»

Менеджер указал на компьютер. «Он может понять, когда я вру?» Кстати, у этого менеджера был роман с секретаршей. А я была еще подростком. Поэтому я шепотом крикнула ему: «Да, компьютер может понять, когда ты лжешь».

Я пошутила, но оказалось, что это была не шутка. Теперь существуют вычислительные системы, которые могут определить ваше эмоциональное состояние и даже ложь, обрабатывая выражения человеческих лиц. Рекламодатели и правительства очень заинтересованы.

Я стала программистом, потому что я была одержимым математикой и наукой ребенком. Но в какой-то момент я узнала о существовании ядерного оружия и всерьез задумалась о научной этике. Меня это беспокоило. Однако из-за семейных обстоятельств мне пришлось начать работать как можно скорее. Так что я подумала: «Эй, мне просто надо выбрать техническую область, где я смогу легко получить работу, и где мне не придется иметь дело со сложными этическими вопросами». Так что я выбрала компьютеры.

Ха, ха, ха! Все смеются надо мной. В наши дни компьютерные ученые создают платформы, которые контролируют то, что миллиард человек видит каждый день. Они разрабатывают автомобили, которые могли бы решить, кого задавить. Они даже разрабатывают машины и оружие, которые могут убивать людей на войне. Здесь вопросы этики повсюду.

Искусственный интеллект уже здесь. Мы уже используем вычислительную технику для принятия каких угодно решений, и даже для создания новых решений. Мы задаем компьютерам вопросы, на которые нет единого правильного ответа: субъективные вопросы, открытые и вопросы оценочного характера.

Мы задавали такие вопросы, как: «Кого стоит нанять в компанию?» «Какое обновление и от какого друга мы должны видеть?» «Кто из осужденных скорее всего станет рецидивистом?» «Какие новости или фильмы рекомендовать людям?»

Да, мы используем компьютеры уже продолжительное время, но это совсем другое. Это исторический поворот, потому что базис для вычисления принятия субъективных решений, отличается от того, что используется для сборки самолетов, строительства мостов или полетов на Луну. Самолеты стали безопаснее? Мосты больше не падают? Здесь у нас есть достаточно четкие критерии и законы природы, на которые мы можем положиться. Но нет четких критериев для принятия решений в запутанных людских делах.

Еще больше усложняет задачу программное обеспечение, становящееся менее прозрачным и более сложным и мощным. За последнее десятилетие развитие сложных алгоритмов достигло больших успехов. Они могут распознавать человеческие лица. Они могут расшифровывать почерк. Выявить мошенничество с кредитными картами или блокировать спам, они могут переводить с других языков. Они могут выявлять опухоли в рентгенографии. Они могут обыгрывать нас в шахматы и в го.

Большая часть этого прогресса достигнута с помощью «машинного обучения». Машинное обучение отличается от традиционного программирования, где вы даете компьютеру подробные, точные, четкие инструкции. Это больше похоже, как будто мы скармливаем компьютеру много данных, в том числе бессистемных данных, как те, что мы создаем в нашей цифровой жизни. И система сама учится систематизировать эти данные. Особенно важно то, что эти системы не работают по логике поиска единого ответа. Они не дают однозначного ответа, они основаны на вероятности: «Этот ответ, вероятно, похож на то, что вы ищете».

Плюс этого метода в том, что он очень перспективный. Глава систем ИИ Google назвал его «нерационально высокая эффективность данных». Минус в том, что мы не знаем, что именно система выучила. В этом мощь системы. Это не похоже на то, как давать указания компьютеру, это больше похоже на обучение машины-щенка, которого мы не понимаем и не контролируем. В этом наша проблема. Плохо, когда система искусственного интеллекта понимает что-то неправильно. И также плохо, когда система понимает что-то правильно, потому что мы не знаем, что есть что, когда дело касается субъективой проблемы. Мы не знаем, о чем эта штука думает.

Рассмотрим алгоритм приема на работу — система для найма людей с использованием машинного обучения. Такая система будет обучаться по данным о предыдущих сотрудниках и будет искать и нанимать людей, похожих на нынешних самых эффективных сотрудников компании. Звучит хорошо. Однажды я была на конференции для руководителей, менеджеров по персоналу и топ-менеджеров, использующих такую систему найма. Все были очень воодушевлены. Они думали, что это сделает процесс найма более объективным, менее предвзятым, даст женщинам и меньшинствам больше шансов в отличие от предвзято настроенных менеджеров.

Найм сотрудников построен на предвзятости. Я знаю. На одной из моих первых работ в качестве программиста моя непосредственная начальница иногда подходила ко мне очень рано утром или очень поздно днем и говорила: «Зейнеп, пойдем обедать!» Я была озадачена странным выбором времени. Обед в 4 часа дня? Бесплатный ланч, денег у меня нет. Я всегда ходила. Позже я поняла, что происходит. Мои непосредственные руководители не признались вышестоящему руководству, что программист, которого они наняли на серьезный проект — девушка подросток, которая ходит на работу в джинсах и кроссовках. Я хорошо выполняла работу, я просто выглядела неподобающе, была неправильного возраста и пола.

Так что найм без учета пола и расы, конечно, звучит для меня как хорошая идея. Но с этими системами все сложнее, и вот почему: сейчас вычислительные системы могут узнать всю информацию о вас по крошкам, что вы оставляете в цифровом виде, даже если вы не разглашаете такую информацию. Они могут вычислить вашу сексуальную ориентацию, ваши черты характера, ваши политические пристрастия. Они могут составлять прогнозы с высоким уровнем точности. Помните, даже для информации, которую вы даже не разглашаете. Это предположения.

У меня есть подруга, которая разрабатывает такие системы для прогнозирования вероятности клинической или послеродовой депрессии по данным из социальных сетей. Результаты впечатляют. Ее система может предсказать вероятность депрессии до появления каких-либо симптомов — за несколько месяцев. Симптомов нет, а прогноз есть. Она надеется, что программа будет использоваться для профилактики. Отлично! Теперь представьте это в контексте найма.

На той конференции для управляющих персоналом я подошла к менеджеру высокого уровня в очень крупной компании, и спросила ее: «Что, если система без вашего ведома начнет отсеивать людей с высокой вероятностью будущей депрессии? Сейчас у них нет депрессии, но в будущем вероятность высока. Что, если система начнет отсеивать женщин, чья вероятность забеременеть через год или два выше, но они не беременны сейчас? Если начнет нанимать агрессивных людей, потому что это норма для вашей компании? Этого не определить, глядя на процентное соотношение полов. Эти показатели могут быть в норме. Так как это машинное обучение, а не традиционное программирование, тут нет переменной «более высокий риск депрессии», «высокий риск беременности», или «агрессивный парень». Мало того, что вы не знаете, как ваша система делает выводы, вы даже не знаете, откуда что берется. Это черный ящик. Он может прогнозировать, но мы не понимаем принцип его работы.

Я спросила: «Какие у вас меры предосторожности, чтобы убедиться, что черный ящик не делает ничего сомнительного?» Она посмотрела на меня, как будто я только что отдавила хвосты 10 щенкам. Она посмотрела на меня и сказала: «Я не хочу слышать ни слова об этом». Она повернулась и пошла прочь. Имейте в виду — она ​​не грубила мне. Позиция очевидна: то, чего я не знаю — не моя проблема, отвяжись, стрелы из глаз.

Такая система может быть менее предвзятой, чем сами менеджеры в каком-то смысле. В этом может быть финансовая выгода. Но это также может привести к неуклонному и скрытому выдавливанию с рынка труда людей с более высоким риском развития депрессии. Мы хотим построить такое общество, даже не осознавая, что мы делаем, потому что отдали право принятия решений машинам, которые до конца не понимаем?

Следующая проблема: эти системы часто обучаются на данных, произведенных нашими действиями — человеческим поведением. Возможно, они просто отражают наши предубеждения, и эти системы могут собирать наши пристрастия и усиливать их, показывая нам их вновь, а мы говорим себе: «Мы просто проводим объективные, непредвзятые вычисления».

Исследователи обнаружили что в Google женщины реже, чем мужчины, видят объявления о высокооплачиваемой работе. Набирая в поисковике афро-американские имена, вероятность увидеть объявления криминального характера будет выше, даже там, где криминала нет. Скрытая необъективность и алгоритмы черного ящика, которые исследователи иногда выявляют, а иногда нет, могут иметь далеко идущие последствия.

В Висконсине подсудимый был приговорен к шести годам лишения свободы за уклонение от полиции. Может, вы не знаете, но эти алгоритмы все чаще используются в вынесении приговоров. Он хотел узнать, как все это рассчитывается? Это коммерческий черный ящик. Компания отказалась обсуждать свой алгоритм на открытом заседании суда. Но следственная некоммерческая организация ProPublica проверила алгоритм, используя данные из интернета, и обнаружила, что результаты необъективны, способность прогнозирования ужасная, немного лучше, чем случайность. Система классифицирует чернокожих обвиняемых как будущих преступников в два раза чаще, чем белых обвиняемых.

Рассмотрим следующий случай: эта девушка опаздывала, чтобы забрать свою крестную сестру из школы в округе Броуард, штат Флорида. Они с подругой бежали по улице. Тут они заметили незапертые велосипед и скутер на крыльце и по глупости взяли их. Когда они отъезжали, вышла женщина и крикнула: «Эй! Это велосипед моего ребенка!» Они его бросили и ушли, но их арестовали.

Она была не права, она сглупила, но ей было всего 18 лет. У нее была пара юношеских правонарушений. В то же время этот мужчина был арестован за кражу в магазине Home Depot, примерно на сумму $85 — такое же мелкое преступление. Но у него за спиной было две судимости за вооруженный грабеж. Алгоритм посчитал, что ее показатель риска выше, чем его. Спустя пару лет ProPublica выяснили, что она больше не совершала преступлений. Но зато ей было сложно найти работу, имея судимость. Тогда как этот мужчина стал рецидивистом, и в настоящее время отбывает восьмилетний срок за свое последнее преступление. Очевидно, мы должны проверять наши черные ящики, чтобы они не получили бесконтрольную власть.

Проверка и контроль важны, но они не решают всех проблем. Вспомните мощный алгоритм ленты новостей на Facebook — знаете, тот, который оценивает все и решает, что именно вам показывать от ваших друзей и страниц, на которые вы подписаны. Показать вам еще одну картинку младенца? Грустный комментарий от знакомого? Важную, но непростую новость? Тут нет единого ответа. Facebook оптимизирует вашу деятельность на сайте: лайки, ссылки, комментарии.

В августе 2014 года в Фергюсоне, штат Миссури вспыхнули протесты после того, как белый полицейский убил афро-американского подростка при невыясненных обстоятельствах. Новости о протестах заполонили мой алгоритмически нефильтрованный Twitter, но в моем Facebook их не было. Может, это из-за моих друзей в Facebook? Я отключила алгоритм Facebook, что было сложно, так как Facebook хочет, чтобы вы были под контролем алгоритма. Я увидела, что мои друзья обсуждали эту тему. Просто алгоритм не показывал это мне. Я изучила этот вопрос и выяснила, что это распространенная проблема.

Новость про Фергюсон была неудобна для алгоритма. Эта новость не наберет лайки. Кто будет лайкать это? Это даже сложно комментировать. Без лайков и комментариев алгоритм, вероятно, показывал новость еще меньшему кругу людей, поэтому мы не видели это. Вместо этого на той же неделе алгоритм Facebook выделил это — кампания «испытание ведром ледяной воды». Важное дело: выливаем ведро со льдом, жертвуем на благотворительность — супер. Это было очень удобно для алгоритма. Машина решила за нас. Очень важный, но трудный разговор, возможно, был бы замят, будь Facebook единственным каналом.

Наконец, эти системы могут делать ошибки, которые не похожи на ошибки людей. Помните Уотсона, искусственный интеллект IBM, который разгромил соперников-людей на телевикторине Jeopardy? Он был отличным игроком. Тогда, во время финала игры Уотсону задали вопрос: «Его крупнейший аэропорт назван в честь героя Второй мировой войны, а второй — в честь битвы Второй мировой войны».

Чикаго. Два человека ответили правильно. Уотсон ответил «Торонто» — в категории городов США! Мощнейшая система сделала ошибку, которую человек никогда бы не сделал, даже второклассник бы не ошибся.

Искусственный интеллект может ошибиться там, где человек не допустит ошибку, там, где мы не ожидаем ошибку и не готовы к ней. Жалко не получить работу тому, кто для нее подходит, но еще хуже, если это произошло из-за переполнения стека в какой-то подпрограмме.

В мае 2010 года произошел обвал рынка Уолл-стрит по вине метода передачи данных в алгоритме Уолл-стрит «сбыт», что снизило стоимость бумаг на $1 трлн на 36 минут. Даже подумать страшно, какие последствия может иметь «ошибка» в контексте автономного летального оружия.

У людей всегда предвзятый взгляд на вещи. Лица, принимающие решения, и контролеры, в судах, в новостях, на войне … люди совершают ошибки — именно это я и имею в виду. Мы не можем избежать сложных вопросов. Мы не можем переложить свои обязанности на машины.

Искусственный интеллект не дает нам права переложить вопросы этики на машину.

Эксперт по данным Фред Бененсон называет это «математической чисткой». Нам нужно совсем другое. Нам необходимы пристальное внимание, контроль и оценка алгоритмов. У нас должна быть алгоритмическая отчетность, проверка и достаточная прозрачность. Мы должны признать, что, добавив математику и вычисления к запутанным человеческим делам, мы не получим объективности. Скорее, сложность человеческих отношений вторгнется в алгоритмы. Да, мы можем, и мы должны использовать вычисления для поиска лучших решений. Мы также должны нести моральную ответственность и принимать решения, успользуя алгоритмы в этих рамках, а не как средство отказа от обязательств, чтобы передать наши обязанности друг другу, как один человек другому.

Искусственный интеллект уже здесь. Это значит, что мы должны еще больше придерживаться человеческих ценностей и этики.

Перевод: Ольга Рассказова
Редактор: Марина Ли

Источник