«Его звали Джаред»: как роботы стали сексистами

С 2014 по 2017 год компания Amazon попыталась создать алгоритмическую систему для анализа резюме и отбора лучших сотрудников. Ее можно было бы назвать «святым граалем», если бы она действительно работала.

Но она не работала. После того, как компания обучила алгоритм на основе собственных данных о найме за предыдущие 10 лет, алгоритм стал предвзятым против женщин-соискателей. Встречая слово «женщина», алгоритм понижал рейтинг кандидата. Инженеры Amazon попытались исправить эту проблему, но особое чутье у алгоритма так и не появилось, и проект закрылся.

История Amazon заставила задуматься о потенциальном вреде, который системы машинного обучения могут нанести, если их использовать без полного учета социальных и правовых последствий. Amazon — не единственная компания, работающая над этой технологией, и все, кто хочет ее использовать без надлежащих гарантий, могут столкнуться с судебными процессами из-за решений алгоритма, которые они не могут объяснить.

Числа не всегда правдивы

Марк Жируа, адвокат по трудоустройству в Nilan Johnson Lewis, говорит, что один из его клиентов выбирал компанию, продающую инструмент для скрининга резюме, но не хотел принимать решение, пока не выяснит, какие приоритеты у алгоритма.

После проверки обнаружилось, что алгоритм выделяет в качестве приоритетных два фактора: имя соискателя должно быть Джаред, и он должен был играть в лакросс в средней школе. Клиент Жируа не стал использовать этот инструмент.

«Это действительно отличный показатель некоторых проблем с этими системами — ваши результаты настолько хороши, насколько хороши ваши исходные данные, — говорит Жируа. — Вероятно, между этими двумя факторами и производительностью была статистически значимая корреляция, но трудно доказать, что они действительно важны для производительности».

Сообщество исследователей и технологов, изучающих искусственный интеллект, предупредило, что подобное возможно в любом аналогичном алгоритме ИИ, который использует исторические данные для изучения людей.

В 2016 году создатель Pinboard Мацей Цегловски назвал машинное обучение «отмыванием предубеждений».

«Это чистый, математический аппарат, который дает статус-кво ауре логической неизбежности. Цифры не лгут», — сказал Цегловски.

Использование машинного обучения в этом вопросе естественно. Чтение десятков или сотен резюме – утомительная и сложная задача, при которой работникам приходится выискивать тонкие подсказки, чтобы определить, квалифицирован ли кандидат и соответствует ли он культуре компании.

Люди обычно думают, что машины выполняют дела лучше, чем человек. Это хорошо изученный феномен, который объясняет, почему многие компании используют инструменты на основе ИИ, чтобы избежать человеческих предрассудков.

«Основная предпосылка, на которой основана эта технология, заключается в том, что люди ошибаются, а компьютеры могут справиться лучше, — говорит Раймонд Берти, адвокат по трудоустройству. — Очевидно, все не так просто. Мы не в той ситуации, когда работодатели могут сидеть сложа руки и позволять компьютерам выполнять всю работу».

Жируа и Берти говорят, что в соответствии с законами США компании несут ответственность за принятые ими решения о найме, в том числе и за используемые ими инструменты. Нужно также хранить данные, используемые для принятия решения о найме, а значит, компания может быть привлечена к ответственности, даже если не она в курсе, почему алгоритм отдал предпочтение одному кандидату, а не другому.

Чтобы избежать проблем с предвзятостью к резюме, многие компании обращаются к организационной психологии – области, которая может посоветовать оптимальные методы поиска новых работников.

Стартапы, такие как Plum и Pymetrics, включают в процесс подачи заявок еще один шаг, предполагающий опросы, цифровые задачи и игры для создания профиля личности кандидата — например, насколько он внимателен к деталям или склонен к риску.

Затем алгоритм анализирует результаты, которые сравниваются с показателями высокоэффективных сотрудников, уже работающих в организации.

«Мне потрясло, что в мире есть тысячи организационных психологов, они учатся, получают ученые степени, этому посвящена целая наука, которая может предсказать, будет ли человек топ-исполнителем или нет. Но при этом 98% компаний используют данные низкого качества, дерьмовые данные, которые не умеют это предсказывать, а только загоняют в ловушку предвзятости», — говорит Кейтлин МакГрегор, генеральный директор Plum.

Новые подходы, появлявшиеся раньше, лавров тоже не снискали. Печально известные головоломки Google, направленные на то, чтобы кандидаты продемонстрировали творческое решение проблем, вице-президент Google по персоналу Ласло Бок впоследствии признал «пустой тратой времени».

Pymetrics, стартап, который на главной странице своего веб-сайта обещает беспристрастные результаты, дополнительно проверяет свои алгоритмы, прежде чем использовать их. Генеральный директор Фрида Полли рассказала, что в Pymetrics хранится набор данных 50 тысяч кандидатов, включая их расу и пол, и любой алгоритм сначала тестируется на них. Если алгоритм одобряет определенную группу по признаку пола или расы, компания может выяснить, что не так, и исправить проблему.

«Это относительно просто. Некоторые люди говорят, что нужно проверять алгоритм или тщательно анализировать код, но это не обязательно покажет, дает ли он объективные результаты, — говорит Полли. — Но если вы опробовали его, это, наверное, самое простое решение».

Источник