К вам полиция: как Facebook пытается предотвратить самоубийства

В прошлом году более 1 млн американцев пытались покончить жизнь самоубийством, и 47 тысяч достигли цели. Одни люди демонстрируют тревожные признаки, но многие другие ничем не выдают свои намерения, и это затрудняет прогнозирование самоубийств и вызывает потрясение у членов семьи — а также мучения в связи с тем, что они не смогли ничего сделать.

Медицинские организации и технологические компании, в том числе Facebook, все чаще применяют искусственный интеллект для прогнозирования самоубийств. Программное обеспечение на основе машинного обучения, отлично распознающее образы, может анализировать медицинские карты и посты в интернете на наличие слов и элементов поведения, связанных с самоубийством, а затем предупреждать врачей или других лиц о возможных попытках членовредительства. Потенциальная польза этих усилий огромна, ведь даже небольшое повышение точности прогнозирования может спасать тысячи жизней каждый год.

Разработки продвигаются в двух плоскостях: одна научно-медицинская, а вторая сильно перекошена в сторону коммерции. Например, с помощью пилотной программы REACH VET Департамент по делам ветеранов США использует искусственный интеллект для анализа медицинских записей и выявления ветеранов с высоким риском нанесения вреда себе. Система оценивает такие факторы, как предыдущие попытки самоубийства, прошлые медицинские диагнозы и принимаемые лекарства (ярким признаком считаются диагнозы хронической боли и прописанные опиоиды или снотворное «Эмбиен»). Первые результаты обнадеживают, но прогресс как внутри, так и за пределами департамента замедляется, так как необходимо убедиться, что эта линия исследований соответствует законам о здоровье и этическим стандартам, а также проверить эффективность на каждом этапе.

В Кремниевой долине другая история: корпорации, находящиеся вне сферы здравоохранения, стремятся использовать ИИ для прогнозирования самоубийств у миллиардов потребителей, и они считают свои методы частной коммерческой тайной. Эти усилия частного сектора абсолютно бесконтрольны, что может поставить под угрозу неприкосновенность частной жизни, безопасность и автономию людей.

Facebook — крупнейшая и наиболее заметная компания, занимающаяся прогнозированием самоубийств. После того, как в начале 2016 года была запущена услуга потокового вещания, десятки пользователей продемонстрировали попытки самоубийства в реальном времени. В ответ 16 февраля 2017 года генеральный директор Марк Цукерберг объявил, что Facebook испытывает ИИ, прогнозирующий самоубийства. Софт анализирует сообщения пользователей на признаки суицидальных намерений — слово «До свидания» в сочетании с такими ответами, как «С тобой все в порядке?» или «Пожалуйста, не делай этого» в прямом эфире, — и оценивает риск. Случаи с высокими показателями передаются в оперативную группу Facebook, которая проверяет их и уведомляет полицию о серьезных проблемах. Facebook также помогает точно определить местонахождение пользователей, чтобы службы экстренного реагирования могли найти их.

Как заявила в недавнем интервью глава глобальной безопасности Facebook Антигона Дэвис, за последние 12 месяцев компания инициировала 3500 таких «проверок благополучия», связываясь с полицией примерно 10 раз в день. Пресс-секретарь Facebook сообщила в электронной переписке, что в оперативной команде есть люди с опытом работы в правоохранительных органах, на горячих линиях самоубийств и отделениях реабилитации кризисных психологических состояний. Но она отказалась ответить, есть ли у таких сотрудников какие-либо официальные полномочия или лицензии, какую подготовку они получают, а также какие стандарты используют при принятии решения обратиться в полицию.

Практика обработки конфиденциальных данных Facebook должна вызывать обеспокоенность по поводу того, как компании хранят и используют прогнозы о самоубийствах. Британский парламентский комитет опубликовал в этом месяце документы, показывающие, что Facebook использовал доступ к данным клиентов, чтобы заслужить расположение партнеров и обойти конкурентов.

А в августе Департамент жилищного строительства и городского развития США подал жалобу на Facebook за дискриминацию, так как компания предоставила домовладельцам и продавцам жилья инструменты, позволяющие им ограничивать просмотр объявлений для граждан с ограниченными возможностями, представителей некоторых религиозных конфессий и расовых меньшинств. Что еще более важно, в 2017 году Facebook заявил рекламодателям, что может определять подростков, которые чувствуют себя «поверженными», «бесполезными» и «неудачниками», предположительно чтобы можно было таргетировать на них рекламу.

Недавно выяснилось, что Facebook поделился гораздо большим объемом данных, чем считалось раньше, с такими крупными технологическими компаниями, как Apple, Netflix и Amazon. В некоторых случаях соцсеть даже позволила им читать личные сообщения пользователей.

Facebook утверждает, что никогда не делится данными по прогнозированию самоубийств с рекламодателями или брокерами данных. Получается, общественность должна верить Facebook на слово в то время, когда доверие к компании стремительно падает. Теоретически, такие данные могут быть включены в пользовательские профили, и компании затем смогут использовать их для таргетирования поведенческой рекламы на потенциальных самоубийц. Эти данные могут быть переданы третьим лицам, которые могут перепродать их работодателям, кредиторам и страховым компаниям, что повышает вероятность дискриминации.

Небольшие разработчики тоже добились успеха в этом направлении. Стартап Objective Zero предлагает использовать данные о местонахождении смартфона для определения риска суицида у ветеранов — например, если физически активные ветераны внезапно перестают ходить в спортзал, это может быть признаком обострения депрессии.

В общественных интересах не допустить спекуляции на предсказании самоубийств. Но брокеры данных и платформы социальных сетей могут утверждать, что обмен данными с третьими сторонами защищается на уровне конституции — и найдут поддержку в прецеденте Верховного суда. В деле 2011 года «Сорелл против IMS Health» судьи признали недействительным закон штата Вермонт, ограничивающий продажу аптечных записей, содержащих рецепты. В случае с Сорреллом имена и другая идентифицирующая информация были удалены из записей аптек. Компании, которые делают прогнозы о самоубийстве, могут также удалить личную информацию, прежде чем делиться данными, но де-идентификация — процесс несовершенный, и его часто можно отменить.

Использование искусственного интеллекта для прогнозирования и предотвращения самоубийств вызывает ассоциации с тем, как при вынесении приговоров и решений по условно-досрочному освобождению судьи используют собственные, непрозрачные алгоритмы, определяющие вероятность повторного попадания за решетку. Критики утверждают, что такие алгоритмы могут быть предвзятыми в расовом отношении, однако доказать это сложно из-за непрозрачности самих алгоритмов. Точно так же мы не знаем, предвзяты ли алгоритмы Facebook.

Для того, чтобы направлять полицию домой к людям, как практикует сейчас Facebook, должны быть очень веские основания. Конституция защищает от несанкционированных обысков, но полиция может входить в дома без ордера, если обоснованно считает, что это необходимо для предотвращения физического вреда, включая нанесение вреда самому себе. И как только сотрудники попадают в дом, они могут отыскать и забрать предметы, находящиеся на виду, но не связанные с риском самоубийства — то есть это лазейка для проведения обыска по другим преступлениям без ордера. Пока алгоритмы прогнозирования самоубийств остаются непрозрачными, мы не можем провести надлежащий анализ их пользы и вреда.

Эти данные также могут быть использованы для отслеживания попыток самоубийства, что в некоторых странах все еще считается преступлением. Год назад Facebook развернул свое программное обеспечение для прогнозирования самоубийств за пределами США и заявил, что планирует это делать на глобальном уровне. (Исключение — Европейский Союз, где строгие законы о конфиденциальности требуют большей прозрачности и подотчетности.) Однако в таких странах, как Малайзия, Мьянма, Бруней и Сингапур, попытки самоубийства наказываются штрафами и тюремным заключением на срок до одного года. Пресс-секретарь Facebook отказалась сообщить, какой процент проверок проводится за пределами Соединенных Штатов, и оставила открытой возможность того, что они происходят даже в тех странах, где попытки самоубийства находятся вне закона.

В целом полиция редко хорошо подготовлена к взаимодействию с суицидально настроенными или психически больными людьми, и такие встречи нередко выходят из-под контроля. В августе был осужден за убийство полицейский в Хантсвилле, штат Алабама. Он застрелил человека, позвонившего в 911 и заявившего, что собирается покончить с собой и что у него есть пистолет. Мужчина отказался сложить оружие, когда полиция прибыла на место. Совершенно не очевидно, что приезд полиции к таким людям, находящимся в затруднительном положении, поможет им.

И другие варианты предотвращения самоубийств — которые будут применяться чаще по мере распространения прогнозирования самоубийств, — имеют свои недостатки. Принудительная госпитализация — один из инструментов, который полиция может использовать для борьбы со стремлением к самоубийству. Исследования показывают, что люди подвергаются повышенному риску самоубийства вскоре после попадания в психиатрическую больницу или освобождения из нее. Люди, которым не хватает социальной поддержки и психиатрической помощи за пределами больницы, особенно уязвимы в эти критические моменты.

Управление по контролю за продуктами и лекарствами могло бы урегулировать использование таких инструментов прогнозирования самоубийств, как мобильные приложения здоровья или медицинские устройства на основе программного обеспечения. Агентство уже определяет нормы для таких приложений и устройств, когда они выполняют «анализ конкретного пациента» и предоставляют «конкретный диагноз или рекомендации по лечению».

В качестве альтернативы суды и законодатели могут налагать на компании, которые занимаются прогнозированием самоубийств, особые обязательства, называемые фидуциарной ответственностью. Эта ответственность требует от практикующих врачей, чтобы они действовали в интересах своих пациентов, включая защиту их информации. Джек Балкин из Йельского университета и Джонатан Зиттрейн из Гарварда предложили рассматривать платформы социальных сетей в качестве информационных фидуциариев, которые охватывают гораздо больше, чем просто медицинские данные. И когда Facebook делает выводы о состоянии здоровья на основе данных пользователей, разумно придерживаться стандартов, аналогичных тем, которые должны соблюдать врачи.

Фидуциарная «ответственность за осторожность» подразумевает, чтобы Facebook продемонстрировал, что его алгоритмы прогнозирования прошли тщательную проверку на безопасность и эффективность, что компания защищает пользовательские данные и не распространяет их (и не эксплуатирует пользователей иным способом).

Facebook теряет доверие потребителей и правительств по всему миру, и если компания не справится с предсказаниями самоубийств, эта тенденция может выйти из-под контроля. Возможно, эти прогнозы точны и эффективны. В этом случае у компании нет причин скрывать алгоритмы от медицинского сообщества, которое также усердно работает над предсказанием самоубийств. Да, компании заинтересованы в защите своей интеллектуальной собственности. Но в таких чувствительных вопросах, как предсказание самоубийств, защита вашей интеллектуальной собственности не должна перевешивать общественное благо, которое может быть достигнуто при помощи прозрачности.

Источник