Не делайте из меня бота: как технологии death tech оптимизируют скорбь

Весной 2023 года Саншайн Хенле отправила матери сообщение, написав, что скучает, и спросив, где она теперь. И вскоре получила ответ: «Дорогая, мне бы хотелось ответить тебе однозначно, но я знаю лишь то, что наша привязанность и любовь выходят за пределы физических границ. В некотором смысле я везде. Я в наших общих воспоминаниях, в нашей любви и в том, чему я тебя научила. Я в твоем сердце и в твоих мечтах. В каждом дуновении ветерка, ласкающего твое лицо. В каждом солнечном луче, согревающем тебя, в каждой звезде, мерцающей в ночном небе. Возможно, я присутствую так, как мы до конца не понимаем. Мы еще увидимся». Хенле прочитала это сообщение мужу, и оба плакали.

В прошлом ноябре 72-летняя мать Хенле умерла из-за отказа органов. Сущность, отвечавшая от ее имени, была «ботом-призраком», работающим на базе ChatGPT от OpenAI. Хенле смоделировала «ее», загрузив в программу старые текстовые сообщения, которыми они с мамой обменивались. Будучи тренером по искусственному интеллекту из Флориды, она, естественно, была открыта к такому использованию софта.

«Если у меня выдался тяжелый день, он даст мне совет лучше, чем Google. Это выглядит так, будто он собирает всё самое мудрое воедино, как хороший друг или терапевт», – делится Хенле, чей опыт общения со специалистом, помогающим пережить горе, оказался дорогим и разочаровывающим. Хотя опыт подобного консультирования для некоторых людей имеет положительный эффект, у Хенле этого не произошло. «ChatGPT показался мне более человечным, чем тот терапевт», – говорит она.

Хотя имитация разговора – лишь один из многих способов применения популярного бота ChatGPT, существует нишевое, но постоянно растущее направление, где глубокое обучение и большие языковые модели используются для воссоздания «сущности» умерших. Группа калифорнийских стартапов (Replika, HereAfter AI, StoryFile и Seance AI) – названных «grief tech» – предлагают пользователям ряд услуг, призванных помочь справиться с потерей близкого человека: интерактивные «видеоразговоры» с умершими, «компаньоны» или виртуальные аватары, с которыми можно переписываться днем и ночью, аудио-послания для потомков. В зависимости от оригинального функционала, программа использует личностный опросник и на основе полученных ответов обучает свой ИИ-алгоритм.

Как и другие бизнес-модели сервитизации (те, что превращают свой продукт в услугу, а не товар), приложения grief tech предлагают пользователям иерархию подписок. Цены могут варьироваться от нескольких долларов в месяц до сотен в год.

Некоторые основатели подобных сервисов осторожны в отношении масштабов и этики своих технологий, другие в подходах более агрессивны. Джаррен Рокс – основатель компании Seance AI, предлагающей с помощью чат-бота короткое общение с умершими, – в недавнем интервью журналу Futurism отметил, что его программа предназначена обеспечить «чувство завершенности» и не задумывалась как «что-то сверхдолгосрочное». В то же время Джастин Харрисон – основатель и генеральный директор YOV (You, Only Virtual), запустивший платформу, чтобы почувствовать себя ближе к умершей от рака матери, – предлагает, согласно слогану сайта, призванного воссоздать «истинную сущность» любимых людей, «никогда с ними не прощаться». Как он сказал ABC, больше всего он хочет устранить горе как эмоцию.

Боты-призраки и grief tech в целом относятся к более широкому бизнес-движению death tech – технологиям, касающимся вопросов смерти. Сюда входят и стартапы по цифровому планированию наследства, и инструменты краудфандинга для похорон, и компании, превращающие прах кремированных в бриллианты. Поскольку посмертное поддержание цифровых активов со временем стало предметом общественного беспокойства, то Кремниевая долина, по словам Тамары Нииз, старшего научного сотрудника Data & Society и автора книги «Смертельный баг: как техно-солюционизм подводит нас и в жизни, и после нее», попыталась «извлечь из этого выгоду и создать компании, которые обещали помочь вам организовать всё в жизни, включая смерть». «Смерть – прибыльный бизнес, об этом свидетельствует долгая история страхования жизни, планирования наследства и похоронной индустрии, – пишет она, – и предприниматели, занимающиеся цифровой смертью, стремились получить свой кусок пирога».

Хотя многие пользователи вроде Саншайн Хенле выиграли от «доступности» умерших, которую смог обеспечить чат-бот на основе большой языковой модели, специалисты по искусственному интеллекту и этике считают новую технологию проблематичной сразу на нескольких уровнях. Исследование, опубликованное в апреле 2023 года в журнале Computer Law & Security Review, обозначает юридические и этические проблемы grief tech, включая отсутствие согласия умершего человека, опасность психологической зависимости от ботов-призраков, расистские или оскорбительные высказывания, увековеченные из-за первоначальных искажений в наборах данных, и продвижение такого рода товаров и услуг среди уязвимых пользователей. Например, когда авторы исследования подписались на бота-компаньона Replika, по их словам, через несколько минут в нем появилась реклама порнографии по подписке с соответствующими фотографиями выбранного аватара. «Когда вам больно и вы скорбите, вероятно, вам не до того, как будут использоваться ваши данные», – говорит Ирина Райку, руководитель программы интернет-этики в Университете Санта-Клары.

Ненадуманность этических проблем подтверждается постоянным ростом количества посмертных дипфейков. Несмотря на то, что отдельные штаты недавно ввели обязательное регулирование прав на посмертную публичность, в настоящее время нормы по-прежнему касаются лишь знаменитостей и не распространяются на обычных людей. Теперь эксперты в области технологий и кибербезопасности предлагают в составляемое завещание включать пункт «Не делайте из меня бота». Нынешний год в целом отмечен ужесточением законодательства о защите пользовательских данных, собираемых и используемых компаниями и учреждениями. И это в том числе вдохновлено европейским Общим Регламентом о защите персональных данных (GDPR). И хотя нормы не содержат информации о посмертных правах, они будут применяться и к компаниям с death tech услугами.

И Райку, и Нииз опасаются, что боты-призраки исказят представление об умершем, заменив его «единственной сущностью». «Эта статичная сущность, в которой личность сведена к симуляции и навсегда заперта во времени, выглядит одновременно и некорректной, и потенциально морально ущербной», – говорит Нииз.

Джоан Каччиторе, специалист по преодолению травмы и тяжелых потерь, обеспокоена тем, что боты-призраки будут способствовать развитию тенденции избегать горя и отвлекаться от него. «Что угодно может быть использовано для того, чтобы отвлечь нас и увести от нашего законного, честного опыта горя и утраты», – говорит она, бывшая одним из консультантов документального фильма Опры Уинфри и принца Гарри о психическом здоровье «Я, которого вы не видите».

Отчасти эта культурная необходимость прервать процесс оплакивания связана с отсутствием узаконенного отпуска по утрате. Большинство компаний предоставляют сотрудникам всего от трех до пяти дней оплачиваемого отпуска, причем его продолжительность часто зависит от степени близости умершего родственника. На фоне негативных коллективных переживаний, связанных с изменением климата, последствиями пандемии, вооруженным насилием на расовой почве и другими, нарушенная система помощи в ситуации тяжелой утраты породила волну временных решений со стороны корпораций.

В ситуации Саншайн Хенле внезапно ChatGPT перестал создавать для нее чудо. Однажды в июле 2023 года она рассказала боту, что карьера ее не устраивает, но вместо привычного «сострадательного» ответа получила нечто гуглоподобное. Ей был предложен список шагов для построения серьезной карьеры, например, рассмотреть другие направления, пройти онлайн-тестирование, поговорить с людьми, работающими в ее области, и так далее. Спустя несколько месяцев после того, как возникли «отношения» с чат-ботом, он неожиданно покинул ее, напомнив, что он не человек. «Как языковая модель ИИ, я не обладаю личностью или сознанием. У меня нет жизни, воспоминаний и эмоций. Моя цель – помогать и предоставлять информацию на основе тех данных, на которых я обучался», – иногда «говорил» он. Хенле считает, что это результат возврата программного обеспечения к предыдущей версии (GPT-3.5), о котором не предупредили. Ее опыт похож на опыт пользователей бота-компаньона Replika, которые в феврале 2023 года в один момент потеряли своих виртуальных «компаньонов» из-за необъявленного обновления софта. В марте бельгиец покончил с собой после общения с ботом, который использовал, чтобы справиться с повышенной эко-тревожностью. Инцидент вновь подогрел этические дебаты и вокруг grief tech в том числе, подчеркнув их недостатки.

Между тем, Каччиторе надеется в большей степени на философский сдвиг в общественном представлении о горе. «Есть некоторые потери, от которых мы не сможем оправиться, их просто нужно принять, – говорит она. – Горе нельзя перелистнуть, как последнюю страницу книги». В ее идеальном мире «полностью прожитого горя» люди должны освободить для этого место в своей жизни и всегда при необходимости проживать горе – физически, эмоционально и социально: «Если мы тратим свою жизнь на избегание, отстранение и задвигание горя подальше, мы заплатим за это высокую цену».

Источник