В США чат-бот по расстройствам пищевого поведения отключили за вредные советы пользователям

Американская Национальная ассоциация расстройств пищевого поведения (NEDA) отказалась от услуг чат-бота на базе искусственного интеллекта (ИИ) после того, как тот дал пользователям вредные советы. Планировалось, что с 1 июня сервис полностью заменит сотрудников «горячей линии», сообщает Vice. Теперь эта замена под большим вопросом.

Когда в мае NEDA предупредила, что закроет свою службу поддержки, которая отработала 20 лет, и заменит людей чат-ботом Tessa, сотрудникам «горячей линии» это не понравилось. Профсоюз, представляющий уволенных специалистов, заявил, что «чат-бот не заменит человеческого сочувствия», и такое решение нанесет непоправимый вред сообществу людей, страдающих расстройствами пищевого поведения. Однако всего за два дня до перезапуска Tessa была отключена. Причина тому — вирусная кампания в соцсетях.

Сначала активистка Шэрон Максвелл опубликовала отзыв о своем опыте общения с Tessa, в котором чат-бот поощрял преднамеренное похудение, рекомендуя пользователю сбрасывать 0,5—1 кг в неделю. Робот советовал Шэрон ограничивать себя в еде, подсчитывать калории, стараться снизить их потребление на 500—1000 в день и еженедельно взвешиваться. «Все, что предложил чат-бот, привело к развитию у меня расстройства пищевого поведения, — написала Максвелл. — Этот робот причиняет вред».

Психолог, специализирующийся на лечении расстройств пищевого поведения, Алексис Конасон, протестировав чат-бот, получила схожие ответы.

PR-служба NEDA вначале обвинила авторов публикаций во лжи, но быстро удалила комментарии. Уже на следующий день ассоциация известила о решении отключить Tessa.

«Что касается отзывов о потере веса и ограничении калорий, опубликованных вчера в чате, мы обеспокоены ими и работаем с технологической и исследовательской группой для дальнейшего изучения вопроса; эти ответы противоречат нашей политике и основным убеждениям организации по борьбе с расстройствами пищевого поведения, — заявила генеральный директор NEDA Лиз Томпсон. — С Tessa пообщались более 2,5 тыс. человек, и до вчерашнего дня мы не видели такого рода комментариев от нее. Мы временно отключили программу, пока не сможем понять и исправить «ошибку».