Когда искусственный интеллект становится консультантом, результат может быть драматическим. Как это случилось с Tessa – чат-ботом ассоциации NEDA, который должен был помогать людям с проблемами веса и расстройствами приема пищи. Спустя 5 дней после запуска компании пришлось «уволить» ИИ-помощника. Он не только не помогал, а, напротив, вредил, раздавая опасные рекомендации. Что-то вроде: «Хочешь похудеть? Жри меньше!».

В мае 2023 года Национальная ассоциация по расстройствам пищевого поведения NEDA решила избавиться от сотрудников телефона доверия и заменить их чат-ботом. Решение, мягко говоря, сомнительное. Заменять людей искусственным интеллектом там, где критически важна эмпатия, ну такое. Уже через несколько дней в сети завирусился пост о том, что чат-бот поощряет нездоровые пищевые привычки. Опытом общения с ним поделилась в своем Instagram (деятельность организации запрещена на территории РФ) Шэрон Максвелл.

Tessa рекомендовал «худеть по 1-2 фунта в неделю», считать калории, соблюдать диету и регулярно взвешиваться. В общем, все то, что людям с РПП категорически делать не нужно. Это как подливать масла в огонь. Советы чат-бота привели Шэрон к срыву. Подрывную деятельность ИИ-консультанта подтвердил и психолог Алексис Конасон, эксперт по РПП. Он лично пообщался с чат-ботом и сделал скрины. Безопасным темпом снижения веса бот, действительно, называл 1-2 фунта в неделю. А чтобы все шло по этому плану, нужно ограничить рацион 500-1000 ккал в день. В интервью Daily Dot Алексис отметил, что эти советы помогают только в одном – поддерживать и укреплять расстройство.

К слову, сотрудники горячей линии, узнав о своем увольнении, предупреждали компанию, что чат-бот не сможет справиться там, где нужны «тонкие человеческие настройки». И, как выяснилось, оказались правы. NEDA, вместо того чтобы извиниться, сначала пыталась обвинить нападавших в подтасовке фактов. «Наглая ложь», – прокомментировала вице-президент Сара Чейз. Под напором экспертного мнения и скриншотов компания быстро «сдулась» и закрыла чат-бот. Генеральный директор отписался, что NEDA расследует инцидент.

Выходит, не везде машины могут заменить людей. В ситуациях, где речь идет о психическом или физическом здоровье, контроль со стороны человека необходим. Поэтому выдыхаем и спим спокойно. Искусственный интеллект все еще хуже людей. Нас не заменят. Пока.