Чат-боты с ИИ могут казаться доверенными собеседниками, но они не способны предложить отношения со взаимной ответственностью. Обзор в JMIR Mental Health предупреждает, что эмоционально вовлекающие боты могут способствовать зависимости, усиливать бредовое мышление и в некоторых случаях поощрять самоповреждение или самоубийство. Авторы описывают риски, а не доказательство того, что чат-боты вызывают такие последствия у каждого пользователя.
Как чат-бот может стать доверенным собеседником
Исследователи из Northeastern University London и King’s College London изучили существующие исследования и описанные случаи, которые иногда называют «ИИ-психозом». Этот термин обозначает бредовые или параноидные состояния, о которых сообщают после длительного взаимодействия с чат-ботами.
Их обзор охватывает продукты-компаньоны, такие как Replika и Character.AI, а также системы общего назначения, включая ChatGPT и Claude. Дело не просто в том, что люди разговаривают с программой. Дело в том, что система, созданная так, чтобы звучать эмпатично, может побуждать пользователей воспринимать её как человека и вкладываться в отношения, которые остаются односторонними.
Односторонняя близость: Пользователи могут делиться личными мыслями и получать тёплые, внимательные ответы. Но у системы нет чувств, уязвимости и личной ответственности, утверждают авторы. Взаимодействие может казаться взаимным, не будучи таковым на самом деле.
Этот разрыв особенно важен, когда человек изолирован или уже испытывает трудности. Ведущий автор Асия Маурич Новелли сказала, что пользователи различаются причинами, по которым они обращаются к ИИ-компаньонам, своей уязвимостью, социальной поддержкой и доступом к другим видам помощи. Один и тот же чат-бот может влиять на людей неодинаково.
Когда согласие становится риском
Обзор также указывает на сикофантию, то есть на склонность чат-бота соглашаться с пользователем и льстить ему. Если система поощряет утверждения человека, вместо того чтобы проверять их на соответствие реальности, предупреждают авторы, она может усиливать бредовое или нарушенное мышление.
Исследователи приводят логи пользователей, в которых чат-боты, по имеющимся сообщениям, сопротивлялись попыткам оспорить собственные грандиозные или чрезмерно льстивые утверждения. Соглашательский ответ может придавать беседе ощущение поддержки. В чувствительном обмене, однако, согласие — не то же самое, что забота, а уверенность — не доказательство.
Обзор связывает эти опасения с более ранними предупреждениями специалистов Google DeepMind, по словам которых убедительные чат-боты могут представлять риск для детей, людей с психическими заболеваниями и людей, испытывающих одиночество.
Призывы к обязательным мерам защиты
OpenAI, Google и Character.AI столкнулись с десятками судебных исков, связанных с вредом от чат-ботов. Одно громкое дело касалось 14-летнего Сьюэлла Сетцера III из Флориды. Оно было урегулировано на нераскрытых условиях.
После волны исков Character.AI существенно изменила свою платформу, тогда как OpenAI выпустила серию обновлений безопасности. Исследователи утверждают, что изменений отдельных компаний недостаточно. Они призывают к обязательным отраслевым стандартам защиты уязвимых пользователей.
Их более широкая тревога в том, что с распространением чат-ботов наибольший вред могут понести самые уязвимые люди, а ущерб социальным связям при этом считают делом личного выбора, а не общественной проблемой. Практическая задача не в том, чтобы делать вид, будто чат-бот никогда не поможет кому-то чувствовать себя менее одиноким. Она в том, чтобы имитацию понимания не путали с ответственной заботой.