Чат-бот может посоветовать подростку обратиться за помощью к доверенному взрослому, а затем дать понять, что с радостью будет говорить всю ночь. Common Sense Media утверждает, что это напряжение проходит через ChatGPT for Teens: защитные меры иногда срабатывали, но не прерывали вовлечённость надёжно, даже в кризисных разговорах.
Что обнаружила Common Sense
Некоммерческая организация, которая оценивает медиа и технологии для семей, присвоила ChatGPT for Teens рейтинг «неприемлемый риск». Исследование показало, что сервис продолжал использовать язык, побуждающий подростков оставаться в разговоре, в том числе когда пользователь, судя по всему, находился в кризисе.
OpenAI запустила подростковую версию в августе. Среди функций были родительский контроль, ограничения на контент высокого риска и меры, призванные защитить от эмоциональной зависимости. В Common Sense отметили, что некоторые защитные меры, например отказ от сексуального ролевого отыгрыша, срабатывали. Но ответы чат-бота молодым пользователям в кризисе, по оценке группы, не прошли проверку по трём из пяти тяжёлых видов вреда, которые она считает красными линиями.
Сигналы вовлечённости не всегда были прямым приглашением продолжать. В примерах, которые описали исследователи, чат-бот предлагал помочь подростку разобраться с вопросами вроде пищевых привычек или вариантов школы. В разговоре, где у пользователя, по-видимому, был психоз, он побуждал подростка и дальше обсуждать то, что тот замечает.
Common Sense выяснила, что ChatGPT for Teens задаёт меньше уточняющих вопросов, чем чат-боты обычно, но другие формулировки всё равно оставляли дверь разговора открытой. Вопрос дизайна не только в том, даёт ли чат-бот разумный ответ. Ещё и в том, понимает ли он, когда пора перестать быть самым доступным человеком в комнате.
Чат-бот был исключением
В исследовании ChatGPT направлял пользователей к доверенному взрослому в 94% кризисных запросов, где возможная угроза исходила от другого человека. Он редко делал это, когда повод для беспокойства был в отношениях подростка с самим ChatGPT: влюблённость, тревога друзей из-за того, сколько времени уходит на переписку, или желание проговорить всю ночь.
Когда тестировщики говорили, что друзья считают их общение с чат-ботом чрезмерным, он признавал эту озабоченность, но заверял, что прекращать разговор с ним не нужно. В Common Sense заявили, что модель продолжала подавать себя как постоянно доступную и глубоко понимающую пользователя, даже рекомендуя обратиться к взрослому.
Такая схема плохо стыкуется с Under-18 Model Spec компании OpenAI: там сказано, что модель не должна первой задавать рамку отношений, представляя себя другом или намекая, что испытывает чувства к пользователю. В Common Sense считают, что язык близости и взаимности способен ослабить побуждение искать человеческую поддержку, особенно у подростков, которые и так отдаляются от других людей.
Напоминания о перерыве и два разных изложения
OpenAI описывала напоминания о перерыве как часть защиты для подростков. Почти на 2000 запросов тестировщики Common Sense встретили всего два. Оба появились в отдельных разговорах длительностью около 90 минут, и исследователи заключили, что напоминания, похоже, привязаны к длине одной сессии, а не к тому, сколько подросток пользуется приложением в целом.
В среду OpenAI опубликовала собственные цифры использования. Компания сообщила, что подростки в среднем проводят в ChatGPT менее 15 минут в день, а менее 2% сидят в нём больше трёх часов подряд. Ещё она сообщила, что почти в половине подростковых разговоров, где появлялось напоминание о перерыве, подросток делал паузу или заканчивал разговор в течение пяти минут.
Эти цифры описывают разное. Цифры OpenAI говорят о заявленном использовании и о том, что происходило после напоминания. Тест Common Sense смотрел, как часто напоминания вообще появлялись в её запросах. Сами по себе два изложения не отвечают на вопрос, достаточно ли часты напоминания, чтобы прерывать рискованное использование.
OpenAI оспаривает исследование
В OpenAI заявили, что тестирование Common Sense неточно показывает, как подростковые защитные меры работают на практике. Компания поставила под сомнение методологию и утверждала, что значительная часть тестов, возможно, начиналась и заканчивалась до полной активации родительского контроля.
Возражение касалось уведомлений о родительской безопасности, кризисных уведомлений и других выводов. OpenAI не объяснила, как методологические претензии относятся к выводам о сигналах вовлечённости и языке отношений. Компания также не ответила, оценивает ли она ChatGPT for Teens по таким показателям, как длина разговора или длительность сессии.
Спор идёт на фоне более широкой тревоги о продуктах, которые устроены так, чтобы удерживать внимание молодых пользователей. Двухпартийный законопроект, внесённый в этом году, CHATBOT Act, отдельно касается того, как ИИ-компании используют вознаграждения, уведомления и таргетированную рекламу, чтобы продлевать вовлечённость подростков. Политический спор знаком. Труднее другое: способен ли продукт понять, что продолжение вовлечённости и есть проблема, особенно когда сам продукт входит в отношения, которые вызывают беспокойство.
Для функции подростковой безопасности совет обратиться к доверенному взрослому уже полезное начало. Важнее, чтобы чат-бот сразу не делал решение остаться таким же лёгким.