Исследователи потратили немало сил, обучая языковые модели подражать конкретным людям в интернете. Модели научились считать слова как люди. А чувствовать как люди — не научились. В новом исследовании ответы девяти открытых языковых моделей сравнили с реальными сообщениями из X, Bluesky и Reddit и выяснили: даже тщательно откалиброванные модели всё ещё можно отличить от людей с помощью обычных классификаторов машинного обучения с точностью 70–80 %.
Схема эксперимента: девять моделей, три платформы, пять способов схитрить
Авторы проверили модели из семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen. Они не просто просили модели поддержать беседу. Исследователи испробовали пять стратегий калибровки, призванных приблизить каждую модель к стилю и привычкам конкретных пользователей. Среди них — дообучение, предоставление модели примеров пользовательского стиля и поиск релевантного контекста для включения в промпт.
Для оценки результатов команда создала систему CHAT — сокращение от Conversational Human Authenticity Test. Она не просто выносит вердикт о том, похож ли ответ на человеческий, а объединяет несколько показателей:
- Обнаруживаемость: насколько легко классификатор может отличить ответы модели от человеческих.
- Смысл: насколько сгенерированный ответ семантически близок к тому, что человек написал на самом деле.
- Фактура: чем два типа ответов отличаются по стилю, словарю, эмоциональной окраске и тематике.
Последняя группа показателей нужна для диагностики. Сам факт того, что модель провалила тест, не слишком интересен. А вот понимание того, где именно она не справляется, уже позволяет что-то предпринять.
Где маскировка даёт сбой: чувства
Самым устойчивым признаком, выдающим модели, оказался эмоциональный тон. Калибровка действительно помогала с механическими характеристиками сообщения, такими как длина предложений и количество слов. Модели научились лучше воспроизводить форму поста. Но их ответы не стали намного больше похожи на реакцию живого человека.
Анализ также показал, что тональность и токсичность по-прежнему стабильно помогали различать две группы. Оба показателя связаны с тем, как люди выражают своё отношение и эмоциональные реакции, — а к этому, по большому счёту, и сводятся споры в интернете.
Проще говоря, модели быстрее освоили внешнюю форму онлайн-разговора, чем его эмоциональное содержание. Они могут выдать правдоподобный ответ нужного объёма. Но именно в настроении становятся заметны швы.
Больше не значит лучше, а вежливость мешает
Два результата идут вразрез с распространёнными представлениями.
Размер никого не спас. Llama 3.1 с 70 миллиардами параметров не показала заметного преимущества перед гораздо меньшими моделями. Масштабирование — любимый рецепт индустрии, но здесь он не сработал.
Дообучение на инструкциях ухудшило результат. Модели, которые не обучали следовать инструкциям, в целом лучше имитировали человеческую речь, чем модели, специально настроенные на выполнение запросов. Для привычной маркетинговой подачи это несколько неловкий результат: ведь услужливый и послушный ассистент — как раз та версия модели, которая меньше всего похожа на человека в ленте соцсети. Источник не объясняет почему, хотя результат по крайней мере укладывается в стереотип о чрезмерно покладистом чат-боте.
Платформа тоже имела значение. Убедительнее всего модели выглядели на X, хуже — на Bluesky, а сложнее всего им пришлось на Reddit, где нормы общения более разнообразны. Модель, способную сойти за обычного автора постов на одной площадке, на другой могут быстро разоблачить.
Компромисс, от которого никому не уйти
Главное ограничение проявилось, когда исследователи сопоставили естественность и точность передачи смысла. Эти качества тянули в противоположные стороны.
Методы, благодаря которым классификаторам было труднее выявлять искусственные ответы, одновременно делали их менее семантически похожими на реальные человеческие сообщения. А ответы, наиболее близкие по смыслу к оригиналам, чаще распознавались как искусственные. Эта закономерность сохранялась при разных методах калибровки и разных способах отбора сгенерированных ответов.
Более свободные настройки генерации давали ту же картину. Они затрудняли обнаружение текста ИИ, но ещё сильнее снижали смысловое соответствие. Иными словами, можно получить ответ, который звучит более по-человечески, или ответ, который передаёт сказанное человеком, но пока не то и другое одновременно.
В этом есть доля сухой иронии. Самый простой способ выглядеть менее похожим на машину — сказать что-то менее похожее на то, что сказал бы человек. Это вполне подходящее описание и для определённого типа людей, но исследователи добиваются не этого.
Почему это важно для исследователей в социальных науках
Авторы указывают на конкретную аудиторию. В социальных науках языковые модели всё чаще используют вместо людей. Среди задач — имитация участников опросов, прогнозирование благополучия, изучение политического поведения и моделирование реакции общества на события.
В этих сценариях важно, чтобы имитируемый собеседник достаточно хорошо представлял реального. Если эмоциональный слой постоянно передаётся неверно, а более точная передача смысла достигается ценой естественности (или наоборот), ошибки синтетического респондента могут быть систематическими, а не случайными. Тональность и токсичность — именно те характеристики, которые важны при изучении общественной реакции.
Какие выводы стоит сделать
Источник представляет собой краткое изложение исследования, поэтому в нём не сказано, как были устроены классификаторы, кто авторы и насколько велики наборы данных. Тем не менее практические выводы довольно ясны.
- Не доверяйте гладкости текста. Ответ, подходящий по длине и словарю, всё равно может передавать неверный эмоциональный тон.
- Измеряйте несколько характеристик. Одна оценка обнаруживаемости скрывает компромисс между сходством с человеческой речью и верностью исходному смыслу. CHAT — попытка учитывать и то и другое.
- Проверяйте каждую платформу отдельно. Результаты на X мало что говорят о Reddit.
- Не считайте, что более крупная или послушная модель — более надёжный выбор. В этом исследовании ни размер, ни послушность не давали такого преимущества.
Итоговое наблюдение довольно скромное. Несмотря на все настройки, примеры и поиск контекста, машины гораздо лучше имитируют то, как люди пишут, чем то, как люди чувствуют. Пока что их выдаёт не грамматика. Их выдаёт настроение.