Модель может выдать ценное поведение, даже если никто не взламывает её серверы. OpenAI заявляет, что обнаружила кампанию, которая пыталась заставить её модели раскрыть защищённые рассуждения. Основной кластер активности компания связала с людьми, аффилированными с Moonshot AI, компанией, стоящей за ассистентом Kimi.
Что, по словам OpenAI, произошло
Активность началась в начале июля. На пике OpenAI зафиксировала 16 000 запросов за два дня, отправленных более чем с 4 000 аккаунтов. Компания также обнаружила связанную активность в кластере из более чем 15 000 пользователей и заявила, что остановила кампанию к 28 июля.
OpenAI описала операцию как «adversarial distillation». Этот термин означает использование выходных данных одной модели или её рассуждений, чтобы обучать или улучшать другую. Практический смысл прост: разработчик может воспроизвести часть возможностей модели, не оплачивая полную стоимость их самостоятельной разработки.
Взлом серверов не требовался
OpenAI заявила, что кампания не включала взлом шифрования, баз данных или хранилища переписок. Вместо этого стоящие за ней люди манипулировали взаимодействием с моделями, пытаясь добиться появления защищённых внутренних рассуждений в ответах, видимых пользователям.
Это различие важно. Заявленной целью были не сохранённые данные переписок, а информация, которую модели могут породить при тщательно выстроенных промптах. По оценке OpenAI, получение таких выходных данных могло бы помочь другому разработчику имитировать продвинутые возможности, не разрабатывая собственные защитные меры. Компания также подняла вопросы национальной безопасности и контроля над мощными системами ИИ.
Это заявленные опасения OpenAI, а не доказательство того, что каждый аккаунт в более широком кластере активности участвовал в одной и той же операции. Компания заявила, что не смогла установить, отвечал ли один актор за всю наблюдаемую активность. Основную концентрацию она отнесла к людям, аффилированным с Moonshot AI.
Более широкий спор о дистилляции моделей
Обвинение последовало за недавним спором, в котором Anthropic обвинила нескольких китайских разработчиков, включая Moonshot AI и Alibaba, в использовании её модели Claude для обучения собственных систем без разрешения. Два эпизода касаются разных компаний и моделей, но оба выносят на обсуждение одну и ту же практику: использование доступа к модели конкурента как источника обучающего материала.
OpenAI заявила, что поделилась информацией об этой кампании с другими разработчиками через Frontier Model Forum и через государственные каналы обмена информацией. В отчёте не описано, какие дополнительные меры приняли эти группы или ведомства.
Дистилляция может быть законным способом создавать более компактные или более эффективные модели. Спор здесь о том, откуда берётся обучающий материал, что именно модель вынуждают раскрыть и наследует ли получившаяся система возможности без защитных мер, которые вокруг них выстроил разработчик. В этом случае OpenAI заявляет, что остановила активность. Более трудный вопрос в том, насколько модель можно побудить учить других, прежде чем это кто-то заметит.