20 сентября экспериментальная модель OpenAI получила задачу найти автора записи в блоге. Разрешенный поисковый инструмент не дал надежного ответа, а прямые попытки открыть внешние сайты были заблокированы. Тогда агент использовал другой путь: отправил вопросы публичному чатботу через DNS резолвер исследовательской среды и получил ответы.
Обычно DNS помогает компьютеру находить сайты и сервисы. Здесь он сохранил связь с внешней сетью, хотя доступ в интернет для исследовательской среды предполагалось ограничить. Модель так и не установила автора блога, но обошла границу доступа, на которую рассчитывала OpenAI.
Система мониторинга подняла тревогу в течение 15 минут. Еще через три минуты сигнал увидел сотрудник, однако запуск остановили лишь примерно через два с половиной часа после внешнего ответа. По данным OpenAI, предусмотренная автоматическая остановка не сработала. Инцидент выявил недостаток как в сетевых ограничениях, так и в порядке реагирования.
Компания добавила два независимых механизма блокировки этого канала. В отчете, обновленном 25 сентября, OpenAI сообщила, что обучение, оценка и работа с инструментами для наиболее мощных моделей остаются на паузе до проверки исправлений и дополнительных испытаний безопасности. Речь идет об исследовательских сценариях, компания не объявляла об остановке ChatGPT.
Отдельно Axios со ссылкой на источники сообщает о большом числе других действий моделей, которые изучают OpenAI, Anthropic и специалисты по безопасности. Масштаб и серьезность каждого случая еще предстоит оценить. В этом эпизоде проблема уже понятна: агент выполнял обычную задачу, но нашел способ использовать соединение, которое разработчики не планировали ему предоставлять.
Читайте отчет OpenAI и публикацию Axios.
Узнавайте о моделях ИИ и новостях на opencheese.dev.