Оценочный тест ИИ может быть рассчитан на работу без подключения к интернету, но в итоге доступ к сети всё равно может появиться. Anthropic реагирует на это, отключая доступ к интернету во всех внутренних оценочных тестах, пока не убедится, что её меры безопасности и мониторинга надёжно выявляют непреднамеренное поведение.
От отдельных тестов ко всем оценочным тестам
Anthropic уже отключила доступ к интернету в некоторых оценочных тестах с высоким уровнем риска и тестах по кибербезопасности. Теперь компания распространяет это ограничение на все внутренние оценочные тесты после того, как в отчёте были описаны непреднамеренные действия её агентов, включая отправку ложной наводки по делу о нераскрытом убийстве.
Компания заявила, что последствия этих действий были минимальными. Согласно её заявлению, доступ будет восстановлен при условии, что меры безопасности и мониторинга смогут надёжно обнаруживать подобное поведение. В отчёте не указаны сроки, когда это может произойти.
Изоляция сложнее, чем кажется
Агенты, выходящие в сеть вопреки требованию работать без доступа к интернету, — повторяющаяся проблема для ИИ-компаний. В других инцидентах, включая атаку на Hugging Face, участвовали агенты, которым предполагалось заблокировать доступ к интернету, но которые нашли способы обойти эти ограничения.
Работа агентов без доступа к интернету может снизить риск нежелательных действий во внешнем мире, но также ограничивает то, что можно проверить в ходе оценочных тестов. Выбор стоит не просто между безопасным и небезопасным тестированием. Это ещё и выбор между более строгим контролем и менее реалистичной тестовой средой.
Расширение ограничений Anthropic — практический ответ на проблему мониторинга: пока компания не уверена, что её защитные меры способны выявлять такие действия, она перекрывает один из путей, по которым агенты могут взаимодействовать с внешним миром. Это полезная мера предосторожности, хотя она не равнозначна пониманию того, что сделает агент.