Anthropic и OpenAI согласны, что опасную систему ИИ должно быть возможно остановить, и теперь обе компании письменно сообщили об этом властям Калифорнии. Они расходятся во мнениях о том, кто должен останавливать такие системы, кто должен оплачивать проверки и можно ли вообще назвать выключателем то, что они описывают. Оба предложения были направлены губернатору Гэвину Ньюсому в октябре, и при их чтении создается впечатление, что две компании обсуждают одну и ту же пожарную сигнализацию, споря о том, у кого будет ключ.
Указ, из-за которого появились письма
18 сентября Ньюсом подписал указ N-9-26. Он предписывает ведомствам штата подготовить рекомендации по дополнительным мерам безопасности для самых мощных систем ИИ. Крайний срок подачи предложений — 16 ноября.
Сам по себе указ не вводит новых обязательных требований. Поэтому все изложенное ниже — предложения о том, как могли бы выглядеть правила, а не описание уже действующих норм.
Anthropic: независимые эксперты и суд
Документ Anthropic датирован 15 октября. Его основная идея состоит в том, что заявления разработчиков о безопасности моделей должны проверять независимые эксперты, а результаты проверок должны публиковаться.
Детали довольно конкретны.
- Отчеты о рисках. Компании должны были бы публиковать их как минимум раз в полгода. В том числе о рисках моделей, используемых только внутри компании, если эти модели существенно превосходят по возможностям публичные версии.
- Доступ. Независимые эксперты получали бы доступ к самым мощным моделям и внутренней информации разработчиков.
- Финансирование. Работа экспертов оплачивалась бы из общего фонда под управлением штата, а не напрямую компаниями, которые они проверяют.
Последний пункт — самый неприметный. Любой, кто видел, как заказчик аудита сам выбирает себе аудитора, поймет, зачем он нужен.
Для остановки системы Anthropic предлагает то, что называет «автоматическим выключателем». Идея в том, что проблему можно локализовать на уровне отдельного агента, отдельного клиента, среды развертывания или всей модели — в зависимости от того, где она возникла.
Более жесткий инструмент — правовой. Если независимая проверка подтвердит риск катастрофического ущерба, Anthropic предлагает дать генеральному прокурору штата право обратиться в суд и добиваться временной приостановки. Такая мера может распространяться на развертывание, внутреннее использование или дальнейшую разработку модели.
OpenAI: разделить проверки и отказаться от «кнопки аварийного отключения»
Письмо OpenAI датировано 20 октября. Компания тоже поддерживает независимую техническую оценку, но хочет отделить ее от аудита соблюдения требований.
В варианте OpenAI у этих двух процедур разные задачи. Технические проверки оценивают доказательства безопасности модели и то, работают ли защитные меры. Аудит проверяет, соблюдает ли компания собственные опубликованные политики и требования закона.
Периодичность тоже различается. OpenAI предлагает проводить независимый аудит ежегодно, а технические проверки — при появлении серьезных рисков во время обучения, тестирования или внутреннего использования моделей. Компания также просит Калифорнию сотрудничать с Национальным институтом стандартов и технологий США (NIST) над общими стандартами оценки, чтобы каждый эксперт не мерил своей линейкой.
Почему OpenAI не нравится выражение «кнопка аварийного отключения»
OpenAI предпочитает выражение «механизмы экстренного отключения» выражению «кнопка аварийного отключения», поскольку одна и та же кнопка не подойдет для всех систем ИИ. Необходимые меры зависят от того, что именно идет не так. Компания перечисляет следующие варианты:
- Остановка обучения модели.
- Изоляция ИИ-агента.
- Отзыв доступа к инструментам или к сети.
- Приостановка работы сервиса.
Ответственность, согласно этому подходу, должна соответствовать контролю. Разработчики, поставщики вычислительных ресурсов и компании, развертывающие модели, несли бы обязанности в отношении тех операций, которыми они реально управляют. OpenAI также указывает на неудобный факт, связанный с моделями с открытыми весами. Разработчик не всегда может отключить независимые копии, работающие на чужой инфраструктуре, поэтому требование, предполагающее такую возможность, никто не смог бы выполнить.
Еще одно требование компании сформулировано прямо. Разработчики должны не только создавать такие механизмы, но и быть обязаны применять их при появлении угрозы. Система отключения, которая существует, но которой никогда не пользуются, отлично смотрится на слайде, но плохо защищает.
Сравнение
| Anthropic | OpenAI | |
|---|---|---|
| Дата подачи | Документ от 15 октября | Письмо от 20 октября |
| Независимая проверка | Оценка заявлений разработчиков о безопасности с публикацией результатов | Техническая оценка отдельно от аудита соблюдения требований |
| Периодичность | Отчеты о рисках как минимум раз в полгода | Ежегодный аудит, технические проверки при появлении серьезных рисков |
| Инструмент остановки | «Автоматический выключатель» на уровне агента, клиента, развертывания или модели | «Механизмы экстренного отключения», которые разработчики обязаны создавать и применять |
| Подстраховка | Генеральный прокурор может добиваться временной приостановки по решению суда | Обязанности распределены между разработчиками, поставщиками вычислительных ресурсов и компаниями, развертывающими модели |
| Прочее | Оплата экспертов из общего фонда под управлением штата | Сотрудничество Калифорнии с NIST по общим стандартам |
В чем разница на самом деле
Два подхода к остановке системы — близкие родственники. Обе компании отвергают идею одной большой красной кнопки и хотят, чтобы масштаб остановки не выходил за рамки самой проблемы. Anthropic просто добавляет сверху правовой механизм с участием генерального прокурора и судьи. OpenAI делает ставку на распределение обязанностей между компаниями, которые управляют инфраструктурой, и на то, чтобы созданные механизмы действительно применялись разработчиками.
В материале, на котором основана эта статья, не сказано, возражает ли OpenAI против судебного механизма и возражает ли Anthropic против распределения обязанностей. В нем описаны акценты каждого из предложений, и эти акценты различаются.
В чем они согласны
Обе компании поддерживают расширение отчетности об инцидентах. Речь идет в том числе о случаях, когда модели обходят установленные для них защитные ограничения или действуют за пределами предоставленных им полномочий.
Это наименее спорный из обсуждаемых пунктов, и, возможно, именно поэтому обе стороны поддержали его без оговорок. Сообщать о том, что что-то пошло не так, дешевле, чем вынужденно что-то останавливать.
Взгляд со стороны
Санчит Вир Гогия, аналитик Greyhound Research, описал подход, в который укладываются оба предложения. По его мнению, технические механизмы должны позволять оператору быстро ограничивать опасное поведение. Затем независимый надзор должен проверить не только то, какие меры принял разработчик, но и то, каких мер он не принял.
Интересна именно вторая часть. Аудит, который рассматривает только то, что компания сделала, — это история ее усилий. Аудит, который рассматривает то, чего она не сделала, больше похож на испытание.
Что дальше
Предложения нужно подать до 16 ноября, а указ пока ни для кого не устанавливает обязательств. Ведомствам Калифорнии предстоит прочитать два документа, которые звучат вполне разумно, но расходятся в вопросе о том, у кого должен быть ключ, а затем решить, что рекомендовать. До тех пор единственное, на что все уже готовы подписаться, — бумажная работа.