Компания из сферы ИИ просит Конгресс предусмотреть возможность отключения ИИ-систем. Anthropic, разработчик моделей Claude, продвигает законопроект, который позволит властям США приостанавливать выпуск и использование ИИ-систем, признанных источником серьёзной угрозы. Компании обычно просят смягчить регулирование, так что просьба несколько необычна, хотя компания, создающая одно из самых мощных семейств моделей, хорошо понимает, что именно она предлагает регулировать.
Подзаголовок: порог ущерба в $1 млрд, реестр внешних экспертов и судебное постановление в роли кнопки выключения.
Что законопроект позволит делать властям
Основной механизм — вмешательство. Если ИИ-система представляет достаточно серьёзную опасность, власти смогут добиваться приостановки её выпуска или дальнейшего использования. В сообщениях о законопроекте не говорится о всеобщем режиме лицензирования. В них описаны основания для вмешательства, процедура проверки и обращение в суд.
Основание для вмешательства складывается из двух составляющих: масштаба вреда и типа угрозы.
- Масштаб вреда. Возможный ущерб в $1 млрд и более либо гибель или тяжёлые травмы более чем 50 человек.
- Тип угрозы. Риск должен быть связан с созданием биологического оружия, выходом модели из-под контроля разработчика или кибератакой.
Перечень угроз ограничен. Чат-бот, который даёт плохие юридические советы или пишет посредственный сонет, под эти критерии не подпадает. Судя по описанию, законопроект нацелен на сценарии, которые фигурируют в исследованиях по безопасности и на слушаниях в Конгрессе.
Кто и как будет решать
Оценку не оставят на усмотрение разработчиков. Законопроект предполагает, что потенциальную опасность конкретной системы будут оценивать независимые эксперты, зарегистрированные в Министерстве торговли США. На основании их выводов министерство сможет обратиться в суд и ходатайствовать о приостановке соответствующего проекта.
Это цепочка из трёх звеньев: внешние эксперты, ведомство, затем судья. Такой порядок медленнее, чем если бы регулятор просто отключал систему, и, вероятно, так и задумано. Судебное постановление о приостановке передового ИИ-проекта обернулось бы серьёзными издержками и спорами, а разбирательство по поводу доказательств проходило бы в суде.
В сообщениях не говорится, как будут отбирать экспертов для включения в реестр, как будет оплачиваться их работа и какой стандарт доказывания будет применять суд. Эти детали крайне важны, но в опубликованных на данный момент материалах их нет.
Какие обязанности появятся у разработчиков
Законопроект также возлагает обязанности на сами компании. Разработчики должны будут:
- Создать внутренние подразделения по безопасности.
- Публиковать отчёты о том, как работают их ИИ-модели.
- Незамедлительно сообщать регулятору о серьёзных сбоях.
Отдельно законопроект предусматривает защиту сотрудников, сообщающих о нарушениях, от преследования. Защита информаторов — давняя практика в регулируемых отраслях, и в подобных законопроектах она появляется по практической причине. Первыми опасное поведение модели обычно замечают те, кто работает над её созданием.
Не с чистого листа
Как сообщается, несколько положений перекликаются с калифорнийскими законами об ИИ, вступившими в силу в 2025 году. В этом просматривается знакомая схема. Штат испытывает регуляторную модель, участник отрасли решает, что она приемлема, а затем выступает за федеральную версию, которая по крайней мере будет предсказуемой. Не уточняется, смотрит ли Anthropic на ситуацию именно так. При этом сама компания заявляет, что предлагаемые меры — разумный способ держать под контролем самые мощные ИИ-системы.
Чего мы не знаем
Источников по этой теме немного, и пробелы стоит обозначить прямо.
- Нет имён инициаторов и номера законопроекта. В сообщениях говорится, что Anthropic продвигает законопроект, но не уточняется, кто из членов Конгресса его внёс и был ли он вообще внесён.
- Нет сроков. О слушаниях, рассмотрении поправок в комитете или голосованиях ничего не сообщается.
- Нет реакции других лабораторий. Мы не знаем, что думают об этом предложении конкуренты или само Министерство торговли.
- Неясные определения. Понятия вроде выхода модели из-под контроля разработчика играют здесь ключевую роль, но в кратком изложении не сказано, как их определят в законе.
В чём ирония
Есть давнее наблюдение: компании, уже закрепившиеся на рынке, иногда приветствуют регулирование, потому что отделы комплаенса обходятся крупным компаниям дешевле, чем небольшим. Ничто в сообщениях не указывает на то, что здесь происходит именно это, а пороги законопроекта (миллиард долларов ущерба, более 50 погибших или пострадавших) нацелены на катастрофические риски, а не на небольших разработчиков как таковых. И всё же требование иметь внутренние команды по безопасности и публиковать отчёты легче выполнить, если у вас уже есть и то и другое.
Но интереснее буквальное прочтение. Компания, продающая мощные модели, публично говорит, что должен существовать законный способ остановить мощные модели. От того, воспользуется ли Конгресс этим предложением и согласится ли с ним остальная отрасль, зависит, окажется ли это инициативой в области регулирования или пресс-релизом, к которому прилагается номер законопроекта.