Оплачивая работу с передовой моделью ИИ, вы вынуждены доверять поставщику больше, чем хотелось бы. Вы отправляете промпт, получаете ответ и просто верите, что поставщик не подменил модель более дешёвой без вашего ведома ради экономии. Во вторник Anthropic опубликовала в блоге пост с подробным описанием FlashProve — системы с открытым исходным кодом, призванной заменить это слепое доверие математической гарантией.
Старая уловка с подменой
Исследователи называют эту концепцию «доказуемым инференсом». Она работает как криптографическая подпись электронного письма, подтверждающая, что сообщение действительно пришло от заявленного отправителя. Это позволяет пользователям убедиться, что ответ действительно получен от модели, с которой они, как им кажется, работают.
Интересная особенность FlashProve — в том, кто здесь оказывается под подозрением. Система защищает от мошенников, выдающих одну модель за другую, даже если мошенник — та самая ИИ-лаборатория, которая создала модель и обеспечивает её работу.
Подмена может быть выгодна в обоих направлениях. ИИ-компания может тайно заменить модель более дешёвой, чтобы сократить расходы, или незаметно задействовать более дорогую, чтобы завысить показатели качества.
Сторонние участники тоже делают громкие неподтверждённые заявления. «Разработчик может заявить, что его программную библиотеку проверила на уязвимости передовая модель для задач кибербезопасности, а компания — что её бизнес-план одобрила подходящая модель», — пишут исследователи. «Как пользователь может проверить эти утверждения?»
Отпечатки без весов
Проверить коммерческую модель непросто, если компания отказывается раскрывать её внутреннее устройство. FlashProve обходит это ограничение благодаря нескольким практическим проектным решениям:
- Общедоступные отпечатки моделей: ИИ-лаборатории публикуют криптографический отпечаток каждой выпускаемой модели, позволяющий впоследствии связывать конкретные ответы с этой моделью и криптографически подтверждать их происхождение.
- Защищённые внутренние веса: Отпечатки не раскрывают веса модели — внутренние числовые параметры, определяющие её поведение. Разработчики закрытых моделей, такие как Anthropic и OpenAI, держат эти значения в секрете, поэтому лаборатории могут публиковать отпечатки коммерческих моделей, не раскрывая свой самый ценный актив.
- Проверка на локальном устройстве: Исследователи спроектировали систему так, чтобы она оставалась нетребовательной к ресурсам и проверку можно было выполнять на локальном устройстве.
- Открытый исходный код: Вместе с анонсом команда опубликовала на GitHub подробную техническую спецификацию и рабочий код различных компонентов системы под открытой лицензией.
Детектор лжи в ожидании добровольцев
Описать всё математически — простая часть задачи. Убедить коммерческие ИИ-лаборатории добровольно поставить свою честность под криптографический контроль — совсем другое дело.
Исследования FlashProve продолжаются, и пока ни Anthropic, ни какая-либо другая лаборатория не планируют внедрять систему. «Этот исследовательский пост призван рассказать о промежуточных результатах, а не представить завершённую программу исследований», — поясняют исследователи в публикации с анонсом. «Мы делимся этим именно для того, чтобы другие посмотрели на то, что мы сделали, взяли это за основу и улучшили».
Anthropic передала отрасли рабочие чертежи детектора лжи. Теперь всем остаётся наблюдать, кто первым вызовется пройти проверку.