Google анонсировала Gemini 4 Carbon, которую называет своей самой мощной моделью на сегодняшний день, и первыми её опробуют те, чья работа — искать дыры в программном обеспечении. В среду Google DeepMind сообщила, что Carbon занимает первое место в версии 5.0 Artificial Analysis Intelligence Index с результатом 59 баллов, лидирует в трёх бенчмарках по кибербезопасности и способна днями работать над инженерными задачами. Всем остальным остаётся изучать таблицу результатов и ждать.
Запуск, который больше похож на зал ожидания
Доступ к Carbon открывают поэтапно. Начиная с этой недели его получит часть специалистов по киберзащите. Затем Google планирует постепенно расширять круг участников, подключая других доверенных партнёров через Fairwind Program.
Разработчики, компании и обычные пользователи — следующие в очереди: они получат доступ через продукты Google «как можно скорее». Даты Google не называет. Сначала компания хочет собрать обратную связь и продолжить дорабатывать защитные механизмы.
Компания также заявляет, что участвует в добровольной программе правительства США по тестированию моделей до их выпуска. Google называет свой подход к запуску взвешенным — это вежливый способ сказать «ещё не сейчас».
Carbon выходит примерно через две недели после Gemini 4 Argon, которую Google выпустила в начале этого месяца. По словам Google, эта пара демонстрирует темпы, с которыми компания раздвигает границы возможного, а её исследователи и модели «работают рука об руку», наращивая возможности так, чтобы защитные механизмы не отставали. Две передовые модели за две недели — похоже, руки и правда не простаивают.
Цены совпадают со стартовыми тарифами Argon:
- Ввод: $2 за миллион токенов.
- Вывод: $10 за миллион токенов.
- Кэшированный ввод: на 95% дешевле обычного ввода — примерно 10 центов за миллион токенов.
Слово «стартовые» здесь стоит не просто так. Google не говорит, как долго будут действовать эти цены.
Таблица результатов
Главная цифра — результат в Artificial Analysis Intelligence Index. В v5.0 Carbon набирает 59 баллов и занимает первое место. В собственном посте Google конкурентов не называет. В публикациях об анонсе говорится, что Claude Opus 5.5 и GPT-6 Astra остались позади. Их баллов не приводит ни один из источников, поэтому размер отрыва неизвестен.
Carbon лидирует не везде. В WebDev Arena модель прибавляет 89 баллов Elo, достигает отметки 1769 и занимает четвёртое место. Google объясняет это повышением качества результатов и артефактов, которые модель создаёт для веб-разработки.
Ниже приведены результаты внешних бенчмарков, на которые ссылается Google. По словам компании, тесты по кибербезопасности проводились без защитных ограничений.
| Бенчмарк | Что измеряет | Результат Carbon |
|---|---|---|
| Artificial Analysis Intelligence Index v5.0 | Общие возможности | 59, 1-е место |
| SEC-bench Pro | Поиск реальных уязвимостей | 88.2% |
| ExploitGym | Эксплуатация уязвимостей | 54.8% |
| CWE-bench (от Collinear) | Устранение первопричины уязвимости | 71.0% |
| WebDev Arena | Веб-разработка | 1769 Elo, 4-е место, рост на 89 баллов |
| Terminal-Bench 4.0 | Успешное жульничество | 0.0% (попытки — 0.4%) |
| Gray Swan Indirect Prompt Injection | Доля успешных атак | 0.0% (Argon: 0.7%) |
Google называет первые три результата по кибербезопасности лучшими на сегодняшний день. В публикациях о запуске говорится, что Carbon занимает первое место в SEC-bench Pro и ExploitGym.
Создана, чтобы не останавливаться
Google позиционирует Carbon как модель для длительной работы — задач, в которых нужно продолжать действовать даже после провала первоначального плана. По словам Google, её команды наблюдали, как Carbon работала по несколько дней, преодолевая тупики при решении многоэтапных инженерных задач. В качестве примеров приводятся поиск первопричин и исправление неочевидных ошибок в больших кодовых базах и низкоуровневых системах.
Это отдельное наблюдение изнутри компании, а не бенчмарк, и воспринимать его нужно соответственно. И всё же оно объясняет, в чём идея продукта. Модель, способная днями разбираться с неприятным багом, — совсем не то же самое, что модель, которая отвечает на запрос и на этом заканчивает работу.
Google говорит, что на работу повлияла обратная связь от пользователей. Улучшения охватывают программирование, агентные и научные задачи, веб-разработку на всех уровнях стека и мультимодальное понимание. В посте приведены цифры лишь для некоторых из этих направлений.
Возможности в кибербезопасности
Google делит цикл киберзащиты на обнаружение, проверку и устранение уязвимостей и утверждает, что Carbon лидирует на каждом этапе.
- Обнаружение. На SEC-bench Pro Carbon набирает 88.2%, что, по словам Google, отражает способность автономно выявлять сложные уязвимости в реальном программном обеспечении.
- Проверка. Специалисты по защите всё чаще спрашивают у моделей, какие уязвимости действительно поддаются эксплуатации, чтобы решить, что исправлять в первую очередь и стоит ли вообще это исправлять. На ExploitGym Carbon набирает 54.8% — новый рекорд, по словам Google.
- Исправление. На CWE-bench от Collinear Carbon достигает 71.0%. Google описывает это как способность напрямую превращать подтверждённые результаты проверки в работающие исправления.
Google также приводит некоторые данные внутренних проверок и оценки партнёров. На собственных бенчмарках компании доля успешных попыток Carbon сгенерировать безопасный код более чем вдвое выше, чем у Argon. Команда Chrome сообщила, что при создании качественных патчей Carbon показала результат более чем в 10 раз лучше, чем крупная передовая модель другой лаборатории. Google не уточняет, какая именно.
По оценке Wiz, которую Google называет своей ведущей платформой облачной безопасности, Carbon лидирует в бенчмарках по тестированию веб-приложений на проникновение. Это ключевая возможность для инициативы Scan for Good от Wiz.
Модель, которая отлично находит и эксплуатирует уязвимости ПО, полезна и тем, кто это ПО защищает, и тем, кто его атакует. Трудно не связать это с тем, в каком порядке Google предоставляет доступ. Сама Google так не формулирует — эту связь провожу я.
Заявления о поведении модели
В Carbon используется тот же многоуровневый комплекс защиты, что и в Argon. Google перечисляет его составляющие: обучение модели, защита от злоупотреблений в реальном времени, устойчивость к инъекциям промптов и мониторинг цепочки рассуждений. Google утверждает, что на этот раз продвинулась дальше в согласовании поведения модели с заданными целями, обучив её корректно реагировать на сложные задачи и ситуации высокого давления. Вот заявления компании в её же порядке:
- Меньше уловок. На Terminal-Bench 4.0 доля успешных попыток схитрить снизилась до 0.0%, а доля самих попыток — до 0.4%, при этом общая точность выросла. В реальных средах программирования, где с моделью работали внутренние команды Google, число предупреждений о серьёзных отклонениях от заданного поведения сократилось почти на 80%.
- Больше честности. Во внутренних тестах число неподтверждённых утверждений сократилось примерно вдвое по сравнению с Argon. По словам Google, Carbon включает методологические оговорки в итоговый результат. Если действие заблокировано, модель объясняет, чего ещё не хватает, вместо того чтобы выдумывать факты или маскировать отсутствие подтверждений уклончивыми формулировками.
- Лучшая работа с неоднозначностью. Вместо догадок Carbon находит релевантные источники и, прежде чем действовать, показывает пользователю все расхождения.
- Соблюдение рамок задачи. Случаев выхода за рамки задачи стало на 26% меньше, а неполного выполнения — на 29%. По словам Google, это повышает надёжность выполнения многоэтапных планов от начала до конца с соблюдением ограничений проекта.
- Инъекции промптов. Ранее Argon лидировала в бенчмарке Indirect Prompt Injection от Gray Swan: доля успешных атак составляла 0.7%. У Carbon — 0.0%: модель устояла перед всеми атаками, включёнными в оценку.
Результат по попыткам схитрить заслуживает отдельного внимания. Модель, которая реже жульничает и при этом набирает больше баллов, — более убедительная история, чем просто более осторожная модель. Именно так Google это и подаёт. При этом цифра получена в собственной системе обучения и тестирования Google.
Трезвый взгляд на цифры
Большая часть того, что известно о Carbon, исходит от Google. Рейтинг в индексе — сторонний, как и бенчмарки вроде CWE-bench и теста Gray Swan. Но оценки без защитных ограничений и внутренние тесты проводила Google; сравнение команды Chrome и отчёты из реальных сред программирования тоже исходят от неё.
В опубликованных материалах не хватает нескольких вещей:
- Даты общедоступного релиза.
- Баллов конкурентов в рейтинге индекса.
- Названия модели, с которой сравнивала команда Chrome.
- Независимого воспроизведения результатов по кибербезопасности.
Это не означает, что заявления неверны. Это означает, что они остаются заявлениями.
Пока что самая мощная модель Google находится в руках людей, которым платят за недоверие к программному обеспечению. Нам же, всем остальным, говорят, что она появится скоро, а при двухнедельном цикле релизов это весьма растяжимая единица времени.