Google zufolge steht sein neues Modell Gemini 4 Carbon mit 59 Punkten nun an der Spitze des Artificial Analysis Intelligence Index 5.0. Zunächst stellt das Unternehmen das Modell allerdings nur einer kleinen Auswahl von Cyberabwehrfirmen zur Verfügung, statt allen, die es gern ausprobieren würden.
Carbon ist auf Programmierung, umfangreiche mehrstufige Aufgaben und Cybersicherheit ausgerichtet. Alles Folgende beruht auf Googles eigenen Angaben, und der Bericht verweist auf keine externe Überprüfung.
Der behauptete Spitzenplatz
Google zufolge liegt Carbon mit seinen 59 Punkten vor zwei namentlich genannten Konkurrenten: Claude Opus 5.5 von Anthropic und GPT-6 Astra von OpenAI. Der Bericht nennt keine Punktzahlen für diese beiden Modelle, daher ist unklar, wie groß der Abstand ist. Ein erster Platz mit einem Punkt Vorsprung sieht in einer Pressezusammenfassung genauso aus wie einer mit zehn.
Ein Detail sollte man dabei im Blick behalten. Die Rangliste basiert auf einem allgemeinen Intelligenzindex. Im Bericht steht nicht, dass die Konkurrenz speziell bei den Sicherheitstests geschlagen wurde, sondern nur, dass Carbon die Gesamtliste anführt.
Die Sicherheitskennzahlen
Google hat für Carbon Ergebnisse aus drei Sicherheitsbenchmarks veröffentlicht:
| Benchmark | Was er misst | Ergebnis von Carbon |
|---|---|---|
| SEC-bench Pro | Schwachstellen in realer Software finden | 88,2 % |
| ExploitGym | Die gefundenen Fehler ausnutzen | 54,8 % |
| CWE-bench | Schwachstellen beheben | 71 % |
Das sind drei verschiedene Tests mit unterschiedlichen Schwierigkeitsgraden. Die Ergebnisse als einen einzigen durchgängigen Ablauf zu lesen, wäre daher eine großzügige Auslegung. Dennoch ist das Muster plausibel. Eine Schwachstelle zu entdecken, ist der einfache Teil; daraus einen funktionierenden Exploit zu machen, ist schwieriger. Für diesen Schritt weist der Bericht Carbon einen niedrigeren Wert zu als für das Auffinden.
Ein Modell, das Fehler finden, ausnutzen und beheben kann, ist für Verteidiger nützlich und für alle anderen ebenso interessant. Der Bericht sagt nicht, ob die Einführung deshalb eingeschränkt erfolgt, aber die Gästeliste legt nahe, dass Google das bemerkt hat.
Verbesserungen gegenüber Gemini 4 Argon
Google vergleicht Carbon mit seinem Vorgänger Gemini 4 Argon und gibt mehrere Verbesserungen an:
- Sicherer Code. Die Erfolgsquote beim Erzeugen sicheren Codes hat sich mehr als verdoppelt. Ein Ausgangswert wird nicht genannt, sodass bei „mehr als doppelt so hoch“ auf beiden Seiten eine konkrete Zahl fehlt.
- Umfangreiche Entwicklungsarbeit. Carbon bewältigt länger andauernde Entwicklungsaufgaben besser.
- Weniger unbelegte Behauptungen. Das Modell macht weniger Aussagen, die es nicht belegen kann, was eine höfliche Umschreibung für eine bekannte Angewohnheit von Sprachmodellen ist.
- Prompt-Injection. Es widersteht Angriffen, bei denen schädliche Anweisungen in den eingehenden Anfragen versteckt werden.
Der letzte Punkt ist für jedes Modell wichtig, das bei seiner Arbeit nicht vertrauenswürdigen Text liest. Google nennt hier weder einen Test noch eine Punktzahl dazu, sondern stellt lediglich die Behauptung auf.
Zugang und Preise
In der ersten Phase erhalten nur ausgewählte Unternehmen, die auf Cyberabwehr spezialisiert sind, Zugang zu Carbon. Anschließend will Google den Partnerkreis über ein Programm namens Fairwind erweitern. Der Bericht nennt weder Termine noch Kriterien dafür, wer als Nächstes Zugang bekommt.
Zum Start liegen die Preise bei 2 US-Dollar pro Million Eingabetokens und 10 US-Dollar pro Million Ausgabetokens. Bei einem Modell, das für umfangreiche Entwicklungsaufgaben positioniert wird, bei denen auch die Ausgabe lang ausfallen kann, dürfte sich vor allem die zweite Zahl auf den Rechnungen bemerkbar machen. Aus dem Bericht geht nicht hervor, ob diese Preise für die ersten Partner gelten oder erst für den späteren, breiteren Zugang.
Was der Bericht auslässt
Mehrere Angaben fehlen, und es sind genau die, nach denen ein skeptischer Leser zuerst fragen würde:
- Die Ergebnisse von Claude Opus 5.5 und GPT-6 Astra bei denselben Sicherheitsbenchmarks.
- Eine unabhängige Replikation von Googles Ergebnissen.
- Ein Zeitplan für die allgemeine Verfügbarkeit.
- Einzelheiten dazu, wie Fairwind funktioniert oder wer teilnehmen kann.
- Die Ausgangswerte hinter der Behauptung „mehr als verdoppelt“.
Bis diese Angaben vorliegen, bleibt Carbon ein Modell mit starken Werten laut Anbieter und einem kontrollierten Debüt. Vorerst ist die Gästeliste kürzer als die Benchmark-Tabelle.