Der peinlichste Moment dieses Physik-Benchmarks kam, als die Prüfer eine Antwort des Modells als falsch bewerteten und sich herausstellte, dass das Modell recht hatte. In einem Test mit Aufgaben aus der theoretischen Physik auf Forschungsniveau löste GPT-6-Astra 49 von 50 Aufgaben. Mehrere Antworten, die seine menschlichen Prüfer zunächst als fehlerhaft markiert hatten, waren korrekt, und die Fehler steckten in den Referenzlösungen.
Worum es bei dem Test tatsächlich ging
Die Forscher wollten wissen, ob KI-Agenten Aufgaben auf dem Niveau echter Forschungsarbeit bewältigen können, nicht bloß Lehrbuchübungen. Sie stellten 50 unveröffentlichte Aufgaben aus verschiedenen Bereichen der theoretischen Physik zusammen. Dass sie unveröffentlicht waren, ist hier wichtig: Es erschwert einem Modell, dadurch zu punkten, dass es eine bereits gesehene, ausgearbeitete Lösung aus dem Gedächtnis abruft.
Interessant ist die Einschätzung des Schwierigkeitsgrads durch die Autoren selbst. Ein Experte von Weltrang würde in der Regel fast einen ganzen Tag brauchen, um eine dieser Aufgaben zu lösen. Ein Spezialist aus einem benachbarten Fachgebiet bräuchte deutlich länger.
Die Aufgaben sollten die Anwendung bekannter Methoden prüfen. Sie sollten nicht prüfen, ob ein Modell eine grundlegend neue Entdeckung machen kann. Diese Unterscheidung ist für die Einordnung des gesamten Ergebnisses entscheidend, und wir kommen noch darauf zurück.
Die Rangliste
Mit Zugang zum Internet, zu wissenschaftlicher Literatur und zu Rechenwerkzeugen erreichte Astra eine Genauigkeit von 98 %. Die durchschnittlichen Kosten lagen bei weniger als 3 US-Dollar pro Aufgabe. Für eine Aufgabe, die einen ganzen Arbeitstag eines Experten verschlingt, ist das ein bemerkenswerter Preis.
Die anderen in der Studie aufgeführten Modelle lagen dahinter:
| Modell | Gelöste Aufgaben (von 50) |
|---|---|
| GPT-6-Astra | 49 |
| Opus 5.5 | 46 |
| Gemini 3.8 Flash | 34 |
| DeepSeek-V4.1-Flash | 27 |
| GLM 5.3 | 21 |
Aus dem Bericht geht nicht ausdrücklich hervor, ob die Zahlen der Konkurrenz aus derselben Testkonfiguration mit Werkzeugzugriff stammen wie die 98 % von Astra. Beim Vergleich sollte man diesen Vorbehalt im Hinterkopf behalten. Die Spannweite ist in jedem Fall groß: von nahezu fehlerfrei bis zu weniger als der Hälfte der Aufgaben.
Wenn ausgerechnet der Prüfer falschliegt
Hier wird die Geschichte unterhaltsamer. Die Autoren hielten einige Antworten von Astra zunächst für falsch. Benchmarks beruhen üblicherweise auf der Annahme, dass die Referenzlösung der Fixpunkt ist und das Modell die Variable.
Also zogen sie Fachleute hinzu. Diese fanden Fehler in den Lösungen der Autoren selbst. Nachdem diese korrigiert waren, hielten die Berechnungen von Astra der Überprüfung stand. Das Modell hatte recht, und die Menschen lagen mit voller Überzeugung und ganz offiziell falsch.
Das ist eine nützliche Erinnerung daran, dass die Bewertung eines leistungsfähigen Modells umso schwieriger wird, je leistungsfähiger es ist. Wenn ein Experte für die Aufgaben einen Tag braucht, arbeitet auch die Person, die die Referenzlösungen überprüft, an der Grenze dessen, was sich an einem Tag leisten lässt.
Die eine Aufgabe, die niemand löste
Astra scheiterte tatsächlich an einer einzigen Aufgabe, und ebenso jedes andere Modell. Die Aufgabe bestand darin, aus einer gegebenen Kurve eine Differentialgleichung zu rekonstruieren. Die Autoren verweisen auf Mehrdeutigkeiten in der Aufgabenstellung als einen Faktor, der die Suche erschwerte. Mit anderen Worten: Es ist keineswegs klar, ob hier überhaupt das physikalische Schlussfolgern versagt hat. Zum Teil könnte das Scheitern an der Fragestellung liegen.
Braucht es das Internet?
Als die Forscher den Internetzugang deaktivierten, änderte sich die Genauigkeit kaum. Die Autoren deuten dies als möglichen Hinweis darauf, dass die Modelle einen großen Teil der wissenschaftlichen Literatur verinnerlicht haben und die benötigten Formeln ohne Nachschlagen wiedergeben können.
Dabei weisen sie auf die Grenzen dieser Deutung hin. Diese Studie allein kann den Einfluss der Trainingsdaten nicht ausschließen. Die Aufgaben sind unveröffentlicht, aber damit ist nicht geklärt, wie nah die zugrunde liegenden Methoden an dem Material liegen, mit dem die Modelle trainiert wurden. Eine ehrliche Zusammenfassung lautet: Das Ergebnis ist mit fundiertem, verinnerlichtem Wissen vereinbar, beweist es aber nicht.
Was das nicht zeigt
Die Autoren benennen die Grenzen des Befunds sehr deutlich. Aufgaben gut lösen zu können, bedeutet nicht, dass eine KI eigenständig ein Forschungsprogramm in der Physik durchführen kann. Bei den Teilen der Forschung, die der Berechnung vorausgehen oder sie begleiten, schneiden Modelle nach wie vor schlechter ab:
- Ein lohnendes Problem auswählen. Eine relevante Frage auszuwählen, erfordert andere Fähigkeiten, als eine zu beantworten.
- Die richtige Frage formulieren. Eine gut gestellte Frage ist schon das halbe Ergebnis, und der Benchmark liefert sie gratis mit.
- Wissen, wann ein Richtungswechsel nötig ist. Zu erkennen, dass ein Ansatz in eine Sackgasse führt, ist nach Aussage der Autoren für Modelle schwieriger, als Aufgaben mit einer überprüfbaren Antwort zu lösen.
Der Benchmark belohnt genau das, was sich leicht überprüfen lässt. Ein Problem mit einer eindeutigen Antwort ist für eine Maschine das denkbar günstigste Terrain, und Forschung findet überwiegend außerhalb dieses Terrains statt.
Was man daraus mitnehmen sollte
Die faire Lesart ist eng begrenzt, hat aber echtes Gewicht. Bei unveröffentlichten Aufgaben aus der theoretischen Physik, die bekannte Methoden erfordern und Experten einen Tag Arbeit kosten, lag das stärkste Modell im Test in 49 von 50 Fällen richtig, bei Kosten von jeweils wenigen Dollar. Es lag auch dort richtig, wo erfahrene Forscher es für falsch hielten.
Die unfaire Lesart wäre, dass Physiker nun optional sind. Die Autoren selbst behaupten das nicht, und der Test könnte eine solche Aussage auch nicht stützen. Ein Werkzeug, das deine Berechnungen überprüft und gelegentlich in einer Diskussion recht behält, ist nützlich. Es entscheidet aber nach wie vor nicht darüber, welche Diskussion sich überhaupt lohnt.
Eine kleine Ironie zum Schluss: Ein Benchmark, der messen sollte, ob man Maschinen Arbeit auf Expertenniveau anvertrauen kann, brauchte am Ende externe Fachleute, um die Referenzlösungen der Experten selbst zu überprüfen.