KI-Agenten können die richtige Zahl in einem Fachartikel finden und trotzdem nicht verstehen, warum die Autoren sie verwendet haben

Ein KI-Agent kann einen Fachartikel lesen, den richtigen Parameter herausziehen, die Berechnung ausführen und trotzdem keine Ahnung haben, warum die Autoren so vorgegangen sind. Eine neue Studie zur Reproduktion astronomischer Ergebnisse legt nahe, dass genau in dieser Lücke derzeit die automatisierte Wissenschaft steckt – und dass eine übereinstimmende Zahl sie nur allzu gut kaschieren kann.

Die Arbeit trägt den Titel „Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy“. Ihre Autoren testeten LLM-Agenten anhand von 14 astronomischen Studien, einer aus The Astrophysical Journal und 13 aus Nature. Die Frage war nicht, ob ein Agent Fakten extrahieren konnte. Es ging darum, ob er die Forschungsarbeit eigenständig von Anfang bis Ende wiederholen konnte.

Die Fachartikel waren weniger vollständig, als es schien

Noch bevor irgendein Agent etwas ausführte, stießen die Autoren auf ein Problem mit dem Quellenmaterial. In 11 der 13 Nature-Artikel identifizierten sie methodische oder interpretative Unklarheiten. Diese reichten aus, um zu verhindern, dass sich die zur Reproduktion der Analyse nötige Abfolge von Schritten eindeutig bestimmen ließ – zumindest im Rahmen der durchgeführten Experimente.

Das ist eine höfliche Umschreibung dafür, dass ein veröffentlichter Fachartikel die Zusammenfassung eines Vorgehens ist, nicht das Vorgehen selbst. Fachleute schließen die Lücken mithilfe ihrer Erfahrung und fachlicher Konventionen. Ein Agent muss sie ebenfalls mit etwas füllen, und dieses Etwas ist nicht immer dasselbe, auf das die Autoren zurückgegriffen haben.

Ein Kontrollfall, zwölf Antworten

Anschließend untersuchten die Autoren einen Kontrollfall im Detail. Sie legten vorab 12 Varianten der Berechnung fest. Die Varianten kombinierten unterschiedliche Vorgehensweisen bei der Auswahl von Objekten, beim Maskieren von Himmelsregionen und bei der Anwendung einer Korrektur des Parallaxennullpunkts. (Zur Einordnung: Mit der Parallaxe lässt sich die Entfernung zu einem Himmelskörper anhand seiner scheinbaren Verschiebung gegenüber weiter entfernten Objekten abschätzen.)

Diese Einstellungen hatten erheblichen Einfluss. Über die 12 Varianten hinweg reichten die Schätzwerte für die räumliche Skala von 2,16 bis 3,53 Kiloparsec. Im ursprünglichen Fachartikel war ein Wert von ungefähr 2,70 veröffentlicht worden. Nur eine Variante stimmte damit überein.

Die Autoren betonen, wie sie zu diesem Ergebnis kamen. Sie nutzten das veröffentlichte Ergebnis weder dazu, Parameter anzupassen, noch um zu entscheiden, wann sie aufhören sollten. Die passende Variante zeigte sich erst, nachdem alle 12 Analysen abgeschlossen waren. Hier wurden also nicht so lange Analysen durchgeführt, bis die Antwort richtig aussah – eine Methode mit einer langen und nicht durchweg rühmlichen Geschichte in der Forschung.

Die Antwort stand bereits im Text

Am aufschlussreichsten ist das Detail, das die passende Variante von den übrigen unterschied. Der ursprüngliche Fachartikel gab bereits eine Parallaxenkorrektur von +0,02 Millibogensekunden an. Die Information war vorhanden und klar nachzulesen.

Die KI-Agenten erkannten jedoch erst, wie diese Korrektur kausal mit dem Ergebnis zusammenhing, als die Analyse ihre Wirkung zeigte. Mit anderen Worten: Das Scheitern lag nicht an einer fehlenden Information und auch nicht nur daran, dass der richtige Parameter nicht gefunden wurde. Es fehlte das Verständnis dafür, warum diese Korrektur in genau dieser Studie auf diese Daten anzuwenden war.

Das ist eine andere Art von Problem als das, was die meisten Benchmarks erfassen. Ob Informationen korrekt abgerufen wurden, lässt sich mit einer Suche überprüfen. Um zu wissen, warum eine Zahl wichtig ist, braucht es ein Modell der dahinterstehenden wissenschaftlichen Fragestellung.

Drei Wege zu scheitern – und einer, bei dem es nicht danach aussieht

Die Autoren unterscheiden mehrere Gründe, aus denen ein Reproduktionsversuch schiefgehen kann:

• Berechnungsfehler. Der Agent führt die Berechnung schlicht falsch aus.
• Unzureichend spezifizierte Methodik. Der Fachartikel legt das Vorgehen nicht genau genug fest, um ihm folgen zu können.
• Fehlende Verknüpfung der Einzelteile. Der Agent verfügt über die relevanten Fakten, kann sie aber nicht zu einem schlüssigen Analyseablauf zusammenfügen.

Die Kehrseite ist genauso problematisch. Eine Übereinstimmung mit dem veröffentlichten Zahlenwert beweist nicht, dass der Agent die Argumentation der Autoren rekonstruiert hat. Der richtige Wert könnte durch Zufall zustande kommen oder weil eine von mehreren vertretbaren Entscheidungen bei der Datenverarbeitung zufällig zu ihm führte. Und eine Abweichung bedeutet nicht, dass der ursprüngliche Fachartikel falsch ist. Sie kann lediglich bedeuten, dass der Agent eine andere vernünftige Entscheidung getroffen hat – oder eine unvernünftige.

Das wirkt gleichzeitig in zwei Richtungen. Eine Rangliste, die Agenten dafür belohnt, den veröffentlichten Zahlenwert zu treffen, wird auch manche Glückstreffer honorieren. Dieselbe Rangliste wird einige völlig plausible Analysen abstrafen, die aus berechtigten Gründen abweichen.

Was die Autoren stattdessen vorschlagen

Die Forschenden plädieren dafür, wissenschaftliche KI-Systeme anhand des gesamten Reproduktionsprozesses zu beurteilen: von der Auswahl der Daten und Einstellungen bis zur Überprüfung des Ergebnisses. Entscheidend sollte nicht allein sein, ob die endgültige Zahl mit der Veröffentlichung übereinstimmt.

Dieser Ansatz hat einen praktischen Nutzen. Er kann Entscheidungen sichtbar machen, die im Fachartikel unausgesprochen bleiben – jene, die Fachleute aus Gewohnheit und aufgrund fachlicher Konventionen treffen und die nie aufgeschrieben werden, weil alle im Fachgebiet sie ohnehin kennen.

Allerdings gibt es eine Grenze, und die Autoren räumen sie ein. Die Prüfung der Berechnungen ersetzt kein Fachwissen. Um zu erkennen, welche Annahmen gerechtfertigt sind und welche die Bedeutung eines Ergebnisses verändern, muss ein System die Verbindung zwischen der Methode und dem wissenschaftlichen Problem wiederherstellen, zu dessen Lösung sie entwickelt wurde.

Was man daraus mitnehmen sollte

Gemessen an ihrem Umfang ist die Studie klein: 14 Fachartikel und ein detailliert untersuchter Kontrollfall. Zudem beschreibt die Quelle sie nur zusammenfassend. Es wäre überzogen, daraus ein Urteil über alle KI-Agenten oder die gesamte Astronomie abzuleiten. Insbesondere zeigt das Experiment mit den 12 Varianten, was bei einer einzelnen Analyse passiert, und liefert keine allgemeine Erfolgsquote.

Dennoch lässt sich der Kern des Befunds nur schwer beiseiteschieben. Ein Agent, dem ein Fachartikel mit der ausdrücklich genannten entscheidenden Korrektur vorlag, brauchte trotzdem erst die Daten, um zu erkennen, warum diese Korrektur wichtig war. Wenn dein Plan für automatisierte Wissenschaft vorsieht, dass Agenten still im Hintergrund veröffentlichte Arbeiten erneut durchführen, ist die Rechenarbeit der überprüfbare Teil. Der schwierige Teil sind die Gründe dafür – und die stecken vorerst größtenteils in den Köpfen der Forschenden.