OpenAI hat Mathematikerinnen und Mathematikern Hunderte neue Ergebnisse zur Prüfung vorgelegt, aber keine Abkürzung, um herauszufinden, welche davon Bestand haben. Die Veröffentlichung des Unternehmens umfasst 719 Manuskripte, enthält Aussagen zu berühmten offenen Problemen und weist große Unterschiede darin auf, wie weit die Ergebnisse bereits überprüft wurden. Forschende sagen, dass es Jahre dauern könnte, die Sammlung zu verstehen, während ihre Auswirkungen auf akademische Karrieren bereits spürbar sind.
Eine Veröffentlichung, die sich nicht schnell bewerten lässt
Die Manuskripte behandeln Gebiete wie Zahlentheorie, Geometrie, Kombinatorik, Algebra, Topologie, Wahrscheinlichkeitstheorie, mathematische Physik und theoretische Informatik. OpenAI erklärte, sein Modell habe sich an mehr als 4.000 Problemen versucht. Ein typisches Ergebnis erforderte etwa drei Stunden Rechenzeit für den Denkprozess von ChatGPT Pro.
Der Umfang hat selbst eine erste Sichtung erschwert. Forschende berichteten, dass es bereits viel Zeit gekostet habe, das insgesamt rund 40 Seiten umfassende Inhaltsverzeichnis samt Zusammenfassungen der Sammlung zu lesen, bevor sie einzelne Argumentationen überprüfen oder in ihren Kontext einordnen konnten. OpenAI veröffentlichte außerdem Hinweise zum Auffinden von Material in dem großen GitHub-Repository – ein praktisches Eingeständnis, dass eine Forschungsveröffentlichung zu einem Ordnungsproblem für sich werden kann.
Einige Mathematikerinnen und Mathematiker sagten, ihre ersten Eindrücke seien besser gewesen als erwartet, insbesondere angesichts der Kritik an früheren mathematischen Arbeiten von OpenAI. Das ist ermutigend, auch wenn die Messlatte für diesen Vergleich nicht besonders hoch lag. Dennoch beschrieben Forschende Arbeiten, die schwer nachzuvollziehen, ungewöhnlich knapp oder dürftig mit Literaturverweisen versehen waren.
Formale Beweise sind nützlich, aber kein Selbstläufer
Einige Manuskripte enthalten Lean-Formalisierungen. Lean ist ein Beweisassistent, der prüfen kann, ob ein formales Argument aus den angegebenen Voraussetzungen folgt. Ein solcher Code kann Mathematikerinnen und Mathematikern Vertrauen in ein Ergebnis geben, selbst wenn sie nicht jeden Schritt der Argumentation unabhängig nachvollzogen haben.
Die Sammlung ist jedoch keineswegs durchgängig formalisiert. OpenAI erklärte, 300 zentrale Ergebnisse aus den 719 Manuskripten seien formalisiert worden, also rund 42 Prozent, und kündigte weitere Formalisierungen an. Das Unternehmen räumte außerdem ein, dass sich die Manuskripte in unterschiedlichen Stadien der Überprüfung befänden.
Eine Formalisierung ist kein magisches Gütesiegel. Forschende müssen weiterhin prüfen, ob der Code dieselbe Aussage beweist, die in der Arbeit gemacht wird. Einige Mathematikerinnen und Mathematiker, die die Veröffentlichung untersucht hatten, sagten, dass der Zusammenhang zwischen den formalen Beweisen und den Aussagen in den zugehörigen Manuskripten nicht immer klar gewesen sei und die Qualität variiere.
Das Änderungsprotokoll des Repositorys selbst wies bis zum 8. Oktober Korrekturen an mehr als einem Dutzend Manuskripten aus. Es führte außerdem drei zurückgezogene Arbeiten auf, nachdem ein Vorzeichenfehler entdeckt worden war, der eine Argumentation ungültig machte. Diese Dokumentation ist transparenter, als eine Arbeit stillschweigend zu ändern. Sie zeigt aber auch, warum Leserinnen und Leser eine große Menge an Ergebnissen nicht als fertigen Katalog gesicherter Mathematik behandeln können.
Bedeutende Aussagen warten noch auf eingehende Prüfung
Forschende verwiesen auf mehrere Ergebnisse, die sie für potenziell bedeutend hielten, darunter Fortschritte im Zusammenhang mit der Riemannschen Vermutung, ein Spezialfall der Hodge-Vermutung und eine Lösung der vierdimensionalen Kakeya-Vermutung. Die Riemannsche Vermutung und die Hodge-Vermutung gehören zu den sieben Millennium-Problemen. Das sind keine obskuren Übungsaufgaben, doch allein ihr Auftauchen in einer Veröffentlichung klärt ihren Status nicht. Fachleute betonten, dass die Arbeiten sorgfältig überprüft und erläutert werden müssen.
Einige Mathematikerinnen und Mathematiker sahen Dutzende Ergebnisse, die sich als außerordentlich wichtig erweisen könnten, wenn sie einer eingehenden Prüfung standhalten. Andere sagten, die von ihnen betrachteten Arbeiten seien schwer zu bewerten oder Arbeiten in ihren eigenen Fachgebieten schienen bereits vorhandene Forschung wieder aufzugreifen. Angesichts der Zahl der Manuskripte und der begrenzten Zeit für ihre Begutachtung bleiben diese Einschätzungen vorläufig.
Forschende stellten außerdem fest, dass viele Ergebnisse offenbar etablierte Methoden auf einfallsreiche Weise nutzen. Auch das kann bedeutende Mathematik sein. Solche Arbeiten können Lücken in bereits erschlossenem Terrain schließen, ohne ein völlig neues mathematisches Gerüst zu schaffen. Zugleich lassen sie Menschen Raum, Zusammenhänge herzustellen, Argumentationen zu präzisieren und aus den Ergebnissen neue Fragen zu entwickeln.
Die Auswirkungen sind ungleich verteilt
Die Veröffentlichung hat manche Forschungsgebiete stärker getroffen als andere. Mathematikerinnen und Mathematiker beschrieben besonders starke Umbrüche in der Wahrscheinlichkeitstheorie, der Kombinatorik und der theoretischen Informatik sowie in Teilen der Gruppentheorie. Forschende, deren Projekte sich mit den veröffentlichten Ergebnissen überschneiden, müssen möglicherweise Arbeiten neu überdenken, die bislang die Grundlage für eine Dissertation, einen Förderantrag oder einen Forschungsplan bildeten.
Diese Unsicherheit trifft besonders Promovierende, Nachwuchsforschende und andere ohne unbefristete Stelle. Ein seit Langem offenes Problem kann den Mittelpunkt jahrelanger Arbeit bilden und Argumente für eine Förderung oder eine Anstellung liefern. Wenn ein Labor ein Ergebnis veröffentlicht, das sich offenbar dieses Problems annimmt, müssen Forschende entscheiden, ob sie das Problem weiterverfolgen, die Richtung ändern oder auf die Überprüfung der Argumentation warten. Für keine dieser Optionen gibt es einen fertigen Zeitplan.
Einige Forschende sagten, ganze Projekte oder Forschungsprogramme seien durch die Veröffentlichung überholt worden. Andere fanden zumindest bei einer ersten Sichtung kaum Überschneidungen mit ihrer eigenen Arbeit. Diese ungleiche Wirkung ist wichtig: Ein KI-Ergebnis von großer Tragweite kann in einem Spezialgebiet einen tiefgreifenden Umbruch auslösen und für ein anderes eine Entwicklung bleiben, die es kaum berührt.
OpenAIs Reaktion und was das Unternehmen nicht offengelegt hat
OpenAI arbeitete mit der Advisory Group on Mathematics and Artificial Intelligence, einer neu gegründeten Gruppe von Mathematikerinnen und Mathematikern, zusammen, um den Umgang mit der Veröffentlichung zu klären. Die Gruppe hatte Arbeiten gefordert, die Menschen verstehen können, oder Unterstützung, die Forschenden Zeit und Ressourcen verschafft, um KI-generierte Arbeiten zu verstehen. Sie forderte Labore außerdem auf, Beweise nach Möglichkeit zu formalisieren, die verwendeten Modelle und Prompts offenzulegen und mathematische Forschung nicht als Werbemittel für proprietäre Systeme zu nutzen.
OpenAI erklärte, Workshops und Konferenzen finanzieren zu wollen, um die mathematische Fachgemeinschaft bei der Prüfung der Arbeiten zu unterstützen, machte jedoch keine Angaben zu deren Zeitplan oder Format. Das Unternehmen beschrieb außerdem neue Verfahren für Überarbeitungen und Quellenangaben und erklärte, die Veröffentlichungshistorie öffentlich zugänglich halten zu wollen. Das Korrekturprotokoll ermöglicht es Forschenden, Änderungen unmittelbar nachzuvollziehen, statt stillschweigend davon ausgehen zu müssen, dass eine Arbeit mit der ursprünglich veröffentlichten Version identisch geblieben ist.
Andere Forderungen bleiben unbeantwortet. OpenAI hat das Modell hinter den Ergebnissen nicht benannt, die Prompts nicht offengelegt und die vollständige Liste der Probleme, die es zu lösen versuchte, nicht veröffentlicht. Das Unternehmen hat angekündigt, in zukünftigen Veröffentlichungen weitere Formalisierungen hinzuzufügen und die Darstellung sowie die Literaturverweise zu verbessern. Es hat außerdem erklärt, interne Frontier-Modelle weiterhin in Mathematik und anderen Wissenschaften evaluieren zu wollen und auf eine verantwortungsvolle Veröffentlichung des Modells hinzuarbeiten, das die Ergebnisse hervorgebracht hat.
Damit bleibt ein beträchtlicher Teil der Bewertungsarbeit den Forschenden überlassen, ohne dass ihnen einige Informationen zur Verfügung stehen, die ihnen dabei helfen könnten. Die Kenntnis der Prompts würde Mathematikerinnen und Mathematikern beispielsweise mehr Kontext dazu geben, wie das Modell ein Problem angegangen ist. Die vollständige Liste der versuchten Probleme zu kennen, könnte helfen, die Auswahl der veröffentlichten Ergebnisse nachzuvollziehen.
Die Arbeit nach der Antwort
Bei der Auseinandersetzung geht es nicht einfach darum, ob KI mathematische Ergebnisse erzeugen sollte. Viele der Forschenden, die über die Veröffentlichung diskutieren, nutzen selbst KI-Werkzeuge, und einige begrüßten die Aussicht auf neue Ergebnisse. Ihre Sorge gilt der Art, wie diese Ergebnisse vorgelegt werden: in einem großen Paket, mit unterschiedlichem Stand der Überprüfung und Erläuterung, gefolgt von der Erwartung, dass die mathematische Fachgemeinschaft sie aufarbeitet.
Mathematische Forschung umfasst mehr, als einen Satz zu beweisen. Forschende entwickeln Methoden, verbinden Ideen, schaffen Kontext und identifizieren Fragen, die andere weiterverfolgen können. Wenn ein Ergebnis ohne diese begleitende Arbeit erscheint, verlagert sich die Last auf Menschen, die möglicherweise bereits an denselben Problemen arbeiten, oft ohne nennenswerte Vorwarnung.
Die Fachgemeinschaft wird Zeit brauchen, um die Beweise zu prüfen und zu verstehen, was die Ergebnisse bedeuten. OpenAIs Veröffentlichung könnte Mathematikerinnen und Mathematikern auch neues Material liefern, auf dem sie aufbauen können, einschließlich Ideen und Zusammenhängen, die zuvor nicht offensichtlich waren. Doch ein Ergebnis ist nicht dasselbe wie eine Erklärung, und ein Repository ist nicht dasselbe wie ein Forschungsprogramm. Die Beweise brauchen weiterhin Leserinnen und Leser.