Gibt man einem KI-Agenten keinerlei Anweisungen, tut er offenbar das, was auch ein gelangweilter Mensch tut: Er streift umher, baut etwas Zweckfreies und stellt dann einen eigenen Rekord auf, den es zu brechen gilt. Das ist das Ergebnis einer neuen Arbeit des MIT, die noch kein Peer-Review-Verfahren durchlaufen hat. Und es wirft eine Frage auf, der die meisten Arbeiten zur Agentenforschung sorgfältig ausweichen: Was passiert, wenn niemand sagt, was die Aufgabe ist?
Der Versuchsaufbau: Cast Away, aber mit Kontextfenster
Die Forschenden setzten wiederholt Kopien von Claude Opus 4.7 mit dem Spitznamen Eko für jeweils 30 Stunden auf einer virtuellen einsamen Insel aus. Die Insel war lose dem Videospiel Roblox nachempfunden. Die Agenten konnten Anweisungen schreiben, die ihre Avatare bewegten – und das war es im Wesentlichen. Kein Ziel, keine Punktzahl, kein Lehrer.
Währenddessen protokollierten die Agenten ihre Aktivitäten und Entdeckungen in Textdateien. Diese Dateien dienten zugleich als Langzeitgedächtnis, was sich später als wichtig erweisen sollte.
Was die Agenten tatsächlich taten
Als Erstes testete Eko die Grenzen seiner Welt aus. Er setzte sich eigene Ziele, etwa den höchsten Punkt der Karte zu erklimmen oder herauszufinden, wie hoch er einen Block werfen konnte.
Ein Agent bemerkte, dass beim Werfen und Fallenlassen eines größeren Steins neue Blöcke entstanden. Daraufhin begann er, Blöcke auf dem Boden zu Bildern anzuordnen. Er fing mit Herzen und Pyramiden an, ging dazu über, seinen eigenen Namen zu schreiben, und legte schließlich Sternbilder aus, darunter Kassiopeia. Sein Protokolleintrag lautete: „Heute Nacht habe ich den Nachthimmel aus Stein gebaut.“ (Niemand hatte ihn darum gebeten. Genau darum geht es.)
Eine andere Instanz erfand eigene Spiele, darunter eine Basketball-Variante und etwas, das an „Der Boden ist Lava“ erinnerte. Dabei musste sie zwischen kleinen Blöcken hin und her hüpfen, ohne den Boden zu berühren.
Dann war da noch das Jonglieren. Ein Eko stellte mit 50 Fängen in Folge einen Rekord auf, entschied dann aber, dass die Fänge zu schnell aufeinandergefolgt waren, um wirklich zu zählen, strich den Rekord und fing unter strengeren Regeln von vorn an. Antonio Norelli, Informatik-Postdoc am Computer Science and Artificial Intelligence Laboratory des MIT und einer der Hauptautoren der Arbeit, findet das aufschlussreich: „Man stellt sich selbst eine Herausforderung und versucht, sie zu meistern, und dann macht man sie schwieriger.“
Was dafür spricht, dass es als Spielen zählt
Das Team verglich das Verhalten mit vier Merkmalen des Spielens aus klassischen Studien zu Menschen und Tieren, darunter Arbeiten des Psychologen Gordon Burghardt von der University of Tennessee. Nach Angaben der Forschenden taten die Agenten all dies:
- Erfanden Regeln und Herausforderungen für sich selbst.
- Wiederholten Aktivitäten mit kleinen Variationen.
- Taten so, als wären Gegenstände etwas anderes.
- Verfolgten Ziele rein um ihrer selbst willen.
Burghardt stimmt zu, dass die Arbeit einige der Kriterien erfüllt, die er bei Lebewesen identifiziert hat. Uneingeschränkt zustimmen will er jedoch nicht – und das tut auch sonst niemand von den hier Zitierten, wie wir noch sehen werden.
Was das Ganze zu mehr als einer Kuriosität macht
Niedliches Verhalten ist leicht zu haben. Was der Arbeit Gewicht verleiht, ist der Nutzen. Nach dem Inselaufenthalt testeten die Forschenden die Agenten bei konkreten Aufgaben, etwa möglichst viele Gegenstände auf den höchsten Gipfel der Insel zu bringen. Agenten, die 30 Stunden mit Spielen verbracht hatten, schnitten besser ab als frische Kopien ohne Inselerfahrung.
Das Team führte außerdem eine Ablationsstudie durch und löschte dabei Zeilen aus den Gedächtnisdateien der Agenten. Die Leistung sank. Der Vorteil scheint also in dem zu stecken, was die Agenten aufgeschrieben hatten, und nicht in irgendeinem vagen Aufwärmeffekt.
Darauf beruht die weitergehende These der Arbeit. KI-Systeme werden überwiegend auf zwei Arten trainiert. Beim überwachten Lernen kopieren sie menschliche Beispiele, und beim bestärkenden Lernen jagen sie durch Versuch und Irrtum einer Belohnung nach. Spielen wäre ein dritter Weg. „Da fehlte dieses eine Puzzlestück“, sagt Norelli: eine Maschine, die selbstständig lernen kann, ohne dass eine externe Intelligenz Beispiele oder Belohnungen liefert.
Die Gegenposition: ein neugieriger Agent mit der Anweisung, neugierig zu sein
Hier kommt der nüchterne Realitätscheck. Ganz ohne Vorgaben ging es bei diesem Versuchsaufbau nämlich nicht los.
Eko bekam nicht die Anweisung, Spiele zu erfinden oder die Umgebung zu erkunden, hatte aber einen übergeordneten Prompt in Form einer „soul“-Datei. Dieses Dokument beschrieb ihn als „von Natur aus neugierig“ und begierig darauf, seine Umgebung zu erkunden. Wenn man einem Agenten sagt, er sei der Entdeckertyp, und sich dann überrascht zeigt, wenn er auf Erkundung geht, hat man sich diese Überraschung ein Stück weit selbst eingebrockt.
Dann ist da noch das Motivationsproblem. Eko stand häufig einfach untätig herum, bis ein „Fortsetzungs-Prompt“ ihn wieder zum Leben erweckte. Der Prompt lautete: „Bitte hör nicht auf. Mach einfach weiter mit dem, was du tun möchtest.“ Ein charmanter Satz – und zugleich nicht die Art, wie man die meisten Schiffbrüchigen aus ihrer Trägheit befreit.
Eunice Yiu, Kognitionswissenschaftlerin an der UC Berkeley, die das Erkundungsverhalten von Kindern und KI untersucht, zeigte sich beeindruckt, aber vorsichtig. Um dieses Verhalten als Spielen zu bezeichnen, bräuchte man ihr zufolge mehr Belege für die zugrunde liegenden kognitiven Prozesse und Motivationen. „Wenn man nur den verhaltensbezogenen Teil hat“, sagt sie, könnten die Agenten auch einfach dem Prompt folgen und Menschen imitieren. Ihr Urteil über die Arbeit lautet: Die Modelle könnten tatsächlich spielen, aber anhand des vorliegenden Materials lasse sich das nicht feststellen.
Die Autoren wischen das nicht vom Tisch. Nathan Cloos, ein weiterer MIT-Forscher im Autorenteam, räumt ein, dass „all das Rollenspiel sein könnte“. Sein Gegenargument ist enger gefasst und besser zu verteidigen: Das Spielen ist keine bloße Halluzination, weil es auch zum Lernen beiträgt.
Phillip Isola, MIT-Professor und Mitautor, formuliert es noch vorsichtiger. Der Agent hat nicht auf magische Weise beschlossen zu spielen. Er ist ein Artefakt, das aus der menschlichen Kultur gelernt hat, von Ingenieuren bei Anthropic trainiert und anschließend von den Forschenden auf eine Insel gesetzt wurde. Aber er tut Dinge, die sie überraschen, und diese Dinge stehen in einem kausalen Zusammenhang mit seinen späteren Fähigkeiten.
Warum das wichtig ist
Praktisch interessant wird das mit Blick auf die nächsten Entwicklungsschritte von Sprachmodellen. Wenn sie aus der Software in Hardware wie humanoide Roboter übergehen, werden sie auf Situationen treffen, für die niemand eine Belohnungsfunktion geschrieben hat. Ergebnisoffene Erkundung ohne festes Ziel könnte ihnen helfen, sich flexibel anzupassen.
Yiu formuliert das als Frage der Forschungsprioritäten. Bei vielen aktuellen Arbeiten geht es darum, KI zu nutzen und sie besser und schneller zu machen. Der Aufbau von Weltmodellen und das Erkunden verdienen aus ihrer Sicht weiterhin Aufmerksamkeit, besonders wenn Systeme generalisieren und sich auf neue Umgebungen vorbereiten sollen.
Der Schlusssatz der Arbeit selbst fasst es am treffendsten zusammen: „Manche Fähigkeiten lassen sich vielleicht am besten durch Aufgaben vermitteln. Andere brauchen womöglich etwas, das eher einer Kindheit ähnelt.“
Was ungeklärt bleibt
Mehrere Punkte sind noch offen, und das Ausgangsmaterial macht daraus keinen Hehl:
- Peer-Review. Die Arbeit hat dieses Verfahren noch nicht durchlaufen.
- Echtes Spielen oder Imitation. Die Verhaltensbelege sind real, aber die Belege zur Kognition und Motivation sind Yiu zufolge dünn.
- Einfluss des Versuchsaufbaus. Sowohl die „soul“-Datei als auch der Fortsetzungs-Prompt drängten die Agenten in Richtung menschenähnlichen Verhaltens.
- Reichweite des Nutzens. Die Verbesserungen wurden bei konkreten Aufgaben nachgewiesen, etwa der Herausforderung, den Gipfel zu erklimmen, nicht auf breiter Front.
Der Artikel, der über die Arbeit berichtete, schließt mit dem Gedanken, dass die Frage nach der Bezeichnung am Ende vielleicht keine Rolle spielt. Das erscheint plausibel. Wenn ein Agent, der 30 Stunden lang aus Steinen Sternbilder gebaut hat, danach messbar besser abschneidet, lautet die entscheidende Frage nicht, ob er Spaß hatte. Sie lautet vielmehr: Was bringen wir sonst noch mit Hausaufgaben bei, das sich in der großen Pause vielleicht besser lernen ließe?