Einer von Googles Demo-Prompts für Genie 4 setzt dich auf einen schwarzen Drachen, der mit 140 km/h unterwegs ist, Flügelschläge inklusive. Dieselbe Ankündigung räumt ein, dass Objekte in einer solchen Welt abdriften und sich verändern können, wenn man lange genug darin bleibt. Dieses Spannungsverhältnis zieht sich durch die gesamte Vorstellung. Google DeepMind hat Genie 4 am Dienstag als Forschungsvorschau für vertrauenswürdige Tester veröffentlicht. Es ist die bislang fotorealistischste und interaktivste Version des unternehmenseigenen Weltmodells, mit Ton, Sprache und Änderungen, die noch während der laufenden Simulation umgesetzt werden.
Was Genie 4 verändert
Genie 3 erschien vor etwas mehr als einem Jahr als Forschungsvorschau und bildet die Grundlage von Project Genie, Googles Tool zum Generieren interaktiver Welten aus Text- oder Bildprompts. Genie 4 ist der Nachfolger, für den Google vier wesentliche Neuerungen beschreibt.
- Realistischere Welten. Besserer Fotorealismus, flüssigere Bewegungen, überzeugendere Physik und realistischer aussehende Menschen.
- Änderungen im laufenden Betrieb. Du gibst einen Prompt in natürlicher Sprache ein, und die Szene verändert sich in Echtzeit. Wetter, Kameraposition, eine neue Person oder ein neues Objekt: All das lässt sich anpassen.
- Natives Audio. Musik, Umgebungsgeräusche und gesprochene Dialoge werden zusammen mit der Welt generiert, statt nachträglich hinzugefügt zu werden.
- Gemini im Regelkreis. Gemini 3.8 Flash hilft bei der Steuerung der Simulation. Darum geht es weiter unten in einem eigenen Abschnitt.
Auch die Sitzungsdauer verdoppelt sich. Genie 4 kann eine konsistente Szene bis zu etwa zwei Minuten lang aufrechterhalten, gegenüber ungefähr einer Minute bei Genie 3. Zwei Minuten ergeben noch keinen Spielfilm, sind aber doppelt so viel, wie das Vorgängermodell schaffte. In diesem Bereich zählt das als Fortschritt.
Nutzer bewegen sich mit den üblichen Tastaturbefehlen zur Navigation und Kamerasteuerung durch eine Welt und lenken ihre Entwicklung mit Textprompts. Laut Googles eigenen Unterlagen passt Gemini jeden Prompt an die umgebende Szene an. Was du eingibst, ist also ein Vorschlag, der so überarbeitet wird, dass er zu der Welt passt, in der du gerade stehst.
Gemini als Regisseur
Die interessanteste Veränderung ist nicht visueller Natur. Genie 4 baut auf der Modellfamilie Gemini auf, und Google verteilt die Arbeit auf mehrere Modelle.
Gemini Omni verankert die Simulation im Erscheinungsbild und Verhalten der realen Welt. Andere Gemini-Modelle übernehmen die logischen Schlussfolgerungen, die eine Simulation kohärent und kontinuierlich halten. Und Gemini 3.8 Flash sitzt als das, was Google einen steuernden Agenten nennt, direkt in der Echtzeitschleife. Während Genie die Welt generiert, beobachtet Gemini die Szene, zerlegt ein Ziel in Schritte, prüft anhand der eingehenden Frames, ob jeder Schritt tatsächlich funktioniert hat, und überarbeitet seinen Plan, wenn sich die Welt verändert oder der Nutzer dazwischenfunkt. Zwischen deinen Eingaben lenkt es die Szene außerdem so, dass sich das Geschehen sinnvoll weiterentwickelt.
Google zufolge entstehen dadurch Welten mit verlässlicherer Kausalität, prozeduralem Verhalten und mehrstufigem Schlussfolgern. Der Beitrag nennt Gemini Omni, Gemini 3.8 Flash und später Gemini 4 Argon. Die Bezeichnung „Genie 4“ umfasst inzwischen also eine ganze Reihe von Geminis.
Tejas Kulkarni, Forschungsleiter bei Google, erklärte Reportern bei einem Pressebriefing, wohin sich das seiner Ansicht nach entwickelt: „Was wir in Zukunft immer häufiger sehen werden, sind solche hybriden Weltmodelle: eine Kombination aus Gemini, das Code und Text schreibt, und Genie, das diese in Echtzeit verarbeitet und die Realität auf unterschiedlichen Abstraktionsebenen simuliert.“
Google steckt seine Ziele hoch. Die Ankündigung bezeichnet das Verstehen und Simulieren der Welt als einen zentralen Bestandteil der Entwicklung von AGI und präsentiert Genie 4 als Quelle sicherer, unendlich variierbarer Simulationen für das Training von Robotern und Agenten sowie für neue interaktive Erlebnisse.
Klang, Sprache und Menschen
DeepMind bezeichnet Genie 4 als sein erstes Echtzeit-Weltmodell, das Audio nativ generiert. Jede Welt bringt die Geräuschkulisse ihrer jeweiligen Umgebung mit, vom Wind in den Bäumen bis zu Wellen am Strand. Sämtliche Geräusche in Googles Demo-Clips wurden direkt vom Modell erzeugt.
Bei Sprache sieht Google das eigentliche Neuland. Figuren können sich unterhalten und auf deine Eingaben oder auf Ereignisse in der Welt reagieren. Ihre Dialoge passen sich dabei laufend an.
Einen weiteren großen Fortschritt beansprucht Google bei der Darstellung von Menschen. Laut dem Unternehmen bewegen sich Figuren jetzt natürlich, reagieren auf ihre Umgebung und lassen sich in Echtzeit steuern. Auf der Physikseite simuliert Genie 4 demnach Vorgänge wie Aerodynamik und Kollisionen, gestützt auf das, was Google als fortgeschrittenes physikalisches Verständnis der Welt bezeichnet.
All das stammt aus Googles eigenen Demos. Mindestens ein Journalist, der über die Vorstellung berichtete, erklärte, das Modell nicht selbst ausprobiert haben zu können. Vergleiche mit Genie 3 beruhen daher vorerst auf Googles eigenen Clips.
Was die Demo-Prompts verraten
Google hat die Prompts hinter vielen seiner Clips veröffentlicht. Sie geben mehr Aufschluss über das Modell als die Adjektive. Manche sind kurz. Ein Kronenkranich läuft unter einem Himmel in der Abenddämmerung durch den Schnee. Eine Makroaufnahme eines Ahornsamens, der ins Gras fällt. Eine ganze grün gestreifte Wassermelone auf einem Steinsockel, mit schwebenden Tropfen im Gegenlicht und in Zeitlupe.
Andere lesen sich wie das Briefing von jemandem, der mit einer Produktionsfirma schon schlechte Erfahrungen gemacht hat. Der Prompt für einen japanischen Bahnhof in den 1980er-Jahren besteht auf dichtem Gedränge und einem roten Zug auf dem nächstgelegenen Gleis. Anschließend schließt er leere Bahnsteige, einen weit entfernten Zug, wenige Menschen und eine symmetrische Bildkomposition ausdrücklich aus. Der Prompt für das Drachenrennen verlangt eine strikt eingehaltene Ich-Perspektive und zählt dann ausführlich alle unerwünschten Kamerawinkel auf. Ein Saxofonspieler auf einer schwimmenden Plattform in einem nebligen See kommt mit der Anweisung, auf absolut jedes HDR zu verzichten.
Die Bandbreite ist groß. Weitere Beispiele sind:
- ein Strom aus kaugummirosafarbenem Satin, der sich durch eine Wildblumenwiese schlängelt
- eine Fahrt mit einem Heißluftballon über der Antarktis aus der Ich-Perspektive
- eine vollständig aus Buntglas bestehende Landschaft, in der selbst Gras und Himmel aus Glas bleiben müssen
- eine Romanze auf einem Motorrad im Hongkong des Jahres 1995 bei Tagesanbruch, gedreht auf 35mm
- der Blick aus der Ich-Perspektive auf den Zauberstab eines Magiers in einem Raum voller Porzellantiere
- ein Zauberkünstler neben einem Tisch, mit einem echten Pfau in einer offenen Kiste
Diese Beispiele sollen zeigen, dass das Modell lange, konkrete und stilistisch penible Anweisungen befolgt und dass man das Ergebnis anschließend mit weiterem Text bearbeiten kann.
Roboter in einer Welt testen, die nicht existiert
Die Robotik-Demos zeigen die ungewöhnlichste Idee dieser Veröffentlichung. In einem Clip hält ein Universal Robots UR5 eine Pipette und gibt unter winzigen elektrischen Funken Flüssigkeit in eine Laborplatte ab. Ein aufwendigeres Beispiel verbindet Genie 4 mit Gemini 4 Argon, und zwar in einem Forschungsexperiment im Zusammenhang mit Gemini Robotics.
Die Funktionsweise lässt sich einfach beschreiben. Argon nimmt eine Aufgabe vom Nutzer entgegen und zerlegt sie in Schritte. Diese Schritte werden als Textbeschreibungen an Genie 4 übergeben, während die Simulation gerendert wird. Da sich Genie 4 in Echtzeit per Text steuern lässt, kann sich die Simulation auf dem Weg zum Abschluss der Aufgabe laufend anpassen. Im gezeigten Beispiel spielt der humanoide Roboter Apollo von Apptronik eine Partie Dame, wobei die Aufgabe in Echtzeit in einzelne Schritte aufgeteilt wird.
Google argumentiert, dass sich auf diese Weise testen lässt, wie KI-Systeme mit unterschiedlichen Umgebungen umgehen, bevor sie auf die reale Welt treffen. Das wird als Entwicklungsweg und nicht als fertiges Ergebnis präsentiert. Benchmark-Zahlen enthält das von Google veröffentlichte Material dazu nicht.
Was die vertrauenswürdigen Tester machen
Google arbeitet mit Gruppen vertrauenswürdiger Tester aus Kreativwirtschaft, Journalismus, Bildung, Gaming und Ingenieurwesen zusammen. Das Unternehmen berichtet über vier Arten der Nutzung.
- Kreative Regie. Filmschaffende und Technologieexperten nutzen Genie 4 als „Entwurfsmodus“ für die Vorvisualisierung. Sie betreten eine laufende Simulation einer Szene und spielen mehrere Takes durch, wobei sie Kamerawinkel, Beleuchtung, Dialoge und Handlung spontan verändern.
- Historische Szenarien und immersive Fotografien. Fotojournalisten verwandeln ein einzelnes zweidimensionales Archivfoto innerhalb von Sekunden in eine Simulation des abgebildeten Ortes. Teams testen außerdem bevölkerte, dynamische Welten, um historische Räume zu erkunden oder kurzfristige Ereignisse wie eine Sturzflut oder einen Waldbrand zu visualisieren.
- Konzeptentwicklung für interaktive Erlebnisse. Spieleentwickler gelangen innerhalb von Sekunden von einer Idee zu einem erkundbaren Prototyp. Sie erproben über Prompts visuelle Stile, Materialien und Mechaniken, bevor sie auch nur eine Zeile Code für die Engine schreiben.
- Simulation. Unternehmenspartner prüfen Genie 4 auf die schnelle Generierung von Szenarien „von null auf eins“ und teilen Google mit, wo es an Grenzen stößt.
Der Einsatz für die Filmproduktion sorgte beim Pressebriefing für Aufmerksamkeit. Diego Rivas, Ingenieur bei Google DeepMind, sagte: „Der Echtzeitaspekt ist dort am wertvollsten, wo es enorm hilfreich ist, den kreativen Arbeitsfluss aufrechtzuerhalten.“ Er verwies auf Ideenfindung und Storyboarding oder auf jede Situation, in der schnell Ideen entwickelt werden müssen.
Google bietet mit Veo bereits ein kommerzielles Modell zur Videogenerierung an, das aus Text-, Bild- oder Videoprompts hochauflösende Clips mit synchronisiertem Audio erzeugt und bei Filmschaffenden zunehmend Fuß fasst. Rivas deutete an, dass Nutzer eines Tages Gemini Omni, ein multimodales Modell zur Videogenerierung aus Bildern, Audio und Text, verwenden könnten, um aus Genie-Prototypen fertige kreative Inhalte zu machen. Bis diese Funktion verfügbar sei, werde es allerdings noch eine Weile dauern.
In einem früheren spekulativen Beispiel für interaktives Lernen könnte ein Schüler ein Gemälde einer historischen Szene betreten und sich mit den darin dargestellten Menschen unterhalten.
Wo es noch Probleme gibt
Der Abschnitt zu den Einschränkungen ist unverblümt und erfrischend konkret. Genie 4 kann eine Umgebung über kurze Sitzungen hinweg kohärent halten, doch bei visuellen Details und der Objektpermanenz kann es zu Verschiebungen oder schleichenden Veränderungen kommen. Das verschärft sich, je länger eine Simulation läuft, nach mehreren komplexen Änderungen per Prompt oder wenn man sich durch die Szene bewegt.
Google nennt weitere Bereiche, an denen noch geforscht wird:
- komplexe physikalische Interaktionen
- Genauigkeit der Audiogenerierung in Echtzeit
- Darstellung lesbaren Textes
- räumliche Genauigkeit
- langfristige Konsistenz
Beim Pressebriefing ergänzte das Team, dass es noch nicht herausgefunden habe, wie sich korrektes Audio oder lesbarer Text innerhalb der Welt garantieren lassen. Rivas betonte, dass die Entwicklung noch ganz am Anfang stehe und das durchgängige Produkterlebnis noch nicht klar umrissen sei.
Die Wassermelone auf dem Sockel ist also für zwei Minuten sicher aufgehoben. Für alles darüber hinaus geben selbst die Entwickler des Modells keine Garantie.
Schutzmaßnahmen und Wasserzeichen
Laut Google verfügt Genie 4 über strenge Sicherheitsvorkehrungen, die den Richtlinien für seine anderen Modelle entsprechen. Vor dem Start der Vorschau habe das Unternehmen interne Sicherheitsprüfungen durchgeführt, die schädliche oder böswillige Inhalte verhindern sollen. Auch die Beschränkung der ersten Veröffentlichung auf vertrauenswürdige Tester gehört zu diesem Ansatz, da so vor einer breiteren Einführung Rückmeldungen gesammelt werden.
Alle von Genie 4 generierten Video- und Audioinhalte werden SynthID enthalten, Googles nicht wahrnehmbares digitales Wasserzeichen zur Erkennung KI-generierter Inhalte in visueller Form und als Audio. Bei einem Modell, das neben fotorealistischen Menschen auch überzeugende Dialoge erzeugt, ist eine solche Kennzeichnung sinnvoll.
Zugang und die Konkurrenz
Genie 4 ist ab sofort als Forschungsvorschau für vertrauenswürdige Tester verfügbar. Laut Google kommt es bald für Abonnenten von Google AI Ultra in Project Genie sowie für Partner mit Vorabzugang zur Gemini API und zu Google AI Studio. Berichten zur Vorstellung zufolge soll die Einführung in den kommenden Wochen erfolgen. Eine Warteliste für Genie 4 in Project Genie ist geöffnet.
Die Veröffentlichung fällt in einen dynamischen Markt, der sich zunehmend konsolidiert. Das KI-Video-Startup Runway hat vor rund zwei Monaten sein zweites Weltmodell, GWM Worlds 2, veröffentlicht. Es ist ein spielbares Modell, das auf Nutzereingaben reagiert und Audio generiert. Währenddessen wird World Labs von Fei-Fei Li von AMD übernommen, Amazon führt Berichten zufolge Gespräche über den Kauf von Decart, und Rivian hat Third Dimension übernommen, um Simulationen für Tests zum autonomen Fahren ins eigene Unternehmen zu holen. Mit Genie 4 will Google in diesem Feld vorn bleiben.
Wohin die Entwicklung führt
Googles erklärte Richtung sind hybride Weltmodelle. Die Idee besteht darin, das strukturierte Schlussfolgern von Code- und Sprachmodellen mit der detailreichen sensorischen Simulation auf Pixelebene eines Modells wie Genie zu verbinden. Gemini bildet im Hintergrund die Struktur ab und plant den zeitlichen Verlauf der Handlung. Genie rendert Pixel für Pixel, wie die Welt aussieht, klingt und reagiert. Google argumentiert, dass diese Kombination kohärenter, besser steuerbar und stärker in der Realität verankert sein sollte als jeder der beiden Ansätze für sich allein.
Ob das so ist, wird von den Bereichen abhängen, die in der Ankündigung offen als noch unfertig benannt werden. Ein Modell, das einen Tagesanbruch im Hongkong von 1995 auf 35mm-Film inszenieren kann, kann noch immer nicht garantieren, dass ein Schild im Hintergrund lesbar ist.