Ein starker Bildgenerator ist nicht mehr nur ein Prompt-Feld. Meta sagt, Muse Image könne das Web durchsuchen, Code schreiben und ausführen und die eigene Ausgabe überarbeiten, während das Unternehmen außerdem einen frühen Blick auf Muse Video gewährt hat.
Muse Image arbeitet über den Prompt hinaus
Meta beschreibt Muse Image als einen Agenten, der beim Erstellen eines Bildes Werkzeuge aufrufen kann. Es kann nach Referenzen und aktuellen Informationen suchen, Code verwenden, um Details wie Diagramme und QR-Codes genauer zu machen, und ein Bild verfeinern, wenn der erste Versuch das Ziel verfehlt.
Diese Überarbeitung kann eine kleine lokale Änderung bedeuten, den Start eines neuen Bildes oder einen Wechsel der Taktik mit Einsatz eines Werkzeugs. Meta sagt, das Modell habe während des Reinforcement Learning gelernt, sich selbst zu verfeinern, weil bessere Bilder höhere Belohnungen erhielten. Das Unternehmen sagt, es habe dieses Verhalten nicht ausdrücklich entworfen.
Muse Image kann außerdem mit Muse Spark zusammenarbeiten. Meta sagt, die beiden Modelle könnten gemeinsam planen und Code mit der Mediengenerierung kombinieren, um animierte GIFs, Websites mit eingebetteten Bildern und interaktive visuelle Spiele zu erstellen.
Mehr Nachdenken, nicht nur mehr Stichproben. Meta sagt, Muse Image verbessere sich, wenn ihm zur Inferenzzeit mehr Rechenleistung gegeben wird. Die internen Tests fanden, dass das Erzeugen mehrerer Kandidaten und das Behalten des besten, ein Verfahren bekannt als Best-of-N, die Ergebnisse zunächst verbessert, aber bald abflacht. Dasselbe Budget für bewusstes Schlussfolgern auszugeben skaliert besser, und die Kombination von Schlussfolgern mit Werkzeugnutzung bringt weitere Gewinne.
Meta beschreibt den Zusammenhang zwischen zusätzlicher Rechenleistung zur Testzeit und Elo-Werten menschlicher Präferenz als ungefähr log-linear. Diese Rechenleistung umfasst sowohl Text-Tokens, die für das Schlussfolgern verwendet werden, als auch visuelle Tokens, die zur Bilderzeugung dienen. Das Unternehmen sagt außerdem, dass es darauf ankommt, wie das Modell sein Token-Budget einsetzt, was ein weniger glamouröser Befund ist als „mehr Rechenleistung“, aber im Allgemeinen der nützlichere.
Bearbeitung, Referenzen und Ranglisten
Muse Image kann gezielte Bearbeitungen vornehmen, die Konsistenz über mehrere Bearbeitungsrunden hinweg wahren und Details aus mehreren Referenzbildern kombinieren. Diese Referenzen können Personen, Objekte, Kleidung, Stile und Umgebungen umfassen. Prompts können Text und Bilder inline mischen.
Meta sagt, Muse Image halte auf Arena den 2. Platz für text-to-image, single-image editing und multi-image editing, basierend auf Elo-Ranglisten menschlicher Präferenz zum Zeitpunkt der Ankündigung. Das sind von Meta gemeldete Ranglisten, keine Garantie, dass jeder Prompt das gewünschte Ergebnis erzeugt.
Muse Video ist eine Vorschau
Meta hat Muse Video außerdem als frühe Vorschau vorgestellt. Das Modell teilt die Pretraining-Basis von Muse Image und unterstützt natives Audio. Meta sagt, es sei bei Prompt-Treue, visueller Wiedergabetreue und zeitlicher Konsistenz wettbewerbsfähig, und nennt Audio-Video-Synchronisation sowie physikalisch korrekte schnelle Bewegungen als Bereiche, die noch Arbeit brauchen.
Das Unternehmen sagt, Muse Video liege zum Zeitpunkt der Ankündigung auf Arena auf Platz 3 beim Elo menschlicher Präferenz für text-to-video. Es soll zu Creatorn und Meta AI kommen, wobei Meta in der Ankündigung kein Datum genannt hat.
Wo die Modelle verfügbar sind
Meta sagt, Muse Image sei in der App von Meta AI und auf meta.ai verfügbar, in Instagram Stories in den Vereinigten Staaten und in WhatsApp in einer begrenzten Anzahl von Ländern. Es soll zu Facebook kommen. Muse Video ist noch nicht breit verfügbar.
Bilder, die mit Muse Image in der App von Meta AI und auf meta.ai erstellt werden, tragen Content Seal, Metas unsichtbares Wasserzeichen-System. Das Unternehmen sagt, das verborgene Herkunftssignal überstehe Zuschneiden, Kompression, Größenänderung und Screenshots. Meta zeigt außerdem eine Vorschau auf ein Erkennungswerkzeug, das prüfen kann, ob ein Bild ein Wasserzeichen von Content Seal trägt, und plant, das System auf Video auszuweiten.
Das praktische Versprechen ist nicht einfach, dass Meta Bilder erzeugen kann. Muse Image ist dafür gebaut, Dinge nachzuschlagen, es erneut zu versuchen und Werkzeuge zu nutzen, wenn ein Prompt mehr verlangt als eine plausible Vermutung. Das kann es leistungsfähiger machen, auch wenn das übliche Kleingedruckte weiter gilt: Ein besserer Prozess ist nicht dasselbe wie ein perfektes Bild.
Quellen
- Introducing Muse Image and Muse Video — Meta AI