YU Jiahui hat seine Arbeit eingereicht, und Meta MSL nacheinander Bild- und Videomodelle veröffentlicht.

Neuzugang in Mark Zuckerbergs Milliarden-Klub!

Nach der Veröffentlichung von Muse Spark im April dieses Jahres feiert MSL die zweite Modellaktualisierung seit seiner Gründung:

Das Bildmodell Muse Image, das von dem Team unter der Leitung von Yu Jiahui entwickelt wurde, ist offiziell veröffentlicht, und das Videomodell Muse Video wird gleichzeitig als Vorschau zugänglich gemacht.

In der Rangliste belegt Muse Image den zweiten Platz in drei Kategorien des Arena-Benchmarks: Text-to-Image, Einzelbildbearbeitung und Mehrbildbearbeitung, übertrifft Googles Nano Banana und liegt direkt hinter OpenAI GPT Image 2.

Muse Video erreicht den dritten Platz in der Rangliste für Text-to-Video, liegt hinter Googles Gemini Omni Flash und Bytedances Seedance 2.0 und gehört damit zur Spitzengruppe.

Für Metas generative KI, die eine Weile in der Versenkung verschwunden war, ist dies ein sehr aufsehenerregendes Comeback.

Bilder zeichnen wie ein Agent

Muse Image verfolgt einen anderen Ansatz als herkömmliche Text-to-Image-Tools auf dem Markt.

Nachdem es Ihre Anforderung erhalten hat, eilt es nicht sofort zur Bilderstellung, sondern zerlegt und strukturiert zunächst den vollständigen kreativen Prozess.

Bei Inhalten, die das Modell allein durch Vorstellungskraft nicht genau darstellen kann, greift es aktiv auf zugehörige Tools zurück. Wenn Sie es beispielsweise bitten, „das heutige Bild des Times Square in New York“ zu zeichnen, sucht es tatsächlich online nach den neuesten Materialien.

Bei Bildern wie Diagrammen oder Formeln, die genaue numerische Darstellungen erfordern, kann es selbstständig Code schreiben und Berechnungen durchführen.

Sogar die generierten QR-Codes sind tatsächlich funktionsfähig.

Nachdem das gesamte Bild fertig ist, überprüft es alle Details des Bildes noch einmal vollständig. Wenn es Unstimmigkeiten oder Mängel feststellt, iteriert und korrigiert es, bis die Logik und die Details des Bildes stimmen, bevor das fertige Ergebnis ausgegeben wird.

Meta nennt diesen Prozess Agentic Image Generation.

Das bedeutet, dass es nicht nur ein Bildgenerierungstool ist – Muse Image ist selbst ein Agent.

Das Meta-Team hat in Tests ein weiteres Muster festgestellt:

Je mehr Zeit das Modell für die schlussfolgernde Denkarbeit erhält, desto besser ist die Qualität des endgültigen Bildes. Die Bildqualität steigt kontinuierlich entlang einer fast log-linearen Kurve an.

Das vor einigen Monaten eingeführte große Sprachmodell Muse Spark kann auch tief mit Muse Image zusammenarbeiten und die gesamte Toolkette gemeinsam nutzen, um komplexe kreative Aufgaben zu erledigen.

Beispielsweise können die beiden Modelle bei der Erstellung kleiner interaktiver Spiele zusammenarbeiten: eines schreibt den Code für die Webseiteninteraktion, das andere generiert die passenden visuellen Materialien. Am Ende wird eine vollständige Webseite mit dynamischen GIFs und eingebetteten Bildern ausgegeben – die Kreativität geht über die einfache Erstellung eines statischen Bildes hinaus.

Im täglichen Gebrauch unterstützt Muse Image die Synthese mehrerer Referenzbilder.

Sie können ein Foto von sich selbst, ein Lieblingslandschaftsfoto und ein Referenzbild für ein Outfit hochladen, damit das Modell Sie in die Landschaft einfügt und Sie genau dieses Outfit tragen lässt.

Das Erstaunlichste ist: Die Prompts können Text und Bilder mischen, zum Beispiel:

Zeichne ein Bild, auf dem „diese Person.jpg“ das Outfit von „diesem Kleid.jpg“ trägt und an dem Ort von „diesem Ort.jpg“ sitzt.

Die Bearbeitungsfunktion ist ebenfalls verfügbar – mehrfache Überarbeitungen führen nicht zu immer unnatürlicheren Ergebnissen.

Eine der stärksten Funktionen ist die Möglichkeit, Ihre Instagram-Freunde zu @erwähnen.

Sie können einen Freund mit einem öffentlichen Instagram-Konto in Ihrem Prompt @erwähnen – Muse Image ruft die öffentlich geteilten Fotos dieser Person ab.

Oder Sie @erwähnen einen Händler für Kleinstprodukte, um schnell Marketingbilder im gleichen Stil zu erstellen.

Zusätzlich sind spezielle personalisierte Kreativvorlagen integriert, die ohne Umleitungen direkt auf Instagram mit einem Klick aufgerufen werden können und sich für alltägliche soziale Begleitbilder eignen.

Meta nennt dies Native Social Context – das soziale Diagramm ist direkt in das Bildmodell integriert.

Natürlich lassen sich Datenschutzfragen nicht umgehen. Metas Lösung: Jeder Instagram-Nutzer kann in den Einstellungen die Opt-Out-Funktion aktivieren, um zu verhindern, dass seine öffentlichen Fotos für KI-Umarbeitungen verwendet werden.

Zudem tragen alle KI-generierten Bilder ein unsichtbares Content-Seal-Wasserzeichen, das sich auch durch Zuschneiden, Komprimieren oder Screenshotten nicht entfernen lässt.

Zu Muse Video gibt es noch nicht viele offizielle Informationen.

Es wird auf der gleichen Basis wie Muse Image trainiert und zeichnet sich durch hohe visuelle Treue, native Audiounterstützung sowie wettbewerbsfähige Prompt-Verständnis und zeitliche Konsistenz aus.

Verbesserungsbedarf besteht noch bei der Synchronisation von Bild und Ton sowie der physikalischen Genauigkeit bei Szenen mit schnellen Bewegungen – die Veröffentlichung ist für die kommenden Monate geplant.

Teamvorstellung

Im visuellen Team von MSL arbeiten auch viele chinesische Fachkräfte.

Zum Beispiel Zhao Shengjia, Chefwissenschaftler von MSL und Gesamtverantwortlicher für die Grundlagentechnologie der gesamten Muse-Serie: Er machte seinen Bachelor an der Tsinghua-Universität und promovierte an der Stanford University.

Nach seinem Abschluss im Jahr 2022 trat er direkt OpenAI bei und war am gesamten Pre-Training-Prozess vom ersten ChatGPT bis zu o3 beteiligt.

Im Juni 2025 wechselte er zu Meta. Im Juli kündigte Mark Zuckerberg offiziell seine Ernennung zum Chefwissenschaftler von MSL an – heute leitet er die technische Richtung der gesamten Grundlagentechnologie der Muse-Serie.

Der Multimodal-Verantwortliche von Meta MSL, Yu Jiahui, stammt aus dem Jugendprogramm der Universität für Wissenschaft und Technik Chinas und promovierte an der UIUC.

Bei Google war er bereits gemeinsamer Leiter des multimodalen visuellen Teams von Gemini. Nach seinem Wechsel zu OpenAI im Oktober 2023 übernahm er die Position des Leiters des Wahrnehmungsteams (Perception team lead) und war an Projekten von GPT-4o bis o4-mini sowie an den Forschungsergebnissen zum „Denken auf Bildbasis“ beteiligt.

Im Juni 2025 wechselte er gemeinsam mit Zhao Shengjia zu Meta. Die hier vorgestellten Produkte Muse Image und Muse Video wurden von dem von ihm geleiteten Team entwickelt.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „QbitAI“, Autor: Wen Le. 36Kr veröffentlicht ihn mit Genehmigung.