Das Loop World Model (LoopWM) ist höchstwahrscheinlich die Architektur des nächsten Generals-Weltmodells.

In den letzten 12 Monaten ist das World Model zu einem der am stärksten bevölkerten Segmente im Bereich Künstliche Intelligenz geworden.

Von der Videoerzeugung bis hin zu Robotern, von der Embodied AI bis zur Spatial AI: Fast alle reden über dasselbe Ziel: Die KI soll nicht nur die Welt verstehen, sondern auch in der Lage sein, sie vorherzusagen, zu simulieren und schließlich in ihr zu handeln.

Aber was ein World Model heute tatsächlich ist, ist noch weit davon entfernt, ein Konsens zu sein. Es gibt keine Konvergenz in Bezug auf die Architektur, die Daten oder die Bewertungssysteme. Selbst die Frage, wie ein World Model aussehen sollte, ist noch umstritten.

In dieser Phase des intellektuellen Wettstreits haben die meisten Teams beschlossen, den visuellen Ansatz weiter zu verfolgen: Sie versuchen, mehr, längere und realistischere Videos zu generieren, die die physische Welt abbilden. Der Gründer von FaceMind, Adam Lu, möchte jedoch einen anderen Weg einschlagen.

Statt sich auf die frameweise Generierung der Welt zu konzentrieren, belassen sie die Inferenz im Latent Space. Statt ein stärkeres Videomodell zu entwickeln, versuchen sie, die langfristigen Probleme von World Modellen wie die Akkumulation von Fehlern über lange Zeiträume, die Rechenleistung und die Inferenzstabilität zu lösen.

Dies ist der Hintergrund für die Entstehung von LoopWM.

Diese Arbeit stellt eine zyklische World Model - Architektur (Loop World Model) vor. Anstatt ständig Parameter und Rechenleistung zu erhöhen, versucht es, den Modellzustand im Latent Space kontinuierlich zu verbessern, indem es ihn wie bei einem Denkprozess wiederholt iteriert. Durch Mechanismen wie Early Exit und Deferred Decoding verteilt es die begrenzte Rechenleistung auf die wirklich wichtigen Inferenzschritte.

In gewisser Weise geht es bei LoopWM nicht nur um ein konkretes Modell, sondern um eine größere Frage: Wenn World Modelle schließlich in Robotern, industriellen Systemen und sogar in der realen physischen Welt eingesetzt werden, wird die zukünftige Skalierbarkeitsregel weiterhin auf dem Weg von "Großmodell + Hohe Rechenleistung" verlaufen, oder wird es neue Rechenparadigmen geben?

Adam Lu spricht über seine Erfahrungen in der Forschung an der Imperial College und der Hong Kong University of Science and Technology, seine Einschätzungen in Bezug auf World Modelle während des Gründungsvorgangs, die Entwurfslogik von LoopWM, seine Vorstellungen über die Konvergenz der Architektur, die Test - Time - Skalierung, das Textverständnis von Robotern und seine Prognosen für die nächsten drei Jahre des World Models.

Außerdem diskutiert Adam in einem Gespräch mit ZP Flight Host über den "ChatGPT - Moment" der World Modelle. Er mag noch nicht gekommen sein, aber die wirklich wichtigen Fragen werden immer deutlicher: Die zukünftige KI soll nicht nur die Welt generieren, sondern auch in ihr denken lernen. Und LoopWM ist ihre Antwort auf diese Frage. Wir haben diese Gesprächsausschnitte vollständig zusammengetragen, damit Sie die Überlegungen und Debatten von Forschern vor Ort direkt mitverfolgen können.

FaceMind CEO Adam Lu (links) & FaceMind CTO Victor Wei (rechts)

Der Host ist Zou Tianyuan vom Institute for AI Industry Research (AIR) der Tsinghua University. Seine Forschungsgebiete sind World Modelle, die Fusion mehrerer Modelle, Datenschutz und Datensynthese.

Viele World - Modeling - Methoden verwenden bei der Test - Time - Skalierung exponentielle Verfahren, um mehr zukünftige Weltmöglichkeiten zu generieren und dann die beste Lösung auszuwählen. Wir möchten eine lineare Methode für die Test - Time - Skalierung entwickeln, die für Roboter oder World Modelle geeignet ist. Deferred Decoding soll vor allem verhindern, dass in jedem Schritt möglicherweise fehlerhafte Zustände dekodiert werden und die Fehler dadurch vergrößert werden. Wir möchten, dass die Inferenz im Latent Space weiterläuft und mit einer kontinuierlicheren Repräsentation fortgesetzt wird.

Da das Loop - Modell eine zyklische Struktur hat, ist das zentrale Problem in der Anfangsphase des Trainings, dass es schwierig ist, Aufgaben mit langer Horizontzeit direkt zu optimieren. Es ist nicht sinnvoll, alle Daten in den Trainingsalgorithmus zu werfen und sie dann zufällig zu mischen. Deshalb haben wir ein hierarchisches Curriculum - Lernverfahren implementiert.

Bei traditionellen tiefen Schichten werden manche einfache Aufgaben ignoriert, insbesondere in sehr tiefen Modellen kann es zu einem Verlust des Gradienten kommen. Das Loop - Modell ist in Bezug auf dieses Problem deutlich besser. Ich denke, der Kern liegt darin, dass tiefere Modelle besser für schwierige Aufgaben geeignet sind, aber die Komplexität der World - Model - Aufgaben variiert stark.

Im Bereich der Embodied AI ist die Unterschiedlichkeit der Aufgaben sehr ausgeprägt: Es ist ein großer Unterschied, ob ein Roboter einfach in einem Raum herumgeht oder eine Tasse aufnimmt. Diese Unterschiedlichkeit eignet sich gut für das Loop - Modell. Zurzeit befassen sich die meisten Menschen bei World Modellen noch hauptsächlich mit räumlichen Problemen. Wir hoffen jedoch, dass zukünftige Roboter zunächst die Fähigkeiten des Menschen nachahmen und dann diese sogar übertreffen können. Die Frage, ob Roboter in der räumlichen Welt Texte verstehen können, ist bislang noch nicht vollständig gelöst.

World Modelle sind im Wesentlichen Welt - Simulatoren, die das Problem der unzureichenden Realität von Simulationsumgebungen lösen sollen. Es ist möglich, dass die aktuelle WAM - Architektur nicht die beste Lösung für die Zukunft ist, da WAM im Kern eine gemeinsame Trainingsmethode ist, während World Modelle für Embodied - Szenarien eher als Datenquelle fungieren könnten.

Die zyklische Inferenz im Latent Space: LoopWM vermeidet die alte Gewohnheit der frameweisen Generierung

ZP: Bevor wir uns mit LoopWM befassen, möchten Sie bitte Ihre Laufbahn in chronologischer Reihenfolge beschreiben. Wie haben Ihre Studien an der Imperial College London, Ihr Promotionsstudium an der Hong Kong University of Science and Technology, Ihr Praktikum bei der Microsoft Research Asia und die Gründung von FaceMind Ihre heutigen Entscheidungen beeinflusst?

Adam: Ich habe von 2017 bis 2021 Informatik an der Imperial College London studiert. Ich habe Informatik gewählt, weil ich gerne Spiele spiele und Programme schreibe. In dieser Zeit war ich nicht so stark forschungsorientiert, sondern habe eher Code geschrieben und auch einige kleine Spiele programmiert. Heute ist das Schreiben von Code mit der Hilfe von KI viel einfacher, aber damals musste ich alles Zeile für Zeile selbst schreiben, und ich habe diesen Prozess sehr genossen.

Bei meiner Bachelorarbeit an der Imperial College London habe ich einen Lehrer kennengelernt, der mich sehr beeinflusst hat: Daniel Rueckert. Einmal habe ich ihm ein Paper von einer großen Institution gezeigt und gesagt, dass ich es sehr gut finde, vielleicht weil es von Google stammt. Er hat mich darauf hingewiesen, dass ich nicht nur auf den Titel oder die Institution achten sollte. Selbst wenn die Autoren von Google sind, sollte ich mich auf den eigentlichen Beitrag des Papers konzentrieren. Er hat mir auch gesagt, dass es in jeder Institution möglich ist, interessante Dinge zu tun, solange der Beitrag gut und neu genug ist. Ein Mensch mit Geschmack sollte in der Lage sein, Vorurteile zu überwinden. Dies hat mich sehr beeinflusst und mich bewusst gemacht, dass Forschung und Innovation global sind und keine starken Grenzen haben. Solange ein Beitrag wertvoll ist, sollte er erkannt werden. Damals war ich noch bei meiner Bachelorarbeit, aber ich hatte bereits hohe Erwartungen an die Forschung.

Anschließend habe ich mich entschieden, weiter in der KI - Forschung zu arbeiten. Einerseits wollte ich wirklich forschen, andererseits war ich auch von Anime und Werken wie "Sword Art Online" begeistert, die viele Vorstellungen über KI enthalten. Nach meinem Studium habe ich ein Promotionsstudium an der Hong Kong University of Science and Technology begonnen und unter der Leitung von Professor William geforscht. Er ist ein eher zurückhaltender Lehrer, der in China nicht so viel in den Medien auftaucht, aber ich finde ihn sehr talentiert.

Ich muss zugeben, dass ich in der Forschung wahrscheinlich etwas Talent habe. Am Anfang meines Promotionsstudiums habe ich schnell ein Paper als Erstautor veröffentlicht, wobei es nur ich und mein Lehrer als Autoren gab, und ich habe auch einen guten Preis erhalten. In dieser Phase habe ich gedacht, dass ich in der Forschung vielleicht wirklich gut bin. Aber während meines Promotionsstudiums habe ich auch an der Gründung eines Unternehmens nachgedacht. Während ich Benchmarks absolvierte, habe ich schnell festgestellt, dass Benchmarks manchmal nicht die tatsächlichen Ergebnisse widerspiegeln, wenn etwas in die reale Welt übertragen wird. Beispielsweise habe ich festgestellt, dass in der Branche viele Dinge nicht in Papers geschrieben werden und auch nicht direkt an junge Forscher weitergegeben werden. Benchmarks können auch Fehler haben, insbesondere bei einigen Dialogdatensätzen, deren Datensammlungsmethoden Einschränkungen mit sich bringen und manche sogar auf falschen Daten basieren. Deshalb habe ich in dieser Zeit allmählich verstanden, dass es möglicherweise sinnvoller ist, ein Unternehmen zu gründen, wenn man die Forschung sinnvoller gestalten oder in die reale Welt umsetzen möchte. Ich habe damals gedacht, dass ich genug akademische Ausbildung erhalten habe und nun die Technologie wirklich umsetzen möchte.

Von 2022 bis 2023 habe ich ein Praktikum bei der Microsoft Research Asia absolviert. Nach dem Praktikum wollte ich sofort mein eigenes Unternehmen gründen. Da ich noch studierte, habe ich es nicht vollzeit betreiben können. Das erste Thema, das unser Unternehmen gewählt hat, war eigentlich nicht so gut geeignet für unser Team. Wir haben ein AI - Begleitprodukt entwickelt, das eher auf die Anwendung und den Betrieb ausgerichtet war und weniger auf die Technologie. Später, von 2025 bis 2026, nach meinem Abschluss, haben wir das Unternehmen offiziell ins Leben gerufen und die Richtung auf World Modeling umgestellt. Bis heute arbeiten wir in dieser Richtung. Ich denke, dass es besser zu unserem Team - Hintergrund und unseren Fähigkeiten passt.

Unser Unternehmen hat auch mehrere Runden an Finanzierungen erhalten, darunter von Starlink Capital, 360 Group und Miracle Plus. Die Aktionäre unterstützen uns auch sehr bei diesem Vorhaben. Sie denken auch, dass unser Team gut für World Modelle geeignet ist. In diesem Jahr ist der Wettbewerb um World Modelle wirklich heftig, aber wir haben auch einige Ergebnisse erzielt, die ich für sehr wertvoll halte. In letzter Zeit haben uns auch einige Leute von großen Institutionen kontaktiert. NVIDIA war wahrscheinlich eine der ersten großen ausländischen Unternehmen, die unser Konzept bemerkt haben. Sie haben unsere Arbeit als "hochwertigen Beitrag" bewertet, was zeigt, dass unser Paper inzwischen in der Branche eine gewisse Aufmerksamkeit erregt hat. Die nächsten Gespräche waren mit NVIDIA.

ZP: Wie hat sich Ihr Forschungsgeschmack entwickelt? Wie entscheiden Sie, ob ein Problem lohnenswert ist?

Adam: Wichtig ist vor allem, viel zu lesen und zu experimentieren. Beispielsweise habe ich im Sommer vor meinem Promotionsstudium fast nur noch Papers gelesen.

Ich denke, dass es für junge Forscher wichtig ist, einfach loszulegen. In der akademischen Welt gibt es Leute, die sagen, dass die Kombination von A und B nicht gut ist oder nicht interessant genug. Ein sehr junger Forscher könnte viel Zeit damit verbringen, zu überlegen, was er tun soll, um einen großen Einfluss zu haben. Aber meine Erfahrung ist, dass manchmal die Kombination von A und B auch sehr beeindruckend sein kann. Es kommt darauf an, was A und B konkret sind und wie man sie kombiniert.

Deshalb ist es wichtig, seine eigene Meinung zu bilden. Im Internet gibt es viele Informationen, und jede Information kann zu einer kognitiven Verzerrung führen. Wenn Sie heute auf Zhihu viele Bewertungen lesen und sehen, dass andere sagen, dass die Kombination von A und B keine gute Arbeit ist, können Sie davon beeinflusst werden. Aber tatsächlich kann die Kombination von A und B auch gut sein.

Meine Methode ist, zunächst eine Richtung zu wählen, die ich für möglich halte, und dann direkt loszulegen. Viele Dinge sollten Sie zunächst schnell ausprobieren, bevor Sie sie wirklich verstehen. Schauen Sie sich das Ergebnis an, lassen Sie es sich als Feedback geben und passen Sie dann die Richtung an.

ZP: Hat sich auch bei der Entscheidung für die Richtung World Modeling ein ähnliches Denkmodell gezeigt?

Adam: Nicht ganz. Ich denke, dass die Entscheidung für die Richtung eines Unternehmens anders ist als die in der akademischen Forschung. In der akademischen Forschung wird eher nach etwas Neuem gesucht. Wenn Sie eine neue Idee haben, wird der Gutachter normalerweise die Neuheit und den Beitrag sorgfältig beurteilen, da die akademische Begutachtung meist anonym ist und nicht so sehr auf den Hintergrund des Forschers achtet. Wenn die Neuheit stark genug ist, besteht eine gute Chance, dass das Paper angenommen wird.

Aber bei der Entscheidung für die Richtung eines Unternehmens, insbesondere eines Unternehmens, das Finanzierungen benötigt, ist die Logik etwas anders. World Modeling ist ein wichtiges Konsensgebiet. Die Investitionsbranche neigt eher dazu, in ein etabliertes Konzept zu investieren und dann ein gutes Team hinzuzufügen. Die Lösung kann etwas neuartig sein. Wenn es sich um etwas völlig Neues handelt, können die Venture Capital - Firmen eher Angst haben.

Deshalb ist es für ein Unternehmen nicht unbedingt erforderlich, von Anfang an innovativ zu sein. Es ist besser, zunächst in eine wichtigere, anerkannte Richtung einzusteigen und dann in dieser Richtung zu innovieren. Wenn das Unternehmen eine gewisse Größe erreicht hat und genug Referenzen hat, kann man dann nach größeren Innovationen streben.

Ich denke, dass die Arbeit von FaceMind an World Modellen an sich nicht so innovativ ist, aber LoopWM ist meiner Meinung nach eine ziemlich große Innovation. Mindestens aus der Sicht der akademischen Welt denken viele Leute, dass es eine große Innovation ist. Auf X haben auch einige Leute geschrieben, dass es möglicherweise eine neue Richtung für World Modelle ist.

LoopWM

ZP: Ein wichtiges Merkmal von LoopWM ist die long - horizon - Inferenz durch iterative Schleifen. Haben Sie beim Training Probleme mit der numerischen Stabilität oder anderen Schwierigkeiten gehabt?

Adam: Da das Modell eine zyklische Struktur hat, ist das zentrale Problem in der Anfangsphase des Trainings, dass es schwierig ist, Aufgaben mit langer Horizontzeit direkt zu optimieren. Wir haben festgestellt, dass es nicht sinnvoll ist, alle Daten