Das MoE-Videomodell im Hundert-Milliarden-Parameter-Niveau ist quelloffen veröffentlicht worden, und die Videogenerierung tritt damit in die nächste Phase des Scaling Law ein.

Wenn man die Zeit zwei Jahre zurückdreht, hätten nur wenige Menschen geglaubt, dass die Videogenerierung die Richtung mit der schnellsten Evolution in dieser Runde des KI-Wettbewerbs werden würde.

Zu dieser Zeit waren KI-generierte Videos oft nur wenige Sekunden lang, die Charaktere neigten zu Verzerrungen, die Bewegungen entsprachen nicht den physikalischen Gesetzen, und die Szenenübergänge waren chaotisch, ganz zu schweigen von komplexen Inhalten wie generierten Dialogen und Umgebungsgeräuschen. Das Warten von Dutzenden von Minuten oder sogar länger, nur um einen kurzen Clip voller "KI-Eigenart" zu erhalten, war der tiefste Eindruck, den viele Menschen damals von Videomodellen hatten.

In nur zwei Jahren ist diese technische Kurve jedoch fast mit einer Geschwindigkeit, die niemand erwartet hatte, steil nach oben gestiegen.

Heutzutage können Modelle wie Sora von OpenAI, Veo von Google sowie die chinesischen Modelle Keling und MiniMax Hailuo alle Inhalte mit einer Länge von mehreren Dutzend Sekunden oder sogar mehreren Minuten, hoher Konsistenz und hoher Steuerbarkeit generieren. Auf internationalen Drittanbieter-Ranglisten wie Artificial Analysis stehen chinesische Videomodelle längst in der ersten globalen Reihe und definieren gemeinsam mit internationalen Herstellern wie Google die Entwicklungsrichtung dieser Runde der Videogenerierungstechnologie.

Doch während die Branche ständig die Bildqualität, die Dauer und die Steuerbarkeit verbessert, taucht eine weitere Herausforderung auf.

Die Charaktere, Bewegungen, Aufnahmen und Szenen, die von Videomodellen verarbeitet werden müssen, werden immer komplexer. Nach der Vereinigung von Audio und Video müssen sie gleichzeitig Dialoge, Umgebungsgeräusche und Hintergrundmusik verstehen. Mit der zunehmenden Größe der Modelle steigen die Trainingskosten, die Inferenzkosten und der Kommunikationsaufwand zwischen Maschinen schnell an. Der Weg, die Leistungsfähigkeit durch ständige Vergrößerung der Größe von Dense Transformer zu verbessern, nähert sich zunehmend seiner Grenze.

Ähnliche Probleme haben große Sprachmodelle bereits einmal erlebt.

Eine der Lösungen, die große Sprachmodelle bieten, ist MoE (Mixture of Experts). Es ermöglicht dem Modell, eine größere Gesamtparametergröße zu haben, aktiviert aber nur eine kleine Anzahl von Experten bei jeder Inferenz, wodurch die Modellkapazität und die Berechnungsmenge pro Lauf teilweise entkoppelt werden und das Skalierungsgesetz (Scaling Law) neu geöffnet wird.

Also, wenn die Videogenerierung ebenfalls an die Kreuzung von Modellgröße und Rechenkosten gelangt, wird sie auch in ihre eigene MoE-Ära eintreten?

Die kürzlich von Sand.ai veröffentlichte und quelloffene 100-Milliarden-Parameter-MoE-Videogenerierungsmodell MAGI-2 Preview versucht möglicherweise genau diese Frage zu beantworten. Es hat insgesamt etwa 114B Parameter, aber bei einer einzelnen Vorwärtsberechnung werden nur etwa 6B Parameter aktiviert; noch wichtiger ist, dass es eines der wenigen Teams weltweit ist, das 100-Milliarden-Parameter-MoE wirklich auf ein einheitliches Audio-Video-Generierungsmodell anwendet und die Modellgewichte, den Code sowie das Trainingssystem vollständig quelloffen macht.

Auf der Image-to-Video-Rangliste der globalen Videogenerierungsmodell-Rangliste Artificial Analysis belegt MAGI-2 Preview den sechsten Platz weltweit.

Für ein einheitliches Audio-Video-Modell mit 114B Parametern ist es wirklich überraschend, dass seine Kosten nicht linear mit der Vergrößerung des Modells steigen. Nach Berechnungen von Sand.ai betragen die Kosten für die Generierung von 1080P-Videos etwa 0,5 Yuan pro 10 Sekunden.

Für Sand.ai ist dies eine weitere Iteration der MAGI-Serie; für die gesamte Branche bedeutet es möglicherweise, dass die Videogenerierung beginnt, einen anderen Erweiterungsweg auszuprobieren.

Videogenerierung stößt auf ein neues Skalierungsgesetz

Seit Anfang 2024 ist die Videogenerierung fast auf einer klaren Linie rasant vorangekommen.

Von den ersten groben Versuchen mit "bewegten Bildern" bis hin zur heutigen hochauflösenden Generierung im Minutenbereich, präziser Charakterkonsistenz und extrem komplexer Kameraführung; darüber hinaus überschreitet sie die reine Bilddarstellung und entwickelt sich hin zur "einheitlichen Audio-Video-Generierung", die Dialoge, Umgebungsgeräusche und Hintergrundmusik integriert. Sowohl OpenAI, Google als auch inländische Teams wie ByteDance, Kuaishou und MiniMax erweitern ständig die Obergrenze dieser Branche.

Hinter diesem Ausbruch ist das einzige eiserne Gesetz, das die gesamte Industrie vorantreibt, das Vergrößern des Modells.

Ob es sich um große Sprachmodelle, Embodied Intelligence oder Videomodelle handelt, der grundlegende Glaube dieser KI-Welle ist immer nur einer – das Skalierungsgesetz.

Die Expansion der Parametergröße bedeutet, dass das Modell größere physikalische Gesetze beschreiben und subtilere Licht- und Schatteneffekte sowie Mikroausdrücke erfassen kann. Die Branche war überzeugt, dass solange kontinuierlich Daten und Rechenleistung zugeführt werden, sich der Größeneffekt schließlich in eine beeindruckende Leistungssteigerung umwandeln wird.

Seit 2026 ist dieser Weg, die Leistungssteigerung durch erzwungene Erweiterung der Größe von Dense-Modellen zu erreichen, jedoch auf eine doppelte Mauer aus Physik und Wirtschaftlichkeit gestoßen.

Der entscheidende Punkt ist, dass die Videogenerierung selbst die rechenintensivste Aufgabe im KI-Bereich ist, ohne Ausnahme. Im Vergleich zu eindimensionalem Text muss das Video gleichzeitig hochintensive Merkmalsmodellierung im zweidimensionalen Raum und eindimensionaler Zeit durchführen; und nachdem die einheitliche Audio-Video-Generierung zum neuen Branchenstandard geworden ist, werden die Multimodalitäten von Text, Bild und Audio in dasselbe Modell integriert, sodass die Informationsmenge in einem einzelnen Video exponentiell ansteigt.

Unter der traditionellen Dense-Architektur muss das Modell bei der Verarbeitung jedes Tokens die Hunderte von Milliarden Parametern vollständig durchlaufen. Wenn die Modalitäten überlagert werden und die Anzahl der Token exponentiell ansteigt, geraten die Rechenkosten, die Kommunikationsbandbreitenauslastung zwischen GPUs und die Inferenzlatenz schnell außer Kontrolle.

Die Branche muss sich nun einer grausamen Realität stellen: Die Ära, in der das Skalierungsgesetz durch grobes Stapeln von Modellgrößen fortgesetzt wird, erreicht ihren Höhepunkt. Wenn die Rechenkosten die Belastungsgrenze erreichen, wie kann das Modell dann weiter skalieren?

Für dieses Problem hat das angrenzende Segment der großen Sprachmodelle (LLM) bereits die Antwort gegeben. Von Mixtral bis DeepSeek und Qwen ist die MoE-Architektur (Mixture of Experts) allmählich zum absoluten Mainstream geworden. Seine Logik ist elegant und intuitiv: Durch den Aufbau einer extrem großen Gesamtparameterbibliothek, aber bei jeder Inferenz nur eine kleine Anzahl von Expertenmodulen genau nach der Aufgabe zu aktivieren, wird die physische Entkopplung von Modellkapazität und Berechnungskosten pro Lauf erfolgreich erreicht, sodass das Skalierungsgesetz weiterhin gültig bleibt.

Aber warum hat MoE, das im LLM-Bereich große Erfolge erzielt, so lange nicht im Bereich der Videogenerierung implementiert?

Denn die Videogenerierung kann die Muster von Textmodellen nicht einfach übernehmen, der größte Unterschied liegt bei den Token.

Zuerst gibt es eine Dimensionseinschränkung durch die Datenmenge. Ein Text von einigen hundert Wörtern hat nach der Diskretisierung durch den Tokenizer nur wenige hundert Token; aber ein hochauflösendes Audio-Video von mehr als zehn Sekunden hat, selbst nach hoher Kompression, nach der Diskretisierung leicht Zehntausende oder sogar Hunderttausende von Token.

Zweitens ist die raumzeitliche Korrelation extrem komplex. Text-Token verarbeiten hauptsächlich die semantische Beziehung des Kontexts, während Video-Token gleichzeitig die Glättung von Raumpixeln, die Kontinuität der Zeitachse zwischen Frames und die Millisekunden-genaue Synchronisation von Ton und Bild übernehmen müssen. Nach dem Auftauchen des einheitlichen Audio-Video-Modells muss jeder Token ständig mit Informationen wie Dialogen, Lippenbewegungen und Umgebungsgeräuschen synchron bleiben.

Das heißt, Videomodelle verarbeiten nicht nur mehr Daten, sondern die Beziehungen, die zwischen jedem Token modelliert werden müssen, sind auch komplexer.

Diese Eigenschaften führen zu technischen Herausforderungen für MoE. Wenn eine große Anzahl von Token mit extrem komplexen Frame-übergreifenden Aufmerksamkeitsmechanismen in das MoE-System eintreten, tritt ein Problem auf. Jeder Token muss in Echtzeit Expertenauswahl, Routing und Zuweisung durchführen. Wenn das 100-Milliarden-Parameter-MoE auf Hunderte von GPU-Karten verteilt wird, führen Zehntausende von Token, die häufig zwischen Experten auf verschiedenen Knoten wechseln, zu einer sofortigen Überlastung der Kommunikationsbandbreite zwischen Geräten, und der Routing-Aufwand kann sogar die durch MoE erzielten Recheneinsparungen direkt aufzehren.

Hinzu kommen Lastverteilung zwischen Maschinen, optimale Verwaltung von Speicherfragmenten, Expertenkollaps und Gradientenexplosion, die während des Trainings jederzeit auftreten können... Für ein 100-Milliarden-Parameter-Video-MoE kann das Schreiben einer MoE-Algorithmusformel nur wenige Tage dauern, aber es gab bisher keine fertige Referenzlösung in der gesamten Branche, um ein zugrundeliegendes System für das Training von 100-Milliarden-Parameter-MoE-Videos stabil laufen zu lassen.

Das erklärt auch, warum lange Zeit, obwohl die gesamte Branche von den Kostenvorteilen von MoE profitiert haben wollte, die praktische Validierung von 100-Milliarden-Parameter-MoE im Bereich der Videogenerierung noch leer war.

Drei aufeinanderfolgende "Nicht-Konsens"-Entscheidungen: Sand.ai beantwortet ständig dieselbe Frage

Wenn man die kürzlich von Sand.ai veröffentlichte MAGI-2 Preview als eine unabhängige Aktualisierung betrachtet, übersieht man leicht ihre wahre Bedeutung.

Tatsächlich ist dies bereits das dritte Mal in Folge, dass Sand.ai einen technischen Weg gewählt hat, der damals nicht der Mainstream der Branche war. Rückblickend scheinen diese Entscheidungen jeweils in der Modellarchitektur, der Modalfusion und der Trainingsmethode stattgefunden zu haben, aber sie beantworten im Grunde alle dieselbe Frage: Wie können Videomodelle der realen Welt näherkommen.

Die erste Meinungsverschiedenheit trat im Wettbewerb um die Wege der Videogenerierung auf.

Tatsächlich war der ursprüngliche Funke, der diese AIGC-Welle über Nacht populär machte und die ganze Welt erfasste, Diffusion (Diffusionsmodell). Daher war Diffusion lange Zeit fast die unbestrittene grundlegende Paradigma im Bereich der Videogenerierung. Sein Kernprinzip besteht darin, "das Bild aus Rauschen zu rekonstruieren" – das Modell beginnt mit chaotischem zufälligem Rauschen und formt Schritt für Schritt hochauflösende, hochkontinuierliche Videoframes durch Dutzende von extrem präzisen Entrauschungsvorhersagen.

Sand.ai hat jedoch seit seiner Gründung Ende 2024 einen anderen Weg gewählt – Autoregressive (autoregressiv).

Nach Ansicht von Sand.ai ist Video keine Gruppe unabhängiger Bilder, sondern eine kontinuierliche Sequenz, die sich entlang der Zeit entfaltet. Wenn das Modell die Zukunft Frame für Frame vorhersagen kann, genau wie beim Generieren von Text, ist es einfacher, die Kausalität zwischen Bewegungen zu lernen und die Generierung von längeren Videos zu erweitern. Diese Entscheidung wurde schließlich in dem im April 2025 veröffentlichten Magi-1 umgesetzt, was Sand.ai zu einem der ersten Teams machte, das den autoregressiven Videoweg öffentlich validierte.

Anschließend hat Sand.ai die Frage einen Schritt weiter gebracht.

Die reale Welt besteht nie nur aus Bildern. Wenn Menschen sprechen, sind Lippenbewegungen, Stimme, Aktionen und Umgebungsänderungen immer synchron. Aber lange Zeit haben die meisten Videomodelle Bild und Ton getrennt generiert und sie dann durch Nachbearbeitung zusammengefügt.

Im September 2025 begann Sand.ai, die einheitliche Audio-Video-Generierung als nächsten technischen Weg zu nehmen, und versuchte durch Gaga-1, Text, Video und Audio in denselben Transformer zu integrieren, sodass verschiedene Modalitäten ab der ersten Schicht des Modells ständig Informationen austauschen und den Generierungsprozess gemeinsam abschließen, anstatt dem branchenüblichen Ansatz zu folgen, den Ton nach der Generierung des Bildes hinzuzufügen. Das im März 2026 veröffentlichte daVinci-MagiHuman hat diesen Weg weiter validiert.

Bei MAGI-2 Preview ändert sich die Frage erneut.

Mit der ständigen Erweiterung des einheitlichen Audio-Video-Modells steigen die Trainings- und Inferenzkosten, die durch Dense Transformer verursacht werden, schnell an. Wie bereits erwähnt, bedeutet die weitere Erhöhung der Modellgröße, dass bei jeder Berechnung alle Parameter aktiviert werden müssen. Je größer die Modellkapazität ist, desto mehr steigen Rechenleistung, Kommunikation und Inferenzaufwand gleichzeitig an.

Daher hat Sand.ai die dritte technische Entscheidung auf die Art der Modellerweiterung gelegt.

MAGI-2 Preview verwendet eine Multi-Head-MoE-Architektur, teilt einen Token in mehrere Unterräume auf, und jeder Unterraum wählt unabhängig Experten für die Berechnung aus. Das bedeutet, dass das Modell zwar insgesamt 114B Parameter hat, aber bei einer einzelnen Vorwärtsberechnung nur etwa 6B Parameter wirklich aktiviert werden.

Das ändert auch die Art und Weise, wie das Modell weiter erweitert wird.

Wie ist das zu verstehen? Multi-Head MoE lässt das Modell mehr Experten im Inneren haben, aktiviert aber nur einen kleinen Teil davon bei jeder Berechnung, sodass Modellkapazität und Berechnungsmenge pro Lauf in gewissem Maße entkoppelt werden. Für ein einheitliches Audio-Video-Modell bedeutet dies, dass das Modell mehr Parameter verwenden kann, um komplexere zeitliche Beziehungen, physikalische Gesetze und multimodale Interaktionen zu lernen, ohne dass jede Inferenz die gesamten Berechnungskosten tragen muss. Das gibt Videomodellen einen neuen Weg, sich weiter zu erweitern, der sich von Dense Transformer unterscheidet.

Rückblickend hat die technische Entwicklung von Sand.ai in den letzten Jahren ständig drei Grenzen von Videomodellen durchbrochen: Zeit, Modalität und Größe. Autoregressivität löst die zeitliche Kontinuität, die ein