Die quelloffene Bereitstellung des MoE-Videomodells mit hundert Milliarden Parametern markiert den Beginn des Eintritts der Videogenerierung in die nächste Scaling Law.

Wenn man die Zeit zwei Jahre zurückdreht, hätten nur wenige Menschen geglaubt, dass die Videogenerierung sich zur am schnellsten entwickelnden Richtung in dieser Runde des KI-Wettbewerbs entwickeln würde.

Zu dieser Zeit dauerten KI-generierte Videos oft nur wenige Sekunden, die Figuren neigten zu Verzerrungen, die Bewegungen folgten keinen physikalischen Gesetzen und die Szenenwechsel waren chaotisch. Ganz zu schweigen von der Generierung komplexer Inhalte wie Dialogen und Umgebungsgeräuschen. Das Warten Dutzender Minuten oder sogar längerer Zeit, nur um einen kurzen Clip voller typischer KI-Mängel zu erhalten, war der tiefste Eindruck, den viele Menschen damals von Videomodellen hatten.

In nur zwei Jahren ist diese technische Kurve mit einer Geschwindigkeit steil nach oben verlaufen, die fast niemand erwartet hat.

Heutzutage können Modelle wie Sora von OpenAI, Veo von Google sowie die aus China stammenden Modelle Keling und MiniMax Hailuo bereits Inhalte von Dutzenden Sekunden bis zu mehreren Minuten mit hoher Konsistenz und hoher Steuerbarkeit generieren. Auf internationalen Drittanbieter-Ranglisten wie Artificial Analysis stehen chinesische Videomodelle seit langem in der ersten globalen Ebene und definieren gemeinsam mit internationalen Herstellern wie Google die Entwicklungsrichtung dieser Runde der Videogenerierungstechnologie.

Aber während die Branche ständig Bildqualität, Dauer und Steuerbarkeit verbessert, taucht auch eine weitere Herausforderung auf.

Die Figuren, Bewegungen, Kamerawinkel und Szenen, die Videomodelle verarbeiten müssen, werden immer komplexer. Nach der Vereinigung von Audio und Video müssen sie gleichzeitig Dialoge, Umgebungsgeräusche und Hintergrundmusik verstehen. Mit der zunehmenden Größe der Modelle steigen auch die Trainingskosten, die Inferenzkosten und der Overhead der kommunikation zwischen verschiedenen Geräten schnell an. Der frühere Weg, die Fähigkeiten durch die ständige Erweiterung des Dense-Transformer-Maßstabs zu verbessern, nähert sich immer mehr seiner Grenze.

Ein ähnliches Problem haben große Sprachmodelle bereits einmal durchlebt.

Eine der Lösungen, die große Sprachmodelle anbieten, ist MoE (Mixture of Experts). Es ermöglicht dem Modell einen größeren Gesamtparameterumfang, aktiviert aber bei jeder Inferenz nur eine kleine Anzahl von Experten. Dadurch werden die Modellkapazität und der einmalige Rechenaufwand teilweise entkoppelt, und das Scaling Law wird erneut geöffnet.

Wenn die Videogenerierung ebenfalls an die Kreuzung von Modellgröße und Rechenkosten gelangt, wird sie dann auch in ihre eigene MoE-Ära eintreten?

Die kürzliche Veröffentlichung und Open-Source-Stellung des hundertmilliardengroßen MoE-Videogenerierungsmodells MAGI-2 Preview durch Sand.ai versucht möglicherweise genau diese Frage zu beantworten. Es hat insgesamt etwa 114 Milliarden Parameter, aber bei einer einzelnen Vorwärtsberechnung werden nur etwa 6 Milliarden Parameter aktiviert. Noch wichtiger ist, dass dies eines der wenigen Teams weltweit ist, das das hundertmilliardengroße MoE wirklich auf ein einheitliches Audio-Video-Generierungsmodell anwendet und die Modellgewichte, den Code sowie das gesamte Trainingssystem vollständig als Open Source veröffentlicht.

Auf der Image-to-Video-Rangliste der globalen Videogenerierungsmodell-Plattform Artificial Analysis belegt MAGI-2 Preview den sechsten Platz weltweit.

Für ein einheitliches Audio-Video-Modell mit 114 Milliarden Parametern ist es wirklich überraschend, dass seine Kosten nicht linear mit der Erweiterung des Modells gestiegen sind. Nach Berechnungen von Sand.ai betragen die Kosten für die Generierung von 1080P-Videos etwa 0,5 Yuan pro 10 Sekunden.

Für Sand.ai ist dies eine weitere Iteration der MAGI-Serie; für die gesamte Branche bedeutet es möglicherweise, dass die Videogenerierung beginnt, einen anderen Erweiterungsweg auszuprobieren.

Videogenerierung stößt auf ein neues Scaling Law

Seit Anfang 2024 entwickelt sich die Videogenerierung fast rasant entlang einer klaren Linie.

Von den anfänglichen groben Versuchen zur Erzeugung von "animierten Bildern" bis hin zur heutigen hochauflösenden Generierung im Minutenbereich, genauer Figurenkonsistenz und extrem komplexen Kameraführungen. Darüber hinaus überschreitet sie die reine Bilddarstellung und entwickelt sich zu einer "vereinigten Audio-Video-Generierung", die Dialoge, Umgebungsgeräusche und Hintergrundmusik integriert. Ob OpenAI, Google oder inländische Teams wie ByteDance, Kuaishou und MiniMax, alle verschieben ständig die Obergrenze dieses Sektors.

Hinter diesem Ausbruch ist das einzige eiserne Gesetz, das die gesamte Branche vorantreibt, das Modell immer größer zu machen.

Ob große Sprachmodelle, Embodied Intelligence oder Videomodelle – der grundlegendste Glaube in dieser KI-Welle ist immer nur einer: das Scaling Law.

Die Erweiterung des Parameterumfangs bedeutet, dass das Modell umfangreichere physikalische Gesetze beschreiben und subtilere Licht- und Schatteneffekte sowie Mikroausdrücke erfassen kann. Die Branche war überzeugt, dass solange ständig Daten und Rechenleistung zugeführt werden, der Skaleneffekt schließlich in beeindruckende Fähigkeitssprünge umgesetzt wird.

Aber seit 2026 stößt dieser Weg, die Fähigkeiten durch die erzwungene Erweiterung des Dense-Modells zu verbessern, auf eine doppelte Mauer aus Physik und Wirtschaftlichkeit.

Der entscheidende Punkt ist, dass die Videogenerierung selbst die rechenintensivste Aufgabe im KI-Bereich ist, ohne jede Ausnahme. Im Vergleich zum eindimensionalen Text erfordert das Video eine intensive Merkmalsmodellierung im zweidimensionalen Raum und in der eindimensionalen Zeit. Nachdem die vereinigte Audio-Video-Generierung zum neuen Industriestandard geworden ist, werden die multimodalen Daten aus Text, Bild und Audio in dasselbe Modell integriert, sodass die Informationsmenge in einem einzelnen Video exponentiell ansteigt.

Bei der traditionellen Dense-Architektur muss das Modell bei der Verarbeitung jedes Tokens alle hundert Milliarden Parameter vollständig durchlaufen. Wenn die Modalitäten überlagert werden und die Anzahl der Tokens exponentiell ansteigt, geraten die Rechenkosten, der Kommunikationsbandbreitenaufwand zwischen GPUs und die Inferenzlänge schnell außer Kontrolle.

Die Branche muss sich nun einer harten Realität stellen: Die Ära, in der das Scaling Law durch das einfache Stapeln von Modellgrößen fortgesetzt wird, erreicht ihren Höhepunkt. Wie kann das Modell weiter skaliert werden, wenn die Rechenkosten die Belastungsgrenze erreichen?

Auf diese Frage hat der benachbarte Sektor der großen Sprachmodelle (LLM) bereits eine Antwort geliefert. Von Mixtral über DeepSeek bis Qwen ist die MoE-Architektur (Mixture of Experts) allmählich zum absoluten Mainstream geworden. Ihre Logik ist elegant und intuitiv: Durch den Aufbau einer sehr großen Gesamtparameterbibliothek, aber bei jeder Inferenz nur wenige Expertenmodule genau nach der Aufgabe zu aktivieren, wird die Modellkapazität und der einmalige Rechenaufwand erfolgreich physikalisch entkoppelt, sodass das Scaling Law weiterhin gültig bleibt.

Aber warum hat MoE, das im LLM-Bereich große Erfolge erzielt, sich nicht lange im Bereich der Videogenerierung durchgesetzt?

Denn die Videogenerierung kann nicht einfach das Muster von Textmodellen übernehmen. Der größte Unterschied liegt bei den Tokens.

Erstens gibt es einen Dimensionssprung in der Datenmenge. Ein Text von einigen hundert Wörtern wird nach der Diskretisierung durch den Tokenizer nur wenige hundert Tokens ergeben; aber ein hochauflösendes Audio-Video von mehr als zehn Sekunden erreicht selbst nach einer Hochkompression leicht eine Token-Anzahl von Zehntausenden oder sogar Hunderttausenden.

Zweitens ist die raumzeitliche Korrelation extrem komplex. Text-Tokens behandeln hauptsächlich die semantische Beziehung des Kontexts, während Video-Tokens gleichzeitig die Glättung der räumlichen Pixel, die Kontinuität der Zeitachse zwischen den Frames und die Millisekunden-genaue Synchronisation von Bild und Ton übernehmen müssen. Nachdem das vereinigte Audio-Video-Modell erschienen ist, muss jeder Token ständig mit Informationen wie Dialogen, Lippenbewegungen und Umgebungsgeräuschen synchron bleiben.

Das bedeutet, dass Videomodelle nicht nur mehr Daten verarbeiten müssen, sondern auch die Beziehungen zwischen jedem Token komplexer modellieren müssen.

Diese Eigenschaften führen zu technischen Herausforderungen für MoE. Wenn eine große Anzahl von Tokens mit extrem komplexen Aufmerksamkeitsmechanismen zwischen den Frames in das MoE-System strömt, treten Probleme auf. Jeder Token erfordert eine Echtzeit-Auswahl, Routenführung und Zuweisung von Experten. Wenn das hundertmilliardengroße MoE auf Hunderte von GPUs aufgeteilt wird, wechseln Zehntausende von Tokens häufig zwischen Experten auf verschiedenen Knoten, sodass die Kommunikationsbandbreite zwischen den Geräten sofort überlastet wird. Der Routen-Overhead kann sogar die durch MoE erzielten Recheneinsparungen vollständig zunichte machen.

Hinzu kommen das Lastausgleich zwischen verschiedenen Geräten, die optimale Verwaltung des Grafikkartenspeicher-Fragments, der Expertenkollaps und der Gradientenexplosion, die während des Trainings jederzeit auftreten können... Für das hundertmilliardengroße Video-MoE dauert es vielleicht nur wenige Tage, um eine MoE-Algorithmusformel zu schreiben. Aber um ein zugrundeliegendes System zum Training von hundertmilliardengroßen MoE-Videos stabil laufen zu lassen, gab es bisher keine fertige Referenzlösung in der gesamten Branche.

Das erklärt auch, warum trotz der Tatsache, dass die gesamte Branche lange Zeit von den Kostenvorteilen von MoE profitiert werden möchte, die praktische Validierung des hundertmilliardengroßen MoE im Bereich der Videogenerierung bisher noch leer ist.

Drei aufeinanderfolgende "unkonventionelle" Entscheidungen: Sand.ai beantwortet immer dieselbe Frage

Wenn man die kürzliche Veröffentlichung von MAGI-2 Preview durch Sand.ai als eine unabhängige Aktualisierung betrachtet, übersieht man leicht ihre wahre Bedeutung.

Tatsächlich ist dies bereits das dritte Mal, dass Sand.ai einen technischen Weg wählt, der damals nicht zum Mainstream der Branche gehörte. Rückblickend scheinen diese Entscheidungen sich auf die Modellarchitektur, die multimodale Fusion und die Trainingsmethode zu beziehen, aber tatsächlich beantworten sie alle dieselbe Frage: Wie können Videomodelle der realen Welt immer näher kommen.

Der erste Konflikt entstand im Streit um die Wege der Videogenerierung.

Tatsächlich ist der ursprüngliche Funke, der diese AIGC-Welle plötzlich populär gemacht und die ganze Welt erobert hat, genau das Diffusionsmodell (Diffusion). Daher war Diffusion lange Zeit fast die unbestrittene zugrundeliegende Paradigma im Bereich der Videogenerierung. Sein Kernprinzip besteht darin, "das Bild aus dem Rauschen zu rekonstruieren" – das Modell geht von chaotischem zufälligem Rauschen aus und formt durch Dutzende von präzisen Entrauschungsvorhersagen schrittweise Videobilder mit hoher Klarheit und hoher Kontinuität.

Aber Sand.ai hat seit seiner Gründung Ende 2024 einen anderen Weg gewählt: Autoregressivität.

Nach Ansicht von Sand.ai ist Video keine Gruppe unabhängiger Bilder, sondern eine kontinuierliche Sequenz, die sich entlang der Zeit entwickelt. Wenn das Modell wie bei der Textgenerierung zukünftige Bilder vorhersagen kann, ist es einfacher, die Kausalität zwischen Bewegungen zu erlernen und die Generierung von längeren Videos zu erweitern. Diese Entscheidung wurde schließlich im April 2025 mit der Veröffentlichung von Magi-1 umgesetzt, was Sand.ai zu einem der frühen Teams machte, die den autoregressiven Videoweg öffentlich validierten.

Anschließend hat Sand.ai die Frage einen Schritt weiter vorangetrieben.

Die reale Welt besteht nie nur aus Bildern. Wenn Menschen sprechen, laufen Lippenbewegungen, Stimme, Handlungen und Umgebungsänderungen immer synchron ab. Aber lange Zeit generierten die meisten Videomodelle Bild und Ton getrennt und fügten sie anschließend durch Nachbearbeitung zusammen.

Im September 2025 begann Sand.ai, die vereinigte Audio-Video-Generierung als nächsten technischen Weg zu verfolgen. Mit Gaga-1 versuchte das Team, Text, Video und Audio in dasselbe Transformer zu integrieren, sodass verschiedene Modalitäten ab der ersten Schicht des Modells ständig Informationen austauschen und gemeinsam den Generierungsprozess abschließen – anstatt den Ton erst nach der vollständigen Bildgenerierung hinzuzufügen, wie es in der Branche üblich ist. Die im März 2026 veröffentlichte daVinci-MagiHuman hat diesen Weg weiter validiert.

Mit MAGI-2 Preview ändert sich die Frage erneut.

Mit der ständigen Erweiterung der vereinigten Audio-Video-Modelle steigen die Trainings- und Inferenzkosten, die durch das Dense-Transformer verursacht werden, schnell an. Wie bereits erwähnt bedeutet die weitere Erhöhung der Modellgröße, dass jede Berechnung alle Parameter aktivieren muss. Je größer die Modellkapazität ist, desto höher steigen auch der Aufwand für Rechenleistung, Kommunikation und Inferenz.

Daher legte Sand.ai seine dritte technische Entscheidung auf die Art und Weise der Modellerweiterung.

MAGI-2 Preview verwendet eine Multi-Head-MoE-Architektur, die einen Token in mehrere Unterräume aufteilt, wobei jeder Unterraum unabhängig Experten für die Teilnahme an der Berechnung auswählt. Das bedeutet, dass das Modell zwar insgesamt 114 Milliarden Parameter hat, aber bei einer einzelnen Vorwärtsberechnung nur etwa 6 Milliarden Parameter wirklich aktiviert werden.

Dadurch ändert sich auch die Art und Weise, wie das Modell weiter erweitert wird.

Wie ist das zu verstehen? Multi-Head-MoE ermöglicht es dem Modell, mehr Experten im Inneren zu haben, aber bei jeder Berechnung nur einen kleinen Teil davon zu aktivieren. Dadurch werden die Modellkapazität und der einmalige Rechenaufwand in gewissem Maße entkoppelt. Für vereinigte Audio-Video-Modelle bedeutet dies, dass das Modell mehr Parameter nutzen kann, um komplexere zeitliche Beziehungen, physikalische Gesetze und multimodale Interaktionen zu erlernen, ohne dass jede Inferenz die gesamten Rechenkosten tragen muss. Dadurch erhalten Videomodelle bei der weiteren Erweiterung einen neuen Weg, der sich von dem des Dense-Transformers unterscheidet.

Rückblickend hat die technische Entwicklung von Sand.ai in den letzten Jahren ständig drei Grenzen von Videomodellen durchbrochen: Zeit, Modalität und Umfang. Die Autoregressivität löst die zeit