Sand.ai: Das weltweit erste Open-Source-MoE-Videogenerierungsmodell MAGI Preview mit einem Umfang von hundert Milliarden Parametern
„Für 0,5 Yuan ein 10-Sekunden-Video generieren – die Kosten für die Videogenerierung haben sich von „unerschwinglich“ zu „erschwinglich“ gewandelt.“
Am 5. August 2026 veröffentlichte und öffnete Sand.ai den Quellcode von MAGI Preview, dem weltweit ersten offenen MoE-Videogenerierungsmodell mit hunderten Milliarden Parametern. Die Gesamtzahl der Parameter beträgt etwa 114B, und bei einer einzelnen Vorwärtsberechnung werden nur etwa 6B Parameter aktiviert. Es belegt den sechsten Platz in der Rangliste für die Generierung von Videos aus Bildern von Artificial Analysis. Die Inferenzkosten für die Generierung eines 10-sekündigen 1080P-Videos betragen etwa 0,5 Yuan, was etwa einem Zehntel der Kosten gängiger Branchenmodelle entspricht.
Diese Kombination von Zahlen ist im Bereich der Videogenerierung noch nie vorgekommen. Einige Medien bewerten dies als den „DeepSeek-Moment“ der technologischen Gleichberechtigung im Bereich der KI-Videomodell-Spur.
Tatsächlich teilen Sand.ai und DeepSeek dieselbe Logik, um die aktuelle Situation zu durchbrechen.
Im Bereich der Sprachmodelle senkte DeepSeek die Trainingskosten mit der MoE-Architektur auf 5,576 Millionen US-Dollar, was etwa einem Zwanzigstel der Kosten von ChatGPT entspricht, und reduzierte die Inferenzkosten um 99 %. Sand.ai hat denselben Weg im Bereich der Videogenerierung erfolgreich beschritten. Im November 2025 traf Sand.ai eine damals unkonventionelle Entscheidung, die Modellarchitektur von Dense auf MoE umzustellen. Acht Monate später lieferte MAGI Preview die Antwort.
(Bildquelle: Material aus dem Internet)
Die technischen Routen der beiden sind hochgradig konsistent. DeepSeek führte innovativ die Architektur gemischter Experten ein und senkte die Trainingskosten großer Modelle von mehreren zehn Millionen US-Dollar auf mehrere Millionen US-Dollar. Sand.ai hat diesen Weg in den Videobereich übertragen. Die Token-Größe von Videos übersteigt die von Text bei weitem: Ein 720P-Bild wird in fast tausend Patch-Token unterteilt, ein Sekunde Video umfasst 24 Frames, und die Sequenzlänge erreicht problemlos das Hundertfache von reinen Textaufgaben. MAGI Preview begegnete dieser Herausforderung mit der Ultrafinegrained-MoE-Architektur. Die Gesamtparameter betragen 114B, bei einer einzelnen Vorwärtsberechnung werden nur etwa 6B aktiviert. Das Modell kann seine Kapazität weiter erweitern, aber bei jeder Inferenz müssen nicht alle Gewichte aufgerufen werden.
DeepSeek öffnete den Quellcode von 70 % der Kernmodelle und des Trainingsframeworks. Sand.ai hat nicht nur die Modellgewichte, sondern auch den vollständigen Quellcode und einen 61-seitigen technischen Bericht offenlegt. Im Bereich der Videogenerierung lag die Parametergröße von Open-Source-Modellen zuvor meist unter 20B. Die Öffnung des Quellcodes eines hundertmilliarden großen MoE-Videomodells ist ein historischer Moment, der erstmals stattfindet.
Sand.ai möchte zwei Fragen beantworten: Wie kann die Größe von Videomodellen stabil erweitert werden, um die Obergrenze ihrer Fähigkeiten weiter zu heben; und wie lassen sich die Trainings- und Inferenzkosten kontrollieren, nachdem das Modell größer geworden ist. DeepSeek hat diese beiden Fragen im Bereich der Sprachmodelle bereits beantwortet, und Sand.ai hat im Videobereich dieselbe Antwort gegeben.
01. Zwei große Herausforderungen der Videogenerierung
In den vergangenen zwei Jahren ist die Parametergröße von Videogenerierungsmodellen stetig gestiegen, aber zwei Wege ließen sich nie erfolgreich beschreiten.
Erstens das Kapazitätsproblem der Videogenerierung. Die Sequenzlänge des Modells übersteigt die von Text bei weitem. Ein kurzer englischer Text mit 1000 Wörtern entspricht etwa mehr als 1000 Token. Videos liegen in einer völlig anderen Größenordnung. Ein 720P-Bild wird unter einem visuellen Encoder in fast tausend Patch-Token unterteilt, und eine Sekunde Video umfasst 24 Frames. Bei der Verarbeitung eines mehrsekündigen Videos muss das Modell gleichzeitig Hunderttausende oder sogar Millionen visueller Token verarbeiten, zusätzlich zu Audiowellen und Textanweisungen. Die Sequenzlänge erreicht problemlos das Hundertfache von reinen Textaufgaben. Jede Erhöhung von Auflösung, Bildrate und Generierungsdauer führt zu einer weiteren Steigerung der Token-Anzahl.
Zweitens die Kosten für das Videotraining. Angesichts einer so riesigen Token-Größe muss jede Vorwärtsberechnung eine Datenmenge verarbeiten, die weit über die von Text hinausgeht. Bei dichten Modellen steigt der Rechenaufwand pro Token synchron mit der Erhöhung der Modellparameter; multipliziert mit der extrem langen Sequenz von Videos werden die Trainings- und Inferenzkosten schnell unerschwinglich. Die Parametererweiterungsmethode, die bei Sprachmodellen funktioniert, stößt bei Videoaufgaben oft zuerst auf die Beschränkungen von Kosten und Effizienz.
Im März 2026 stellte OpenAI den Betrieb von Sora ein. Ein großer Teil des Grundes dafür war: Mit der damaligen Architektur und den Inferenzkosten war eine groß angelegte kommerzielle Nutzung wirtschaftlich kaum machbar – es handelte sich um ein Modell, das sehr viel Geld kostet, aber keine Gewinne erzielen kann.
(Bildquelle: Material aus dem Internet)
Sprachmodelle mildern dieses Problem, indem sie auf MoE-Modelle (Modelle gemischter Experten) setzen: Das Modell behält einen großen Pool an Experten bei, und jeder Token aktiviert nur einen kleinen Teil davon, wodurch die Gesamtkapazität und die Berechnung pro Vorgang voneinander getrennt werden. Aber die Übertragung dieser Methode auf Videomodelle stößt hauptsächlich auf Schwierigkeiten im Kommunikationsbereich. Bei der herkömmlichen Expertenparallelisierung werden zuerst die Experten ausgewählt, die für jeden Token aufgerufen werden müssen, und dann die Token an die GPUs gesendet, auf denen sich die Experten befinden. Je mehr Experten aktiviert werden und je länger die Sequenz ist, desto mehr Daten müssen zwischen den Geräten übertragen werden. Bei Textsequenzen funktioniert dieser Mechanismus noch, aber bei der Token-Größe von Videos kann die Kommunikation zwischen verschiedenen Karten die durch die spärliche Berechnung eingesparte Rechenleistung leicht zunichte machen.
In den vergangenen zwei Jahren lag die Parametergröße von Open-Source-Videogenerierungsmodellen meist unter 20B, die größte betrug nur 20 bis 30B. Auf der Seite der Sprachmodelle sind Open-Source-Modelle bereits bei mehreren hundert Milliarden oder sogar Billionen von Parametern angekommen. Die Parametergröße von Videomodellen stagniert lange auf diesem Niveau, was hauptsächlich durch die beiden harten Beschränkungen Kapazität und Kosten bedingt ist.
In der Branche verbreitet sich eine Beurteilung: Videomodelle weisen ein unmögliches Dreieck auf – Kosten, Geschwindigkeit und Effekt lassen sich kaum gleichzeitig erreichen.
Aber MAGI Preview zeigt, wo der Durchbruchspunkt dieses Dreiecks liegt.
02. Zwei technische Entscheidungspunkte
MAGI Preview traf zwei wichtige technische Entscheidungen, die direkt dem Widerspruch zwischen Kapazität und Kosten begegnen.
Die erste Entscheidung ist die MoE-Architektur.
MAGI Preview verwendet eine extrem feingranulare Expertenarchitektur namens „Ultrafinegrained MoE“. Sie teilt die verborgene Darstellung mit 3072 Dimensionen in 12 Köpfe mit je 256 Dimensionen auf und verwendet MultiHead-MoE in allen 36 Schichten des Hauptnetzwerks. Jeder Kopf verfügt über 256 Experten, von denen bei jedem Vorgang 6 ausgewählt werden. Ein Token aktiviert in 12 Köpfen insgesamt 72 kleine Experten, wodurch jede Schicht 3072 lokale Experteneinheiten pro Kopf bildet.
Dies unterscheidet sich grundlegend von der herkömmlichen Routing-Methode von MoE. Bei grobgranularem MoE wird ein vollständiger Token als Ganzes an Experten weitergeleitet, ein Token wird maximal 2 Experten zugewiesen, und die Anzahl der Experten beträgt normalerweise 8 bis 16. Bei der MultiHead-MoE-Architektur von MAGI Preview können verschiedene Unterräume desselben Tokens jedoch von verschiedenen Experten unabhängig verarbeitet werden, und derselbe ursprüngliche Token kann gleichzeitig 4 bis 8 Experten aufrufen. Verschiedene Köpfe wählen unabhängig voneinander Experten in ihren jeweiligen niedrigdimensionalen Unterräumen aus und fusionieren die Ergebnisse anschließend erneut, um feinere Verarbeitungseinheiten für Informationen wie Charakteraussehen, Aktionszeitabläufe, Sprachsemantik, Stimme und Umgebungsgeräusche bereitzustellen.
Die Gesamtparameter betragen 114B, bei einer einzelnen Vorwärtsberechnung werden etwa 6B aktiviert. Das Modell kann seine Kapazität weiter erweitern, aber bei jeder Inferenz müssen nicht alle Gewichte aufgerufen werden.
Aber die Übertragung von MoE auf Videomodelle stößt zuerst auf Schwierigkeiten im Kommunikationsbereich. Bei der herkömmlichen Expertenparallelisierung werden zuerst die Experten ausgewählt, die für jeden Token aufgerufen werden müssen, und dann die Token an die GPUs gesendet, auf denen sich die Experten befinden. Je mehr Experten aktiviert werden und je länger die Sequenz ist, desto mehr Daten müssen zwischen den Geräten übertragen werden. Bei Textsequenzen funktioniert dieser Mechanismus noch, aber bei der Token-Größe von Videos kann die Kommunikation zwischen verschiedenen Karten die durch die spärliche Berechnung eingesparte Rechenleistung leicht zunichte machen.
Die Lösung von MAGI Preview ist die Einführung des Head-Parallel-Mechanismus. Vor dem Auftreten des dynamischen Routings verteilt das Modell die Kopf-Darstellungen mit fester Form auf verschiedene Geräte. Nachdem die Daten eingetroffen sind, werden die Experten lokal ausgewählt und ausgeführt. Der Hauptkommunikationsaufwand wird durch die Eingangsdarstellung bestimmt, und die Kommunikationskosten steigen nicht linear mit der Anzahl der aktivierten Experten.
Auf der Grundlage dieser Architektur hat Sand.ai außerdem die Hochleistungs-Operatorbibliothek MagiMoE selbst entwickelt, die die gesamte Kette von Expertenrouting, Sortierung und Berechnung abdeckt. Durch die Fusion von Rechenschritten werden Zwischenergebnisse und der Speichertransfer reduziert, und der Vorwärts- und Rückwärtsprozess wird für die Berechnung einer großen Anzahl kleiner Matrizen optimiert. Der verteilte Optimierer MagiMuon verwendet Muon zur Verarbeitung der Hauptmatrixparameter und AdamW zur Verarbeitung von Parametern, die für reguläre Aktualisierungen besser geeignet sind. Die kooperative Gestaltung von Modell, System und Daten ist der erste erfolgreiche Open-Source-Weg für hundertmilliarden große Video-MoE-Modelle.
(Bildquelle: offizielle Website von sand.ai)
Die zweite Entscheidung ist die einheitliche Single-Stream-Architektur für Audio und Video.
Vorhandene einheitliche Audio-Video-Modelle verfolgen meist zwei Pfade. Der eine ist die Multi-Stream-Architektur, bei der Video und Audio in verschiedene Netzwerkzweige gelangen und Informationen anschließend über Cross-Attention oder spezielle Fusionsmodule austauschen. Der andere ist das Kaskadierungsverfahren, bei dem Bild und Ton getrennt generiert und anschließend synchronisiert werden. Beide Lösungen haben ein gemeinsames Problem: Audio und Video werden in der frühen Phase der Generierung getrennt modelliert, und die Synchronisation von Bild und Ton hängt von nachfolgenden Schritten ab. Je länger die Kette ist, desto leichter sammeln sich Verzögerungen und Fehler an.
MAGI Preview setzt die Single-Stream-Architektur fort, die Sand.ai in der Arbeit zu daVinciMagiHuman vorgeschlagen hat. Die Token von Text, Video und Audio werden zu einer einheitlichen Sequenz zusammengefügt und von demselben Transformer-Stamm verarbeitet. Sprache, Lippenbewegungen, Körperbewegungen, Ton und Kamerarhythmus tauschen im gesamten Modell ständig Informationen aus, anstatt verschiedene Modalitäten nur an der engen Schnittstelle der Cross-Attention interagieren zu lassen.
Im Inneren des Modells werden gemeinsam genutzte Experten und modalitätsspezifische Experten eingerichtet. Gemeinsam genutzte Experten verarbeiten die Gemeinsamkeiten verschiedener Modalitäten, und spezielle Experten verarbeiten jeweils die einzigartigen Informationen von Sprache, Bild und Ton. Wenn eine Person spricht, generiert das Modell synchron Lippenform, Ausdruck und Körperbewegung; wenn im Umfeld ein Aufprallton auftritt, reagieren die Objekte im Bild zur gleichen Zeit; wenn sich der Musikrhythmus ändert, passen sich die Darbietung der Person und die Kameraführung entsprechend an.
Der einheitliche Stamm verkürzt die Generierungskette und reduziert zudem die Schnittstellen-, Warte- und Wartungskosten, die durch die Serienschaltung mehrerer Modelle entstehen. Für Inhalte wie Werbung, Kurzdramen, Animationen und Spiele kann eine einzelne Generierung einem vollständigen Schuss näher kommen, der gleichzeitig Bild, Ton und Darbietung umfasst.
(Bildquelle: offizielle Website von sand.ai)
Die Kombination der beiden Entscheidungen bildet eine vollständige Durchbruchslogik. MoE löst das Kostenproblem, und die Single-Stream-Architektur löst das Qualitätsproblem sowie das Problem der Bild-Ton-Synchronisation. Die Generierung eines 10-sekündigen 1080P-Videos für 0,5 Yuan verdient Aufmerksamkeit – nicht nur weil es billig ist, sondern weil die Kombination aus Inferenzkosten und technischen Fähigkeiten bedeutet, dass die Videogenerierung von „gelegentlicher Verwendung“ zu „häufigem Aufruf“ wird.