Das 535B-Großmodell hat sein dreimonatiges "Live-Streaming"-Training abgeschlossen: Code, Daten und Loss sind vollständig offengelegt, Andrew Ng hat dies öffentlich nachdrücklich befürwortet.

Während die meisten Modellunternehmen noch über die Frage streiten, ob sie Gewichte offenlegen sollen, hat ein großes Sprachmodell mit insgesamt 535 Milliarden Parametern beschlossen, seine Trainingskurven, Datenrezepte, Modellkonfigurationen und technischen Diskussionen direkt online zu stellen – und das, obwohl das Training noch nicht abgeschlossen ist und sogar jederzeit scheitern könnte.

Kürzlich veröffentlichte Percy Liang, außerordentlicher Professor für Informatik an der Stanford University und Direktor des Center for Research on Foundation Models (CRFM), einen Beitrag auf X, in dem er bekanntgab, dass das offene Grundmodellprojekt Marin in der vergangenen Woche das Training von Marin 535B-A23B gestartet hat.

Gemäß dem derzeit veröffentlichten Plan wird Marin 535B-A23B 18,75 Billionen Token verarbeiten, davon entfallen etwa 80 % auf das Vortraining und 20 % auf das mittlere Training. Das Training läuft auf 11 Systemen des Typs NVIDIA GB200 NVL72, dauert voraussichtlich etwa 3 Monate und hat einen gesamten Rechenaufwand von rund 2,7×10²⁴ FLOPs. Anschließend folgt noch die Nachtrainingsphase.

Gemäß der Ankündigung zum Start des Marin-Projekts entstand das Projekt ursprünglich am Center for Research on Foundation Models (CRFM) der Stanford University und wurde im Mai 2025 offiziell der Öffentlichkeit vorgestellt. Die Autoren der Startankündigung umfassen David Hall, Percy Liang sowie zahlreiche Forscher aus Stanford, Open Athena und der offenen Community.

David Hall

Percy Liang

Percy Liang arbeitete früher als leitender Wissenschaftler bei dem Unternehmen für konversationelle KI Semantic Machines. Dieses Unternehmen wurde 2018 von Microsoft übernommen, und das zugehörige Team beteiligte sich später an der Entwicklung von Technologien für Microsofts Konversationssysteme und Sprachassistenten.

Darüber hinaus ist er einer der Mitbegründer von Together AI, einem Unternehmen für Cloud-Inferenz großer Modelle und quelloffene KI. Das Geschäft von Together AI umfasst Modelltraining, Inferenzinfrastruktur und offene Modelldienste.

Der Grund für die Durchführung des Marin-Projekts liegt darin, dass sie eine Kernfrage im Bereich der KI erforschen möchten: Können Grundmodelle weiterhin wie quelloffene Software öffentlich erforscht und gemeinsam weiterentwickelt werden, wenn die Rechenleistung hochgradig konzentriert ist und die Trainingsrezepte immer stärker abgeschottet werden?

Obwohl einige der wichtigsten offenen Gewichte auf dem Markt wie die Modelle Llama, Gemma usw. ebenfalls quelloffen sind, sind der Code und die Daten, die zur Erzeugung dieser Modelle verwendet werden – das sogenannte „Rezept“ – nicht öffentlich zugänglich. Projekte wie BLOOM, Pythia, OLMo und LLM 360 haben hingegen Daten, Code, Protokolle oder zwischenzeitliche Prüfpunkte weitergehend offengelegt. Marin anerkennt die Vorleistungen dieser Projekte, ist aber der Ansicht, dass es bei offenen Modellen noch immer an einem Kooperationsmechanismus fehlt, der dem von quelloffener Software ähnelt.

Softwareentwickler können auf GitHub Issues einsehen, Code einreichen, Reviews durchführen und Fehler reproduzieren, aber Experimente mit Grundmodellen laufen in der Regel in abgeschotteten Clustern ab.

Die Außenwelt sieht meist nur die Modellgewichte und technischen Berichte nach Abschluss des Trainings, sie erfährt nicht, warum Forscher eine bestimmte Entscheidung getroffen haben, und sieht auch keine fehlgeschlagenen Experimente.

Aus diesem Grund schlägt Marin einen Mechanismus des „offenen Labors“ vor: Bei jedem Experiment werden Ziel und Hypothese im Voraus über ein GitHub-Issue bekanntgegeben, die konkrete Konfiguration wird als Code und Pull Request eingereicht, externe Forscher können an den Reviews teilnehmen, und nach dem Start des Experiments werden die W&B-Trainingsmetriken öffentlich gemacht. Noch wichtiger ist, dass in diesem Prozess alle Erfolge, Misserfolge und Spuren von zwischenzeitlichen Änderungen aufgezeichnet werden, während Daten, Code, Rezepte und das endgültige Modell weiterhin offen zugänglich sind.

Bislang hat Marin bereits Modelle mit 8B und 32B Parametern trainiert und beginnt nun, den Umfang der Experimente auf das 535B-A23B-MoE-Modell auszuweiten.

Der Beitrag von Percy Liang auf X hat mehr als 800.000 Aufrufe erhalten, und die Nachricht wurde schnell von Andrew Ng geteilt.

Andrew Ng bezeichnet Marin als ein „wertvolles Beispiel“ für die derzeitige Verteidigung der Offenheit von KI und betont, dass das Projekt nicht nur den Modellcode offenlegt, sondern auch Daten, Trainingsrezepte und den gesamten Experimentierprozess veröffentlicht.

Er schreibt weiter: „Die öffentliche Veröffentlichung von KI-Forschungsergebnissen war einst die Norm in der Branche; ich bin dankbar für das Konzept des offenen Labors, für das @percyliang eintritt.“

Allerdings ist Marin derzeit noch kein abgeschlossenes, vergleichbares neues Modell.

Der eigentliche Grund, warum dieses Experiment Aufmerksamkeit erregt, liegt nicht in den 535 Milliarden Parametern an sich, sondern darin, dass es den Trainingsprozess, der normalerweise von Modellunternehmen streng geschützt wird, zu einem öffentlichen Forschungsobjekt macht, das in Echtzeit beobachtet und überprüft werden kann.

535B bedeutet nicht, dass immer alle 535 Milliarden Parameter ausgeführt werden müssen

Aus der Bezeichnung geht hervor, dass es sich bei Marin 535B-A23B um ein Modell mit gemischten Experten (MoE-Modell) handelt.

„535B“ steht dafür, dass das Modell über insgesamt rund 535 Milliarden Parameter verfügt, während „A23B“ bedeutet, dass bei der Verarbeitung jedes einzelnen Tokens tatsächlich etwa 23 Milliarden Parameter an der Berechnung beteiligt sind. Es arbeiten nicht alle 535 Milliarden Parameter gleichzeitig, sondern das Routing-Modul ermittelt zuerst den Eingabeinhalt und verteilt die Token dann an einen Teil der Expertennetzwerke.

Das ist auch einer der wichtigsten Gründe, warum MoE in den letzten Jahren wieder zu einem der Haupttechnikpfade für große Modelle geworden ist: Das Modell kann seine Gesamtkapazität weiter vergrößern, ohne dass die Berechnungskosten pro Token im gleichen Maße wie die Gesamtparameterzahl ansteigen müssen.

Allerdings lassen sich die „23 Milliarden aktivierten Parameter“ nicht einfach mit einem dichten 23B-Modell gleichsetzen.

MoE umfasst neben den vom Routing ausgewählten Experten auch Strukturen wie Aufmerksamkeitsschichten, Einbettungsschichten, gemeinsame Experten und Routing-Module, die stets oder teilweise an der Berechnung beteiligt sind. Verschiedene Teams können unterschiedliche Definitionen für die „aktivierten Parameter“ verwenden. Beim Vergleich zweier MoE-Modelle sollte man daher nicht nur auf die Angabe „A23B“ achten, sondern gleichzeitig die Anzahl der Trainings-Token, die Anzahl der Experten, die Routing-Methode, den Anteil der gemeinsamen Experten und die tatsächlichen FLOPs vergleichen.

Aus den von Marin veröffentlichten technischen Hinweisen geht hervor, dass dieses Modell ein Design mit sowohl gemeinsamen als auch Routing-Experten verwendet: Pro Schicht verbleiben 2 gemeinsame Experten, während gleichzeitig 8 Routing-Experten aktiviert werden. Beide Arten von Experten verwenden eine Halbbreitenstruktur. Da die Routing-Experten zudem eine 2-fache Kompression nutzen, beschreibt das Team dies äquivalent so: Die gemeinsamen Experten liefern Neuronen mit etwa der Breite einer versteckten Schicht, die Routing-Experten liefern Neuronen mit etwa der Breite von zwei versteckten Schichten.

Mit anderen Worten stammt etwa ein Drittel der Berechnungen der Experten von den ständig aktiven gemeinsamen Experten. Dieses Design dient nicht dazu, die Parameterzahl des Modells besser aussehen zu lassen, sondern um das Risiko zu senken, das durch „Token-Dropping“ beim MoE-Training entsteht.

Die Schwierigkeit beim Training von MoE liegt nicht nur darin, das Modell auf mehr GPUs aufzuteilen

Der Vorteil von MoE-Modellen liegt in der spärlichen Berechnung, der ingenieurstechnische Aufwand hingegen in der komplexen Kommunikation.

Wenn eine Trainingspartie in das Modell eintritt, können verschiedene Token an unterschiedliche Experten geroutet werden, die oft auf verschiedenen GPUs oder sogar verschiedenen Racks verteilt sind. Das System muss zuerst eine All-to-All-Kommunikation durchführen, um die Token an die entsprechenden Experten zu senden. Nachdem die Experten ihre Berechnungen abgeschlossen haben, müssen die Ergebnisse wieder zurück zum ursprünglichen Berechnungspfad übermittelt werden.

Daher ist der Engpass beim MoE-Training nicht unbedingt die Rechenleistung der GPUs, sondern kann auch die Kommunikation zwischen den Karten, eine ungleichmäßige Auslastung der Experten und der Speicherzugriff sein.

Wenn einige wenige Experten zu viele Token erhalten, während andere relativ unausgelastet sind, entstehen im System „Hot-Experten“. Um ein Überlaufen einzelner GPUs zu vermeiden, legen Trainingsframeworks in der Regel eine Kapazitätsobergrenze für die Experten fest; Token, die diese Obergrenze überschreiten, können direkt verworfen werden – dies ist das sogenannte Token-Dropping.

Ein zu hoher Anteil an Token-Dropping bedeutet, dass einige Token nicht vollständig durch das ausgewählte Expertennetzwerk laufen, was das Trainingsergebnis beeinträchtigen kann. Eine Erhöhung der Expertenkapazität reduziert das Verwerfen von Token, führt aber zu höherem Speicherverbrauch auf der Grafikkarte, redundanten Berechnungen und Wartezeiten bei der Kommunikation. Dies ist ein typischer Kompromiss zwischen System und Modellleistung.

Das Marin-Team gibt bekannt, dass bei früheren Experimenten der Anteil an Token-Dropping von etwa 7 % auf rund 40 % angestiegen ist, als die Kontextlänge von 4K auf 65K erweitert wurde.

Einer der Gründe dafür ist: Bei einem relativ festgelegten Gesamtumfang an Token pro Partie gibt es bei längerem Kontext weniger unabhängige Sequenzen in einer Partie, die Verteilung der Token ist leichter ungleichmäßig, und es ist schwieriger, ein Lastenausgleich zwischen den Experten zu erreichen.

Aus diesem Grund verfolgt Marin 535B nicht von Anfang an einen extrem langen Kontext, sondern startet das Vortraining mit einer Kontextlänge von 4K.

Im Vergleich zu 8K kann eine Token-Partie gleichen Umfangs etwa doppelt so viele unabhängige Sequenzen aufnehmen, was dazu beiträgt, dass verschiedene Experten eine gleichmäßigere Eingabe erhalten.

Das von dem Team getestete neue parallele Expertenverfahren namens pooled/wave senkt den Anteil an Token-Dropping bei 4K-Kontext auf etwa 3 %. Marin räumt aber ausdrücklich ein, dass diese Implementierung noch experimentell ist und der Anteil an verworfenen Token bei einer Erweiterung auf 65K erneut zu hoch werden kann.

Das ist auch eines der technischen Probleme, die bei diesem offenen Training beobachtet werden können: Marin trainiert nicht nur ein großes Modell, sondern testet auch, ob ein groß angelegtes MoE-Kommunikationssystem über einen Zeitraum von etwa 100 Tagen stabil laufen kann.

Speziell für JAX wurde eine eigene parallele Expertenimplementierung geschrieben

Der Trainingsstack von Marin baut hauptsächlich auf JAX, XLA und Levanter auf.

JAX ist für die numerische Berechnung und automatische Differenzierung zuständig, XLA kompiliert den Berechnungsgraphen auf die unterlagerten Beschleuniger, und Levanter ist das von Marin verwendete Trainingsframework für große Modelle. Frühere Modelle von Marin mit 8B und 32B Parametern liefen hauptsächlich auf Googles TPU; die Umstellung des 535B-Modells auf NVIDIA GB200 NVL72 bedeutet, dass das Team die Probleme der parallelen Ausführung von Experten und der Kommunikationseffizienz auf GPU-Clustern neu bearbeiten musste.

Marin gibt in seinen öffentlichen Aufzeichnungen an, dass das