Zeng Yans neue Abhandlung ist genau der "10-Billionen"-Fahrplan von ByteDance
Zeng Yan, die zur Generation der nach 1995 Geborenen gehört, steigt schnell auf der Karriereleiter auf.
Zeng Yan wurde 1997 geboren, trat 2021 im Rahmen des Hochschulrekrutierungsprogramms zu ByteDance und wurde später zur Leiterin des Vortrainings von Seedance. Der Kanal „ZiMu AI“ hat in dem Artikel „Die „Luo Fuli“ von ByteDance, die die Hälfte von Seedance trägt“ bereits detailliert über sie berichtet.
Heute gibt es Gerüchte, dass Zeng Yans Titel inzwischen zur Kernleiterin von Seedance aufgestiegen ist. Bereits im März dieses Jahres lag Zeng Yans Dienstrang noch bei 3-2, im November erreichte sie den Rang 4-2 und schaffte damit zwei Sprünge im Rang innerhalb eines Jahres. Außerdem übernimmt Zeng Yan zunehmend mehr Aufgaben von Zhou Chang, dem ehemaligen Kernleiter von Seed.
In dem Seed-Team von ByteDance mit extrem hoher Personaldichte ist eine solche Aufstiegsgeschwindigkeit sehr selten.
Der Grund dafür liegt möglicherweise darin, dass Zeng Yans Entwicklungsweg besser mit den Vorstellungen von Zhang Yiming übereinstimmt. Als Projektleiterin ist das von ihrem Team veröffentlichte Papier das beste Beispiel dafür.
Dieses Papier trägt den Titel „Cola2: Diffusionsmodelle und Methoden des kontinuierlichen latenten Raums aus dem Bereich der Videogenerierung für die Sprachmodellierung anwenden“, seine Gewichte wurden in der ersten Novemberhälfte auf Hugging Face veröffentlicht.
Das Papier stellt eine Methode vor, mit der das Modell Text durch die Generierung von Videos verarbeiten kann. Laut den Angaben im Papier spart diese Methode nicht nur Rechenleistung, sondern liefert auch bessere Generierungsergebnisse.
Dieses Papier ist gleichzeitig auch ein Fahrplan.
Ausgehend von Diffusionsmodellen vertraut Zeng Yan auf den Weg des Skaleneffekts. Dies stimmt mit dem Konzept des Modells mit extrem großen Parametern überein, das Zhang Yiming laut Enthüllungen aus ausländischen Medien persönlich leitet, und entspricht auch dem Langfristdenken, das Zhang Yiming in internen Besprechungen von ByteDance vorgebracht hat.
In der gegenwärtigen Phase mit hohem Bedarf an Rechenleistung fällt es ByteDance schwer, eine Strategie mit mehreren parallelen Linien zu unterstützen. Deshalb fusioniert ByteDance Abteilungen und wechselt von dem Wettbewerb mehrerer paralleler Projekte zu einer konzentrierten Wette. Zuerst gewinnt man in einem Modalität, dann lässt man die Gewinner mit ihren Methoden zu anderen Modalitäten expandieren.
Zeng Yans Weg ist genau diese Wette.
Was behandelt Cola2
Bevor man das Papier über Cola2 erklärt, muss man zuerst eine Sache erläutern.
Die heute gängigen großen Sprachmodelle wie DeepSeek, Qwen und Doubao verwenden alle dieselbe Methode, die „Autoregressivität“ genannt wird. Wie bei einem Wortspiel, bei dem man das nächste Wort an das vorherige anknüpft, rät das Modell anhand des bereits geschriebenen Inhalts, was das nächste Token ist, rät nach einem Token das nächste und gibt sie von links nach rechts nacheinander aus.
Diese Methode ist sehr erfolgreich, hat aber einen angeborenen Fehler: Man kann nicht wie beim Schreiben eines Aufsatzes zuerst eine Gliederung entwerfen.
Wenn Menschen einen Aufsatz schreiben, überlegen sie sich normalerweise zuerst, worum es in diesem Absatz gehen soll, bevor sie die Sprache organisieren. Das autoregressive Modell denkt während des Schreibens, schreibt, so weit es kommt, und muss in einer Reihenfolge vorgehen: Solange das vorherige Zeichen nicht geschrieben ist, kann man das nächste überhaupt nicht schreiben.
Die Idee von Cola2 besteht darin, den Vorgang des Schreibens von Text in zwei Ebenen zu unterteilen.
In der ersten Ebene klärt man zuerst an einem Ort, der „kontinuierlicher latenter Raum“ genannt wird, genau, „was man sagen möchte“; in der zweiten Ebene überträgt man die überlegene Bedeutung dann in einzelne konkrete Zeichen.
Das bedeutet im Grunde: Die erste Ebene ist das Erstellen der Gliederung, die zweite Ebene ist das Schreiben des vollständigen Textes anhand der Gliederung.
Obwohl der Begriff „latenter Raum“ etwas science-fiction-artig klingt, wird er tatsächlich von Menschen, die KI zur Videogenerierung verwenden, täglich genutzt.
Die Rohdaten eines Videos sind sehr groß. Wenn man sie direkt zum Training verwenden würde, würde dies zu einem Mangel an Rechenleistung führen. Deshalb ist die übliche Vorgehensweise von Videogenerierungsmodellen, zuerst das Bild in ein viel kleineres „Komprimierungspaket“ zu komprimieren, das Modell in diesem Paket arbeiten zu lassen und es schließlich wieder in Bild für Bild zu dekomprimieren.
Die Arbeit, die im Komprimierungspaket ausgeführt wird, wird „Diffusion“ genannt. Das ist ähnlich wie bei der Entwicklung von Fotos in der Vergangenheit: Am Anfang liegt ein Negativ voller Rauschpunkte vor, das Modell wischt die Rauschpunkte Schritt für Schritt weg, und das Bild taucht allmählich auf.
Die Logik von Cola2 besteht darin, die „Generierung von Text“ wie die „Generierung von Videos“ zu behandeln.
Diese Logik gab es bereits bei der ersten Generation von Cola DLM, aber Cola DLM hatte Mängel. Laut dem Papier über Cola2 ist Cola DLM bei generierenden Aufgaben schwach, das Problem liegt bei dem Decoder, der für das „Schreiben des vollständigen Textes“ zuständig ist. Deshalb ist die Hauptfunktion von Cola2, diesen Mangel zu beheben. Es macht drei Dinge mehr als die Vorgängergeneration.
Erstens: Lernen, Inhalte nach ihrer Bedeutung zu segmentieren.
Um Text wie ein Video zu komprimieren, muss man zuerst entscheiden, wie genau die Segmente gebildet werden.
Die alte Methode segmentierte starr nach der Länge, zum Beispiel jeweils zwei Token pro Segment. Dadurch konnte „Pekingente“ möglicherweise in „Peking“ und „Ente“ geteilt werden, aber auch in unsinnige Segmente wie „king kao“.
Cola2 ändert dies zu einer dynamischen Segmentierung nach Bedeutung, wobei durchschnittlich jeweils zwei Token zu einem „Gliederungspunkt“ komprimiert werden. Welche Inhalte genau zusammengefasst werden, hängt vom Inhalt selbst ab.
Der Grad der Komprimierung wird durch einen negativen Rückkopplungsmechanismus ähnlich dem Thermostat einer Klimaanlage gesteuert. Wenn die Komprimierung zu stark ist, zum Beispiel bei den einzelnen Zeichen „Pe“, „king“, „kao“, „ya“, lockert sich das System automatisch ein wenig. Wenn die Komprimierung zu locker ist, zum Beispiel bei „Die Pekingente schmeckt gut“, zieht es sich automatisch ein wenig zusammen und hält den Wert stets stabil in der Nähe des Ziels.
In den Experimenten liegt die Genauigkeit bei der Segmentierung nach Bedeutung um 8,2 % höher als bei der Segmentierung nach fester Länge. Noch interessanter ist, dass bei geeigneten Einstellungen das Ergebnis nach der Komprimierung (29,4 %) sogar etwas besser ist als ohne jegliche Komprimierung (28,7 %). Das zeigt, dass hauptsächlich überflüssige „Ballastinformationen“ komprimiert werden.
Zweitens: Den Decoder so trainieren, dass er nicht nur der Gliederung folgt, sondern auch selbstständig Inhalte erfinden kann.
Wenn der Decoder nur der Gliederung folgt, führt ein Fehler in der Gliederung natürlich zu Fehlern im gesamten Aufsatz. Deshalb trainiert Cola2 den Decoder absichtlich mit drei Arten von Gliederungen: Eine ist klar und deutlich, eine wurde mit Rauschpunkten versehen und ist kaum zu erkennen, eine dritte ist überhaupt nicht vorhanden.
Das ist wie das Trainieren eines Schauspielers: Der Teleprompter ist manchmal klar, manchmal verzerrt, manchmal komplett ausgeschaltet – er muss trotzdem die Aufführung fortsetzen können.
Das endgültig gewählte Verhältnis lautet: Nur in 20 % der Fälle wird eine klare Gliederung bereitgestellt, in den restlichen 80 % ist die Gliederung unscharf oder nicht vorhanden. Trotzdem behält der Decoder eine Genauigkeit von über 99,5 % bei, wenn er den Originaltext anhand der klaren Gliederung wiederherstellt.
Wenn man tatsächlich Inhalte schreibt, stellt man über den Regler namens CFG ein, welcher Anteil dem „Folgen der Gliederung“ und welcher Anteil der „eigenen Kreativität“ zugeordnet wird.
Drittens: Gliederung und vollständiger Text werden gemeinsam trainiert. Das ist auch das, was der Untertitel mit „Co-Adaptive“ (gemeinsame Anpassung) meint.
Bisher war die übliche Vorgehensweise oft, zuerst den „Kompressor“ zu trainieren, ihn dann einzufrieren und erst danach den Decoder zum Schreiben des Textes zu trainieren.
Wenn die Gliederungsvorlage festgelegt ist, wird die Gliederungsebene überhaupt nicht angepasst, selbst wenn man beim Schreiben des Aufsatzes feststellt, dass die Gliederung fehlerhaft ist. Cola2 lässt beide Ebenen gemeinsam trainieren: Wenn der Decoder zum Schreiben des Textes feststellt, dass etwas fehlt, wird ein Signal zurückgesendet, das die Gliederungsebene zu Anpassungen zwingt.
In den experimentellen Ergebnissen liegt das Ergebnis bei 47,6 %, wenn der Kompressor komplett festgelegt und nicht verändert werden darf. Wenn beide Ebenen gemeinsam trainiert werden, steigt das Ergebnis auf 53,5 %. Fügt man noch ein Trainingsziel hinzu, das dem Kompressor erlaubt, „den nachfolgenden Text vorauszusehen“, steigt das Ergebnis auf 58,2 %.
Es gibt hier auch ein intuitiv widersprüchliches Design: Der DiT, der für das Erstellen der Gliederung zuständig ist, darf nur lernen, aber den Kompressor nicht umgekehrt verändern.
Cola2 verwendete für das Training etwa 346 Milliarden Token, das Modell ist noch nicht konvergiert. Es erreicht einen durchschnittlichen Wert von 60,10 Punkten bei 8 Aufgaben und übertrifft Llama-3-8B bei den beiden Aufgaben HellaSwag und StoryCloze. Die öffentlich bekannte Vortrainingsmenge von Llama-3 liegt dagegen bei über 15 Billionen Token, also mehr als dem 43-fachen Wert.
Was die Rechenleistung betrifft, wird laut dem Papier durchschnittlich jeweils zwei Token zu einem Gliederungspunkt komprimiert, sodass die Sequenz, die der DiT verarbeiten muss, um die Hälfte kürzer wird. Theoretisch sinkt der Hauptberechnungsaufwand auf die Hälfte des ursprünglichen Werts, und der Aufwand für den Aufmerksamkeitsbereich sinkt auf ein Viertel.
Im letzten Teil des Papiers heißt es: Das Modell ist „bei weitem nicht konvergiert“, insbesondere der DiT. Der Trainingsumfang ist „aufgrund der verfügbaren Ressourcen begrenzt“. Um die Obergrenze dieses Wegs zu erreichen, sind größere Modelle, längeres Training, mehr Daten und mehr Rechenleistung erforderlich.
Darüber hinaus weist das Papier darauf hin, dass der kontinuierliche latente Raum zu einer gemeinsamen Schnittstelle zwischen Text, Bildern und Videos werden könnte, die zu einer „Einheit von Verstehen und Generieren“ führt.
Die „Einheit von Verstehen und Generieren“ ist genau die Geschichte, die Zhou Chang bei ByteDance bereits seit über einem Jahr erzählt hat, aber nicht erfolgreich vermitteln konnte.
Zeng Yans Weg passt besser zu Zhang Yiming
Am 12. November berichtete The Paper, dass Zhang Yiming kürzlich in einer Vollversammlung für das KI-Team sagte, ByteDance sei in der Lage, mit OpenAI und Anthropic zu konkurrieren, aber um wirklich die Spitzenforschung einzuholen, werde es „frühestens 2029 oder 2030“ dauern.
Zhang Yiming erklärte, dass im Vergleich zu führenden ausländischen Unternehmen das Umfang der Vortrainingsdaten des Seed-Modells „immer noch zu gering ist“, was das derzeit am meisten zu beachtende Problem darstellt. Gleichzeitig berichteten ausländische Medien, dass Seed gerade ein Modell mit bis zu 10 Billionen Parametern vortrainiert.
Nicht genügend Daten, größere Modelle aufbauen und am Langfristdenken festhalten – das entspricht eindeutig eher Zeng Yans Weg. Zhou Changs Weg weicht von dieser Richtung ab.
Im Juli 2025 verließ Yang Jianchao, der ursprünglich für die visuelle Generierung zuständig war, das Unternehmen, und die Linien für Bild- und Videogenerierung wurden Zhou Chang zugewiesen. Seitdem fördert er intern bei ByteDance eine neue These namens „Einheit von multimodalem Verstehen und Generieren“.
Zhou Changs Idee besteht darin, von der Verstehensseite auszugehen und die Generierung miteinzubeziehen, sodass ein Modell sowohl sehen als auch zeichnen kann.
Aber diese Geschichte ließ sich nicht erfolgreich umsetzen.
Nachdem Zhou Chang die Verantwortung übernommen hatte, war das bedeutendste Ergebnis, das diese einheitliche Idee widerspiegelt, das Bildmodell Seedream 5.0 Lite, das im Februar dieses Jahres zeitgleich mit Seedance 2.0 veröffentlicht wurde.
Die interne Bewertung von ByteDance für 5.0 Lite lautet „a relatively small model“ (ein relativ kleines Modell), das in Bezug auf strukturelle Stabilität, Realismus und Ästhetik „noch Verbesserungsspielraum“ hat. Die allgemeine Meinung in der Community lautet, dass Zhou Chang das Verstehen gut beherrscht, aber mit der Generierung weniger vertraut ist.
Ein Forscher von Aliq Qwen sagte: Es gibt praktisch keine bekannten sehr wirksamen Lösungen für die „Einheit von Verstehen und Generieren“, bisher schafft das niemand. In dieser Phase einfach Parameter hinzuzufügen, führt nicht unbedingt zu Ergebnissen.
Dieses Jahr im August führte Seed eine organisatorische Anpassung durch: Das VLM, aus dem Zhou Chang hervorging, wurde in das System der großen Sprachmodelle integriert und von einer unabhängigen Abteilung zu einer untergeordneten Datenabteilung umgewandelt. Ein interner Mitarbeiter von Seed sagte: „Er (Zhou Chang) hat seine ursprüngliche Machtbasis verloren, er hat praktisch keinen Kernbereich mehr.“
Tatsächlich stammt auch Zeng Yan aus dem Bereich des Verstehens. Nur zwei Monate nach ihrem Eintritt in das Unternehmen im Jahr 2021 veröffentlichte sie als Erstautorin das Papier X-VLM, das untersucht, wie KI die Inhalte in Bildern mit Texten verknüpfen kann.
Wenn man zum Beispiel sagt „Ein kleines Mädchen in roter Kleidung fährt Fahrrad“, muss das Modell das kleine Mädchen im Bild genau finden.
Nach ihrem Wechsel zu Seed im Jahr 2023 begann sie, sich dem Bereich der Generierung zu widmen. Bei PixelDance, an dem Zeng Yan 2024 beteiligt war, wurde das Problem gelöst, dass sich Figuren in Videos beim Bewegen verformen. Es ist heute die zentrale technische Grundlage für die Videogenerierung von ByteDance und auch der Ursprung des Namens Seedance.
Der Erfolg von Seedance 2.0 hat keinen direkten Zusammenhang mit der „Einheit von Verstehen und Generieren“. Es generiert Video und Audio gemeinsam im selben DiT, sodass Bild und Ton von Natur aus übereinstimmen. Die Fähigkeiten von Seedance 2.0 stammen hauptsächlich aus dem „Kontinuitätsprinzip“, in dem Zeng Yan sehr erfahren ist.
Aus diesem Grund erklärten Mitarbeiter von Seed, dass Zeng Yan die tatsächliche Leiterin von Seedance ist, alle technischen Entscheidungen fallen auf ihrer Ebene an.
Die Trainingsziele für Verstehen und Generieren sind unterschiedlich, die Daten sehen anders aus, und auch die