Zhou Chang und Pang Tianyu haben das Unternehmen verlassen – ist die multimodale Generierung in Ungnade gefallen?

Liang Wenfeng sagte einmal: „Videogenerierung, 3D-Generierung und Weltmodelle haben kaum Bezug zur Hauptlinie der künstlichen Intelligenz – wir werden uns damit nicht befassen.“

Diese Aussage stand im völligen Gegensatz zur damaligen Situation. Im ersten Halbjahr 2026 war die multimodale Generierung die Hauptaufgabe großer KI-Unternehmen, die jeweils über unabhängige Abteilungen, eigene Produktlinien und verantwortliche Leiter verfügten.

Die Abteilung für große Sprachmodelle von Tencent existiert auf gleicher Ebene wie die Abteilung für multimodale Modelle, wobei letztere eigenständig für Bild-, Video- und 3D-Generierung zuständig ist. Bei ByteDance berichten die visuellen Generierungsgeschäfte wie multimodale Interaktion, Weltmodelle, Seedream und Seedance sowie das Roboterteam einheitlich an Zhou Chang. Alibaba veröffentlichte im April ein Weltmodell, das auf einer nativen multimodalen Architektur basiert.

In dieser Zeit galt die multimodale Generierung als „gemeinsamer Ausgang für Kapital von KI-Unternehmen“, und alle großen Unternehmen betrachteten die multimodale Generierung als neue KI-Erzählung.

Doch innerhalb der letzten Woche nacheinander zwei Nachrichten bekannt wurden.

Am 31. Oktober berichtete Z Finance, dass Zhou Chang, der zentrale Leiter von ByteDance Seed, das Unternehmen verlassen hat, um ein eigenes Unternehmen im Bereich Physical AI zu gründen und Unterstützung von führenden US-Dollar-Fonds erhalten hat. Am 2. November gaben mehrere Quellen an, dass Pang Tianyu, leitender Forschungswissenschaftler von Tencents Hunyuan und Leiter für multimodales Verstärkungslernen, das Unternehmen verlassen hat, nachdem er weniger als 9 Monate dort tätig war.

Hinter dem Personalverlust vollzog sich eine Wandel in der Haltung großer Unternehmen zur multimodalen Generierung. Mit der rasanten Entwicklung von Technologien wie Agenten verlagern große KI-Unternehmen ihre Rechenleistung und Budgets auf diese Geschäfte, bei denen Wachstum sichtbar ist.

In der aktuellen Erzählung erscheint die multimodale Generierung wie ein „Optionsgeschäft“. Große Unternehmen geben nur wenig Geld aus, bei Erfolg gibt es keine Obergrenze für den Gewinn, bei Verlust ziehen sie sich sofort zurück und holen ihr Kapital zurück.

Ist die multimodale Generierung ein Optionsgeschäft?

Multimodalität ist ein Geschäft, das sehr viele Token verbraucht.

Nehmen wir Bilder als Beispiel: Um das Modell dazu zu bringen, Bilder zu verstehen, muss man das Bild in mehrere kleine Bildblöcke unterteilen.

Ein Bild von 224×224 Pixeln ergibt bei Unterteilung in 14×14 Blöcke 256 Token, ein Bild von 336×336 Pixeln ergibt 576 Token. Bei höheren Auflösungen kommt ein einzelnes Bild auf über tausend Token. Bei langen Videos steigt die Anzahl um Größenordnungen, da sie der Anzahl der Frames multipliziert mit der Anzahl an Blöcken pro Frame entspricht. Der Aufwand für die Aufmerksamkeitsmechanismen von Transformer wächst mit dem Quadrat der Sequenzlänge, sobald die visuelle Sequenz lang wird, steigen die Kosten sofort stark an.

Architekturen wie visuelles Verständnis und Diffusionsgenerierung (VLM+DiT), die gleichzeitig autoregressive Prozesse und Diffusion ausführen müssen, verbrauchen nur noch mehr Token.

Das typischste Beispiel ist OpenAIs Sora. Von der Veröffentlichung der App bis zur Ankündigung der Einstellung durch OpenAI verging nur etwa ein halbes Jahr. Ausländische Medien berichteten, dass Sora täglich Rechenkosten von 1 Million US-Dollar verursachte und die Nutzerzahl zurückging. Da die Kosten deutlich höher als die Einnahmen lagen, entschied sich das Unternehmen schließlich für den Stopp zur Schadensbegrenzung.

Bei der Inferenz sind die Kosten sogar noch höher. Textmodelle können Dutzende von Anfragen auf einer einzigen Grafikkarte bündeln, multimodale Generierungsmodelle schaffen das nicht: Sie müssen alle paar Millisekunden einen Umgebungszustand generieren und diesen in Echtzeit streamen, sodass jeder Nutzer praktisch eine exklusive GPU-Pipeline belegt.

Ein weiteres großes Problem der multimodalen Generierung ist die schwierige Bewertung, für die eine große Anzahl von Bewertern benötigt wird, um die vom Modell generierten Inhalte zu benoten. Das Datenbewertungsteam hinter Seedance umfasst bis zu tausend Personen.

Große Sprachmodelle können mit relativ einheitlichen Kriterien wie Schlussfolgerung, Code und Mathematik benotet werden, Versionen lassen sich direkt miteinander vergleichen, und die Team-KPIs lassen sich leicht ausrichten.

Bei der multimodalen Generierung ist das genau umgekehrt. Die Autoren des MMMG-Benchmarks erklärten, dass die reproduzierbare Bewertung der multimodalen Generierung hinter der Entwicklung des Modells selbst zurückbleibt. Obwohl die menschliche Bewertung als Goldstandard gilt, lässt sie sich nicht in großem Maßstab durchführen, ist stark subjektiv und erschwert die systematische Lokalisierung von Schwächen des Modells.

Aus diesem Grund muss ByteDance ein Bewertungsteam von tausend Personen einsetzen, um Seedance zu bewerten. Der Kern liegt darin, die Anzahl der Mitarbeiter zu erhöhen, um den Einfluss der Subjektivität auf die Modellleistung zu verringern.

Wenn die Bewertung von Ästhetik, zeitlicher Kohärenz und menschlichen Präferenzen abhängt, ist es schwierig, die Qualität eines Modells anhand von Noten zu beurteilen und zu entscheiden, ob es sich lohnt, weitere Ressourcen in das Team dieses Modells zu investieren.

Im Vergleich zu offensichtlich subjektiven Diskussionen wie „Ist dieses Video schön?“ halten es die Menschen für viel wertvoller, über Aussagen wie „Diese Version hat die Bewertung im Benchmark um mehrere Punkte verbessert“ zu diskutieren.

Obwohl ByteDance mit Seedance gute Einnahmen erzielt hat, liegt der entscheidende technische Wendepunkt eigentlich bei der AGI – das entspricht dem Ausübungspreis der Option.

Wenn sich herausstellt, dass AGI unbedingt multimodale Generierung erfordert, wird die Option eingelöst. Wenn sich herausstellt, dass AGI keine multimodale Generierung benötigt, verfällt die gesamte Optionsprämie auf Null.

Die Token, die große Unternehmen jeden Monat verbrennen, sind die laufend gezahlten Optionsprämien.

Offensichtlich glauben immer mehr Menschen heute, dass AGI nichts mit multimodaler Generierung zu tun hat.

Zum Beispiel haben die beiden Modellreihen GLM-5.2 bis 5.3 und DeepSeek V4 Flash bis Pro keine visuelle Erweiterung vorgenommen, sondern ihre Leistung nur durch Nachtraining verbessert. In den Ablationsexperimenten von K3 erklärten die Forscher: „Je mehr multimodale Daten hinzukommen, desto schlechter werden möglicherweise das Textverständnis, die Programmierfähigkeiten oder die Mathematikleistung.“

Yann LeCun lieferte den tödlichen Schlag: Mit dem großen Erfolg seiner Arbeit zu H-JEPA überzeugt die von ihm vertretene JEPA-Route immer mehr Menschen.

JEPA verfolgt das Ziel, die Welt in einem Raum abstrakter Repräsentationen vorherzusagen, ohne jemals ein einziges Pixel zu generieren. Die Begründung lautet, dass die physische Welt voller unvorhersehbarer zufälliger Details ist, sodass die pixelweise Rekonstruktion sowohl verschwenderisch als auch fehlerhaft ist. Das liefert die technische Begründung für die These „AGI braucht keine pixelweise Generierung“.

Daher ist die Schrumpfung der Geschäftsabteilungen unvermeidlich. Zum Beispiel nach der Telefonkonferenz zum zweiten Quartalsfinanzbericht von Tencent erhält WorkBuddy bei der Kapitalverteilung vorrangige Ressourcen, während die Priorität anderer neuer KI-Produkte herabgesetzt wird.

Was ist eigentlich mit der multimodalen Generierung passiert?

Am 24. Juli veröffentlichte Tencents TEG eine interne Mitteilung: Die Abteilungen für große Sprachmodelle und multimodale Modelle werden aufgelöst, und eine Abteilung für Basismodelle wird gegründet. Der leitende KI-Wissenschaftler Yao Shunyu übernimmt zusätzlich die Leitung und berichtet an Lu Shan, den Präsidenten von TEG.

Damals begründete Tencent dies damit, „die Effizienz von Modellentwicklung und Zusammenarbeit zu verbessern und die intelligente Obergrenze von Allmodell-Modellen zu erforschen“.

Die beiden aufgelösten Abteilungen wurden im April 2025 gegründet. Eine Linie war für das Textverständnis von Sprachmodellen zuständig, die andere für Bild-, Video- und 3D-Generierung, beide Abteilungen waren auf gleicher Ebene und arbeiteten unabhängig voneinander – Tencent nannte dies „zweigleisige Entwicklung“.

Bereits am 20. März hatte Tencent das fast zehn Jahre alte AI Lab aufgelöst: Ein Teil der Mitarbeiter wurde in die Abteilung für große Sprachmodelle eingegliedert, ein anderer Teil wechselte zum Zentrum für Industrie-Uni-Forschungskooperation. Die ursprünglich unabhängigen Fähigkeiten wie Computer Vision und Sprache wurden vollständig in das Hunyuan-System integriert.

Damals wurde allgemein angenommen, dass der wahre Grund für die Zusammenlegung darin lag, dass die Trainingsstandards für große Sprachmodelle und multimodale Modelle nicht einheitlich waren, sodass die Technologien nicht austauschbar waren und gleichzeitig eine Verschwendung von Rechenressourcen entstand.

Einen Monat später war ByteDance an der Reihe. Bei der organisatorischen Anpassung im August wurde das visuell-sprachliche Modell VLM, mit dem Zhou Chang seine Karriere begann, in das System der großen Sprachmodelle (LLM) integriert und wurde zu einer untergeordneten Datenabteilung unterhalb der LLM. Ein Mitarbeiter von Seed sagte gegenüber 36Kr: „Er hat seinen Ursprungsort verloren, er hat praktisch kein Kerngebiet mehr.“

Denn damals brauchte man eine Art „Klebstoff-Technologie“, damit das große Modell visuelle Inhalte erfassen konnte.

Man nimmt ein trainiertes rein textbasiertes LLM, schließt einen visuellen Encoder davor an, teilt Bilder in kleine Blöcke auf und wandelt sie in Vektoren um, trainiert dann eine Projektionsschicht dazwischen, um diese Vektoren in den Vokabularraum des Sprachmodells zu übersetzen, und fügt sie schließlich zusammen mit Text zur Verarbeitung ein. Damals folgten Lösungen wie LLaVA, Qwen2-VL und DeepSeek-VL2 alle diesem Weg.

Sein größter Vorteil ist die geringe Kostenbelastung.

Für den visuellen Encoder gibt es Open-Source-Referenzen, das Sprachmodell ist bereits im eigenen Haus vorhanden, und die mittlere Schicht braucht nur als Klebstoff zu funktionieren, um beide Komponenten zu verbinden.

Eine unabhängige multimodale Abteilung wird praktisch um diese Klebstoff-Schicht herum aufgebaut. Einige Mitarbeiter kümmern sich um den visuellen Encoder, einige um die Ausrichtungsdaten, einige um die Feinabstimmung von Bild-Text-Anweisungen, einige um die Bewertung. Solange der Klebstoff existiert, existiert die Abteilung.

Doch heute existiert diese Klebstoff-Schicht nicht mehr, große Unternehmen wechseln zu nativer Multimodalität. Ab der ersten Schicht des Vortrainings werden die Token von Bildern, Text, Audio und Video in dieselbe Hauptlinie gemischt.

Im Februar dieses Jahres begann Alibaba ab Qwen3.5, visuelle Fähigkeiten durch frühe Fusion in das Hauptmodell zu integrieren und veröffentlichte danach keine neuen allgemeinen VL-Verständnismodelle mehr.

Heute verfolgen große Unternehmen zwei Hauptwege bei der Multimodalität: Der erste ist der Verständnisweg von Liang Wenfeng, der das Modell dazu bringt, Bilder und Videos zu verstehen und die Frage beantwortet, wie man die Welt wahrnimmt. Dieser Weg ist bereits erfolgreich umgesetzt.

Der zweite Weg besteht darin, visuelles Verständnis und Diffusionsgenerierung in eine einzige Architektur zu integrieren, sodass das Modell auf der Grundlage des Weltverständnisses auch Inhalte generieren kann.

Nach der Veröffentlichung von GPT-4o im Jahr 2025 versuchten Google, Alibaba und ByteDance alle diesen Weg, aber keiner von ihnen war erfolgreich.

Bild- und Videogenerierung hängen von Diffusionsmodellen ab, die in einem kontinuierlichen latenten Raum schrittweise Rauschen entfernen. Trainingsziele, Datenrepräsentationen und Rechenmechanismen unterscheiden sich stark voneinander. Wenn man sie zwangsweise in ein einziges Modell einbaut, ist es bereits eine große Herausforderung, zu verhindern, dass sich die Aufgaben gegenseitig ausbremsen.

Ein multimodaler Forscher von Tencents Hunyuan sagte gegenüber 36Kr: „Multimodales Verständnis und Generierung sind nicht so einheitlich. Das Verständnis arbeitet normalerweise mit dem LLM-Team zusammen, während die Generierung relativ unabhängig ist.“ Ein Forscher von Alibabas Qwen sagte dagegen: Es gibt bisher kein bekanntes sehr effektives Konzept für die „Einheit von Verständnis und Generierung“. Auch die Bewertung ist noch nicht etabliert: Es ist viel schwieriger zu beurteilen, ob ein Bild gut gezeichnet ist oder ein Video der Absicht entspricht, als zu prüfen, ob eine Mathematikaufgabe richtig gelöst wurde.

Die Erzählung, die Zhou Chang bei ByteDance vorantrieb – „Einheit von multimodalem Verständnis und Generierung“ – gehört genau zu diesem zweiten Weg.

Im Sinne von Optionen nennt man das „aus dem Geld“: Wenn ein Unternehmen die Abteilung schrumpft, verzichtet es auf die Ausübung der Option.

Der Gefälle

Nach der Schrumpfung der Geschäftsabteilungen werden die ehemaligen Leiter dieser Abteilungen natürlich herabgestuft.

Zhou Chang kam im August 2024 von Alibaba zu ByteDance mit der Rangstufe 4-2. Berichten zufolge belief sich sein Jahresgehalt auf einen achtstelligen Betrag. Mehr als zehn ehemalige Mitarbeiter von Alibaba folgten ihm zu ByteDance, und beide Seiten waren vorübergehend in Arbeitsgerichtsverfahren wegen Wettbewerbsverboten verwickelt.

Bei Alibaba war er der zentrale technische Leiter des Tongyi großen Modells. Vor seinem Verlassen veröffentlichte er Qwen2, das auf der Open-Source-Bestenliste von Hugging Face die Spitzenposition einnahm und damals Llama 3-70B übertraf. Nach seinem Eintritt bei Seed leitete er die multimodale Interaktion und das Weltmodell und berichtete an Wu Yonghui.

In den folgenden zwei Jahren erweiterte sich sein Zuständigkeitsbereich ständig. Im Juli 2025 kündigte Yang Jianchao, der Leiter für visuelle multimodale Generierung von Doubao, an, „vorübergehend eine Pause einzulegen“. Laut einer Nachricht von 36Kr unter Berufung auf interne Quellen von Seed verlangte die Organisation, dass Yang Jianchao an Zhou Chang berichtet, woraufhin Yang Jianchao das Unternehmen verließ. Die zwei visuellen Generierungslinien Seedream und Seedance wurden Zhou Chang zugewiesen.

Am 2. Juni 2026 berichtete die Publikation „Later“, dass ByteDance intern die Architektur angepasst hat. Das Seed Robotics-Team, das ursprünglich von Li Hang geleitet wurde, berichtete bereits seit über einem Monat an Zhou Chang. ByteDance sucht außerdem einen technischen Leiter für Embodied Intelligence mit der Rangstufe L8, der dem Alibaba-Niveau P10-P11 entspricht – auch dieser soll an Zhou Chang berichten.

Berichten zufolge war der Grund für die erneute Erweiterung von Zhou Changs Verwaltungsbereich, dass Roboter mit multimodaler Interaktion und Weltmodellen einen geschlossenen Zyklus aus Daten und Technologie bilden können. Mit vier Geschäftsbereichen unter seiner Leitung galt er in den Medien als einer der technischen Leiter mit dem weitesten Verwaltungsbereich bei Seed zu dieser Zeit.

Im Juni hatte er gerade seinen Zuständigkeitsbereich erweitert, doch bereits