Yao Shunyu restrukturiert Tencents multimodale Entwicklungslinie: Er nähert sich Liang Wenfeng an und distanziert sich von Li Feifei
Es gab eine weitere personelle Veränderung im multimodalen Team von Tencent Hunyuan. Medienberichten zufolge hat Lin Xudong, der früher für das multimodale Verständnis bei xAI verantwortlich war, xAI verlassen und ist zu Tencent Hunyuan gewechselt, wo er nun als Leiter der Algorithmen für die multimodale Inhaltserstellung tätig ist.
Diese personelle Nachricht ist deshalb bemerkenswert, da sie vor dem Hintergrund einer fortwährenden Umstrukturierung des multimodalen Teams von Hunyuan stattfindet.
In der vergangenen Zeit gab es innerhalb von Hunyuan nacheinander Nachrichten über den Abgang von Leitern, die Umsetzung von Forschern und den Beitritt neuer Mitglieder.
Hu Han, der ehemalige Leiter des multimodalen Verständnisses, verließ das Unternehmen, um ein eigenes Startup zu gründen. Tian Yonglong und andere traten Tencent bei, und die Berichtsbeziehungen des ursprünglichen multimodalen Teams haben sich ebenfalls mit der Integration der Abteilung für große Sprachmodelle und der Abteilung für multimodale Modelle geändert.
Ob dies jedoch bedeutet, dass das multimodale Team von Tencent gerade einen „Generationswechsel“ durchläuft, lässt sich derzeit nicht direkt schlussfolgern.
Was anhand öffentlicher Informationen bestätigt werden kann, ist, dass es bei Hunyuan tatsächlich Personalfluktuation und organisatorische Umstrukturierungen gibt. Die Gerüchte über den Beitritt von Lin Xudong wirken eher wie ein neues Signal im Rahmen dieser Anpassung: Tencent kombiniert die beiden Richtungen des multimodalen Verständnisses und der Inhaltserstellung neu.
Daraus ergibt sich die Frage: Welchen Hintergrund hat Lin Xudong eigentlich, welche Fähigkeiten kann er Tencent ergänzen? Und verschiebt sich die multimodale Richtung von Tencent gerade von der „Generierung von Inhalten“ hin zu der von Yao Shunyu bevorzugten Richtung „Kontext verstehen und in der Welt handeln“?
Welchen Hintergrund hat Lin Xudong und was kann er nach seinem Beitritt zu Tencent tun?
Öffentlichen Unterlagen zufolge schloss Lin Xudong 2018 sein Studium an der Tsinghua-Universität ab und ging anschließend an die Columbia University, um dort zu promovieren.
Während seiner Promotion umfassten seine Forschungsrichtungen Embedding-Lernen, Videoanalyse und Generierungsmodelle. Er war auch am Vx2Text-Projekt beteiligt, das von der Columbia University in Zusammenarbeit mit Facebook AI durchgeführt wurde.
V steht für Video, x steht für eine Unbekannte, die Ton, Sprache oder sogar Umgebungsgeräusche sein kann, 2 steht für to und Text steht für Untertitel. Seine Logik lautet: Zuerst wandelt man verschiedene Modalitäten wie Video und Ton in Vektoren um, die „Sprach-Token“ ähneln, speist sie dann einheitlich in das Sprachmodell zur Fusion ein, und schließlich generiert ein autoregressiver Decoder offenen Text.
Transformer können nur Token verstehen, daher versteht KI im Wesentlichen die beiden Dateiformate Video und Audio nicht und ist umso weniger in der Lage, sie in Text umzuwandeln.
Nehmen wir ein Beispiel: Wenn ein Hund neben einem Swimmingpool ins Wasser springt, gibt der Videoerkennungsmechanismus (V) von Vx2Text die Schlüsselwörter aus: Hund, Sprung, Swimmingpool; der Tonerkennungsmechanismus (x) gibt aus: Wasserrauschen, Plumps.
Obwohl die Produktfunktion von Vx2Text die „Generierung“ ist, liegt der zentrale Schwierigkeit des Produkts im „Verständnis“.
Natürlich übersetzt Vx2Text nicht einfach nur das Bild in ein paar Sätze. Das Modell muss Personen, Objekte, Aktionen und Ereignisse aus dem Video erkennen, außerdem die zeitlichen Veränderungen dieser Elemente verstehen und schließlich die visuellen Informationen in Sprache organisieren.
Nach seinem Doktorat trat Lin Xudong bei DeepMind ein und beteiligte sich an der multimodalen Vortrainierung und Nachtraining im Zusammenhang mit Gemini. 2025 wechselte er zu xAI. Öffentlichen Unterlagen zufolge war er für die Richtung des multimodalen Verständnisses verantwortlich und beteiligte sich am Training von Modellen für das multimodale Inhaltsverständnis und die Generierung.
Jetzt ist er zu Tencent Hunyuan gewechselt und wird für die Algorithmen der multimodalen Inhaltserstellung von Hunyuan verantwortlich sein.
Der Beitritt von Lin Xudong dient weniger der Verbesserung der Leistung der multimodalen Generierung von Hunyuan, sondern vielmehr der Lösung eines Problems, das alle multimodalen Modelle plagt – das Verständnis.
Frühere Generierungsmodelle ähnelten eher einem Bildgenerator. Wenn man ihnen einen Prompt gibt, können sie ein Bild oder ein Video generieren. Sobald der Nutzer jedoch komplexere Anforderungen stellt, können die Modelle kaum mithalten. Zum Beispiel ändert sich die Figur in einem langen Video, die Form des Objekts ist vor und nach nicht konsistent, die Bewegung der Kamera entspricht nicht den räumlichen Beziehungen und so weiter.
Das liegt nicht daran, dass das Modell nicht generieren kann, sondern daran, dass es die Welt nicht stabil erinnert und versteht.
Daher wird Lin Xudong auf die Position der multimodalen Inhaltserstellung gesetzt, möglicherweise genau deshalb, weil er Multimodalität in etwas „übersetzen“ kann, das KI verstehen kann.
Der Beitritt von Lin Xudong lässt sich erst in einem größeren Kontext klar erkennen, nämlich dass Tencent Hunyuan gerade seine eigene multimodale Richtung neu ordnet.
Im Januar 2025 übernahm Hu Han, Tencent Distinguished Scientist, die Verantwortung von Liu Wei, der das Unternehmen zuvor verlassen hatte, für die gesamte Forschung und Entwicklung des multimodalen Großmodells von Hunyuan und war gleichzeitig der Tech Lead des Hunyuan-Großmodells.
In der zweiten Jahreshälfte 2025 wurde Hu Han im Zuge der internen organisatorischen Anpassung bei Tencent aus der Abteilung für multimodale Modelle in die Forschungsgruppe „Frontier“ für Spitzentechnologie unter der Abteilung für große Sprachmodelle versetzt. Sein Titel wurde zum Leiter der Richtung des multimodalen Verständnisses geändert, und seine Berichtslinie wurde geändert, sodass er an Yao Shunyu berichtet.
Seine tatsächliche Position wechselte von „Leiter einer unabhängigen Abteilung“ zu „Leiter einer bestimmten Richtung in einer Forschungsgruppe unter der Abteilung für große Sprachmodelle“. Sein Verantwortungsbereich schrumpfte vom gesamten multimodalen Großmodell auf nur den Teil des multimodalen Verständnisses, und Richtungen wie die multimodale Generierung wurden ausgegliedert.
Im März 2025 hat Tencent das seit fast zehn Jahren bestehende AI Lab aufgelöst, und einige Mitarbeiter wurden in die Abteilung für das große Hunyuan-Sprachmodell integriert, sodass sie an Yao Shunyu berichten. Nach dieser Anpassung übergab Jiang Jie, der frühere tatsächliche Leiter von Hunyuan und Vizepräsident von Tencent, offiziell die Arbeitsverantwortung an Yao Shunyu und verwaltet nicht mehr gleichzeitig das AI Lab und Hunyuan.
Anfang Juli 2026 trat Tian Yonglong, ehemaliger Forscher bei OpenAI und Kommilitone von Yao Shunyu im Bachelorstudium an der Tsinghua-Universität, Tencent bei und ist für die Richtung der visuellen Sprachmodelle verantwortlich.
Kurz darauf veröffentlichte die Tencent TEG offiziell eine Mitteilung, in der die Abteilung für große Sprachmodelle und die Abteilung für multimodale Modelle aufgelöst und zu einer neuen „Abteilung für Basismodelle“ zusammengelegt wurden. Yao Shunyu wurde zum Leiter ernannt und berichtet an Lu Shan, den Präsidenten von TEG. Tencent erklärte, dass diese Maßnahme darauf abzielt, die Effizienz der Modellentwicklung und Zusammenarbeit zu verbessern und die intelligente Obergrenze von vollmodalen Modellen zu erforschen.
Kurz darauf wurde bekannt, dass Hu Han das Unternehmen verlassen hat, um ein Startup zu gründen.
Linus, ehemaliger Chefwissenschaftler bei Amazon, Chefwissenschaftler bei JD Digits, Leiter des Teams für angewandte visuelle Technologien im Tongyi-Labor von Alibaba und ehemaliger Leiter der Abteilung für multimodale Modelle von Tencent, berichtet nach dieser Anpassung nun an Yao Shunyu, statt ursprünglich eine parallele Position zu Yao Shunyu einzunehmen.
Das ist noch nicht alles: Zhong Zhao, Leiter des multimodalen Basismodells von Tencent Hunyuan, der für die beiden Generierungslinien HunyuanVideo und HunyuanImage verantwortlich ist, ist der tatsächliche Leiter der multimodalen Generierungsrichtung bei Hunyuan.
Er veröffentlichte am 14. August einen Beitrag auf seiner WeChat-Moments-Seite und erklärte: „Die bald zu veröffentlichende Version könnte die endgültige Version sein, an der ich in den Projekten HunyuanVideo und HunyuanImage mitgewirkt habe“, und zwischen den Zeilen schwingt eine Abschiedsstimmung mit.
Lin Xudong ist vielleicht nur einer der Mitarbeiter im Rahmen der personellen Erneuerung des multimodalen Teams von Hunyuan, aber sein Beitritt sendet ein deutliches Signal: Die gesamte Forschungsrichtung von Tencent im Bereich Multimodalität hat sich geändert.
Wie hat Tencent Multimodalität bisher umgesetzt?
Bisher waren die Sprachmodelle und die Multimodalität bei Tencent zwei grundverschiedene Richtungen. Die beiden zentralsten Produkte der multimodalen Hunyuan-Lösung sind genau die bereits erwähnten HunyuanVideo und HunyuanImage.
HunyuanVideo ist ein Modell zur Generierung von Videos aus Text. Bei seiner Premiere im Dezember 2024 war es mit 13 Milliarden Parametern das damals weltweit größte Open-Source-Modell für die Videogenerierung, das eine 5-Sekunden-Ausgabe in 720p unterstützt. Im Jahr 2025 wurden seine Fähigkeiten intensiv erweitert: Im März wurde die Funktion zur Generierung von Videos aus Bildern eingeführt, im Mai wurden die anpassbare Generierung HunyuanCustom und die angetriebene digitale Person Avatar vorgestellt, im November wurde die Version 1.5 veröffentlicht, die die Parameter auf 8,3 Milliarden komprimiert, die native Generierung von 5 bis 10 Sekunden langen Videos in 480p oder 720p unterstützt und eine Ausgabe in 1080p per Superauflösung ermöglichen kann.
HunyuanImage hat einen früheren Startpunkt: Es ist das erste native chinesische Bildmodell mit DiT-Architektur, das Hunyuan im Mai 2024 vorgestellt hat. 2025 wurde die Version 2.0 iteriert, das erste industrielle Echtzeit-Bildgenerierungsmodell der Branche. Im selben September wurden die Version 2.1 (17 Milliarden Parameter, native 2K-Auflösung) und die Version 3.0 (80 Milliarden Parameter, erstes industrielles Open-Source-natives multimodales Bildgenerierungsmodell) veröffentlicht. Im Januar 2026 wurde weiter die Instruct-Version mit Schlussfolgerungsfähigkeit vorgestellt, die das selbstständige Umschreiben von Prompts und die Bild-zu-Bild-Bearbeitung unterstützt.
Es gibt noch eine weitere Richtung namens Hy 3D, ein Modell, das speziell einzelne 3D-Modelle generiert. Im November 2024 wurde die Version 1.0 zusammen mit Hunyuan-Large als Open-Source veröffentlicht. Im Januar 2025 wurde sie auf Version 2.0 aktualisiert, die in eine zweistufige Pipeline aus DiT-Formgenerierung und Paint-Textursynthese unterteilt ist. Im Juni 2021 wurde der vollständige Trainingscode von Version 2.1 Open-Source gestellt. Im September wurde Version 3.0 veröffentlicht, die die Modellierungsgenauigkeit um das Dreifache verbessert und eine geometrische Auflösung von 1536³ erreicht. Derzeit wurde sie auf Version 3.1 iteriert und wird weit verbreitet in der E-Commerce-Modellierung, Produktdesign und 3D-Druck eingesetzt.
Hinter diesen drei Säulen hat möglicherweise die räumliche Intelligenztheorie von Li Fei-Fei Tencent beeinflusst, oder das relevante Wissen, das Tencent vor vielen Jahren im Bereich der digitalen Zwillinge erworben hat, kann mit Unterstützung von KI erneut genutzt werden.
Genau wie Zhao Yun nach Liu, Guan und Zhang kam, erhielt die multimodale Hunyuan-Lösung Ende Juli 2025 auch ihr viertes „Mitglied“: Hy World 1.0.
Die sogenannte räumliche Intelligenz bedeutet gemäß der Erklärung von World Labs unter der Leitung von Li Fei-Fei, dass KI die Welt im dreidimensionalen Raum wahrnimmt, generiert, schlussfolgert und mit ihr interagiert.
Sprachmodelle lernen die statistische Struktur von Texten, während Weltmodelle die Struktur von Raum und Zeit lernen müssen, zum Beispiel wie Licht auf die Oberfläche von Objekten fällt, wie ein Garten aus einer nie aufgenommenen Perspektive aussieht und wie sich Objekte bewegen, wenn sie äußeren Kräften ausgesetzt sind.
Tencent erklärte, dass Hy World 1.0 das weltweit erste Open-Source-Modell für die Generierung von immersiven 3D-Welten ist, das Simulationen unterstützt. Sein technischer Weg lautet: Zuerst generiert man ein 360-Grad-Panorama als „Weltvertreter“, dann zerlegt man es in semantische Ebenen für die schichtweise 3D-Rekonstruktion und gibt schließlich geschichtete Meshes aus, die in eine Spiel-Engine importiert werden können.
Da Tencent selbst sehr gut darin ist, Spiel-Engines und Spielinhalte zu entwickeln, hat Hy World trotz seiner beeindruckenden Ausdruckskraft von Nutzern den Spott erhalten, dass „Tencent nicht aus seiner Komfortzone herauskommen will“.
Mehr als einen Monat nach der Veröffentlichung von Hy World 1.0 veröffentlichte Tencent Hy World-Voyager, das als Modell für extrem lange Wanderwelten positioniert ist, das auf der Steuerung der Kamerabahn basiert.
Hy World-Voyager löst ein Problem, das von Version 1.0 hinterlassen wurde: Obwohl die Qualität der 3D-Welt, die Version 1.0 generiert, gut ist, ist der Wanderbereich ziemlich begrenzt, und nach kurzer Strecke treten geometrische Drift und Clipping-Fehler auf.
Der Ansatz von Voyager besteht darin, einen anderen technischen Weg zu wählen: Statt direkt 3D-Assets zu generieren, wird zuerst die RGB-D-Zweimodal-Videogenerierung durchgeführt. Jedes Bild gibt gleichzeitig eine Tiefe-Map aus, wenn es Farben ausgibt, und dann wird die 3D-Punktwolke sofort mit der Tiefe-Map rekonstruiert.
Zusammenfassend lässt sich sagen, dass Hy World fast perfekt die Vorstellung von Li Fei-Fei über räumliche Intelligenz umsetzt, indem es die Vorteile von Tencent im Bereich der Engine- und Grafikkunst nutzt.
Man muss wissen, dass der vollständige technische Bericht von Hy World 2.0 den Titel „HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds“ trägt. Der Teil „Reconstructing, Generating, and Simulating 3D Worlds“ ist genau die bereits erwähnte Erklärung von World Labs zur räumlichen Intelligenz.
Allerdings teilen nicht alle die Meinung von Li Fei-Fei, einschließlich Yao Shunyu. In Bezug auf Multimodalität scheint Yao Shunyu eher die Ansicht von Liang Wenfeng zu teilen.