Debatte der fünf Chefwissenschaftler der WAIC: Ist Multimodalität ein "Add-on" für Large Language Models oder die "Seele" der nächsten Generation künstlicher Intelligenz?

Wir überschätzen möglicherweise die Autonomie von Agenten und unterschätzen den gesellschaftlichen Wandel durch KI.

Autor |   Li Shuiqing 

Redakteur |   Mo Ying 

Am Morgen des 18. Juli zog das vom SenseTime veranstaltete Forum „Architekturinnovation und Ökosystemzusammenarbeit von Grundmodellen“, eines der am meisten erwarteten Foren der WAIC 2026, die Aufmerksamkeit unzähliger KI-Forscher, Branchenexperten und Investitionsinstitutionen auf sich. Denn es stellte sich direkt der zentralen Sorge der aktuellen Großmodellbranche: Wenn das Scaling-Gesetz die physikalischen Grenzen erreicht, ist Multimodalität dann das „Heilmittel“ für den Durchbruch oder nur eine Erweiterung alter Inhalte in neuem Gewand?

Die Podiumsdiskussion der „Chefwissenschaftler“, moderiert von Lin Dahua, Chefwissenschaftler von SenseTime, mit Professor Qiu Xipeng von der Fudan-Universität, Zhao Deli, Chefwissenschaftler von Damo Academy, Zhang Xiangyu, Chefwissenschaftler von StepStar, und Professor Liu Ziwei von der Nanyang Technological University Singapur, bot ein Spitzenpanel an Einsichten und gilt als die erste kollektive Prüfung und tiefgehende Auseinandersetzung der chinesischen KI-Branche, seit die multimodale KI in die „Tiefe“ eingetreten ist. 

▲ Mehrere Wissenschaftler diskutieren gemeinsam auf der Bühne

In den vergangenen mehr als einem Monat sind die neuesten internationalen Modelle wie GPT-5.6 nacheinander vorgestellt worden. Lin Dahua wies zu Beginn darauf hin, dass fast alle modernsten Großmodelle inzwischen multimodale Verständnisfähigkeiten zu einer „Standardfähigkeit“ gemacht haben. 

Doch taucht ein weiteres Problem auf: Ist Multimodalität lediglich eine Erweiterung der Fähigkeitsgrenzen großer Sprachmodelle oder der wahre Ausgangspunkt der nächsten Generation von Intelligenz? Genauer gesagt: Können die heutigen Großmodelle, die auf der Vorhersage des nächsten Tokens basieren, die physische Welt wirklich verstehen?

In einem intensiven Gedankenaustausch führten die fünf Wissenschaftler eine Debatte über die innere Natur, die zentralen Engpässe und die endgültige Vision in 5 Jahren, die das Branchenverständnis neu gestalten könnte. 

01.

„Aus der Höhle heraustreten“

Noch einmal: Ist Multimodalität ein „Zusatz“ oder die „Seele“ der Intelligenz?

Lin Dahua stellte diese zentrale Frage gleich zu Beginn – sie war der Kern der gesamten Gedankenaustausch während des Forums. 

In der Branche gibt es derzeit zwei völlig unterschiedliche Meinungen. Die eine besagt: Große Sprachmodelle sind bereits der Kern der zukünftigen KI, und Multimodalität ist nur eine natürliche Erweiterung der Fähigkeitsgrenzen von Sprachmodellen. Die andere hingegen meint: Wenn KI wirklich aus der digitalen Welt in den physischen Raum übergeht und beginnt, Weltmodelle zu konstruieren, ist Multimodalität der grundlegendste und ursprünglichste Bestandteil der Intelligenz – kein Zusatz für Sprachmodelle. 

Soll die zukünftige KI sprachzentriert oder weltzentriert sein? Lin Dahua brachte diese Frage direkt auf den Tisch. 

Dazu vertrat Qiu Xipeng eine klare Position: Intelligenz muss nach wie vor auf Sprache basieren. Seiner Meinung nach besteht der Schwerpunkt der zukünftigen Entwicklung von Multimodalität nicht darin, Sprache zu ersetzen, sondern darin, multimodale Informationen wirklich mit Sprache abzugleichen. 

Seiner Ansicht nach sind die heutigen Großmodelle noch weit davon entfernt, die Welt wirklich zu verstehen. „Was das Modell wirklich fehlt, ist nicht nur Multimodalität, sondern der Kontext.“ Der Kontext bezieht sich hier auf die Fähigkeit, komplexe Situationen der realen Welt zu verstehen. Zukünftige Modelle werden nicht nur mehr Bilder und Videos verarbeiten müssen, sondern vor allem lernen, wie man komplexe Situationen der realen Welt in Informationen umwandelt, die das Modell verstehen kann. Die zukünftige Entwicklung von Multimodalität erfordert wahrscheinlich eine ganze Reihe von Harness-Systemen, die auf der realen Umgebung aufbauen, um das Modell beim Verständnis der realen Welt zu unterstützen. 

Im Gegensatz zu Qiu Xipengs Ansicht ist Zhao Deli der Meinung, dass multimodal basierte Modelle das Paradigma der nächsten Generation von Intelligenz sind.

Er fasste zunächst aus einer größeren Perspektive vier Wege zur Intelligenz zusammen: große Sprachmodelle, Roboter, die in offene Räume vordringen, Simulationen basierend auf digitalem Leben und Interaktionen basierend auf neuronalen Signalen. Alle vier Wege haben ein gemeinsames Merkmal: Sie hängen mit den Quellsignalen zusammen, die bei Menschen Intelligenz erzeugen, und sind alle multimodal – kein einziger ist unimodal. 

„Große Sprachmodelle sind eine Kompression von Wissen, und Videogenerierungsmodelle sind ebenfalls eine Kompression und Aufzeichnung menschlichen Verhaltens. Große Sprachmodelle können Intelligenz lernen, und Videogenerierungsmodelle können das auch“, betonte Zhao Deli. Er nannte Beispiele wie Geparden bei der Jagd und Ameisen bei der Wegsuche: Diese herausragenden Fähigkeiten werden nicht durch Sprache erlernt, sondern durch Interaktion mit der Umwelt, Nachahmung und Feedback. 

Zhao Deli ging noch weiter und wies darauf hin, dass die physische Welt die Modellierung vierdimensionaler Kausalzusammenhänge erfordert: physischer Raum, physische Eigenschaften, Kausalzusammenhänge sowie Aktionen und Bewegungen – während große Sprachmodelle nur eindimensional sind. Daher sind „sowohl nach dem Prinzip der Entstehung von Intelligenz als auch nach der Logik der Algorithmen multimodal basierte Modelle das Paradigma der nächsten Generation von Intelligenz“. 

Mit einem anderen Blickwinkel als Qiu Xipeng und Zhao Deli verlagerte Zhang Xiangyu den Fokus.

Er meinte, der Kern sei nicht der Wettbewerb zwischen Sprach- und Bildpfaden, sondern das „Lernparadigma“: Wie man Agenten dazu bringt, selbstständig zu lernen – also adaptives Lernen, Lernen nach der Initialisierung oder Online-Lernen. „Wenn das nicht gelöst wird, ist es egal, ob man den Sprachpfad oder den Bildpfad geht, das Ergebnis ist dasselbe.“ 

Warum scheinen Sprachmodelle heute erfolgreicher zu sein? Zhang Xiangyu meinte, unsere aktuellen Trainingsdaten sind statisch und wurden von Menschen in großem Umfang gesammelt, bereinigt und aufbereitet. Sprache hat von Natur aus eine hohe Informationsdichte und ist daher in diesem Paradigma des „Nachahmungslernens“ von Vorteil. Bildsignale hingegen sind spärlich und hochdimensional – sie funktionieren in diesem Paradigma nicht gut. 

Doch taucht ein Problem auf, wandte Zhang Xiangyu ein: Wenn Großmodelle in die Ära der Agenten übergehen, ändert sich alles. „Agenten interagieren mit der Umwelt, können aber nicht effizient und automatisch aus Feedback lernen – ihnen fehlt die Fähigkeit zur Selbstevolution.“ Er nannte einen anschaulichen Vergleich: „Codex erledigt die Arbeit von zehn Personen, aber nach langer Nutzung sind die Verbesserungen begrenzt. Ein neu eingestellter Praktikant ist anfangs nicht gut, verbessert sich aber schnell durch praktische Arbeit. Das ist die Fähigkeit zur Selbstverbesserung – die unsere Modelle nicht haben.“ 

Als die Diskussion zwischen dem sprachzentrierten und dem weltzentrierten Ansatz eine Spannung erzeugte, lieferte Liu Ziwei eine tiefgründige Einschätzung aus philosophischer Sicht. Er zitierte Platons Höhlengleichnis – Sprache ist eine niedrigdimensionale Projektion der realen Welt: „Wir beobachten Projektionen in der Höhle und leiten Gesetze der Welt ab, aber letztendlich müssen wir die Höhle verlassen und in die wahre Welt eintreten.“ 

Auf der Datenebene verglich er Sprache mit fossilen Brennstoffen: „Die Menschheit hat sie lange angesammelt, aber sie sind letztendlich begrenzt. Wir werden sicherlich in die nächste Ära eintreten und andere Energiequellen nutzen – multimodale Daten.“ Auf der Aufgabenebene: „Viele hochwertige Aufgaben, beispielsweise in der Fertigungsindustrie, sind untrennbar mit Multimodalität verbunden, und Multimodalität kann tatsächlich die nächste Generation von Intelligenz hervorbringen.“ 

Man sieht: Von Lin Dhuas Frage nach „Sprach- vs. Weltzentrierung“ über Qiu Xipengs „Kontextintelligenz“, Zhao Delis „Erste Prinzipien“ bis hin zu Zhang Xiangyus „kontinuierlicher Evolution“ und Liu Ziweis „Übergang von der Virtualität zur Realität“ – obwohl die Wissenschaftler aus unterschiedlichen Blickwinkeln argumentieren, stimmen sie in der Tendenz überein: Multimodalität wandelt sich von einem „Hilfswerkzeug“ zu einer „zentralen Infrastruktur“. 

Und der wahre Treiber dieses Wandels ist die unumkehrbare Verlagerung von KI-Anwendungsbereichen aus dem digitalen Raum in den physischen Raum. 

02.

Daten, Architektur, Paradigma

Was fehlt für den nächsten Sprung von Multimodalität?

Nach dem Ausblick auf die langfristigen Perspektiven der KI aus den ersten Prinzipien holte Lin Dahua die Diskussion zurück in die Gegenwart: Reichen die aktuellen gängigen KI-Methoden – wie Daten, Modellarchitektur und Trainingsparadigma – aus, um uns in die nächste Phase zu führen? Wo liegt der eigentliche Engpass?

In der Branche gibt es bereits deutliche Meinungsunterschiede. Eine Einschätzung ist optimistisch: Die aktuellen Modellarchitekturen verfügen über ausreichend Potenzial, die wahre Einschränkung ist der Mangel an hochwertigen multimodalen Daten. Insbesondere Daten mit zeitlichen Zusammenhängen, räumlichen Beziehungen, Handlungsabläufen und Ergebnisfeedback sind schwerer zu erfassen, zu annotieren und zu nutzen als Textdaten aus dem Internet. Sobald Probleme mit Daten und Rechenleistung gelöst sind, gibt es für den aktuellen Weg noch viel Raum für Verbesserungen. 

Eine andere Stimme ist vorsichtiger: Das Problem liegt nicht nur in unzureichenden Datenmengen, sondern darin, dass die auf der Vorhersage des nächsten Tokens basierende Trainingsmethode von Natur aus schlecht darin ist, physische Gesetze, Kausalzusammenhänge und sich ständig verändernde Umgebungen zu lernen. Echte Durchbrüche erfordern möglicherweise neue Paradigmen wie native multimodale Architekturen, Weltmodelle, verstärkendes Lernen, aktive Erkundung oder kontinuierliches Lernen. 

Was ist also der wichtigste Faktor, der weitere Durchbrüche der multimodalen KI behindert? Ist die Erweiterung von Daten und Rechenleistung noch wirksam – oder sind wir bereits an dem Punkt angelangt, an dem wir Modellarchitektur und Trainingsverfahren ändern müssen? 

Zuerst gab Liu Ziwei eine nüchterne Einschätzung: „Diese drei Bereiche (Daten, Modellarchitektur, Trainingsparadigma) reichen nicht aus, um in die nächste Phase zu gelangen – alle haben Verbesserungspotenzial.“ 

Er erläuterte auf der Datenebene, „warum Sprache funktioniert, Multimodalität aber nicht“: Sprachmodelle hatten Glück – die in 20 Jahren im Internet angesammelten Textkorpora und die für Spiele entwickelten GPU-Rechenleistung waren zufällig alle vorhanden. Aber was ist mit Multimodalität? „Im Internet gibt es viele Videos und Bilder, die meist relativ statisch sind und keine starken langfristigen Zusammenhänge aufweisen.“ Langfristige Aufgaben wie Hausarbeit oder tägliche Berufstätigkeit lassen sich kaum aufzeichnen. „Sprachmodelle haben Daten zufällig angesammelt – für Multimodalität brauchen wir ein besseres Paradigma zum Aufzeichnen, Speichern und Annotieren von Daten. Das ist nicht nur ein technisches Problem, sondern auch ein organisatorisches und gesellschaftliches.“ 

Anschließend richtete er den Fokus auf die Architektur: „Die gesamte Architektur ist noch auf Sprachmodelle ausgerichtet, und multimodale Fähigkeiten werden über Brücken integriert.“ Er stellte die Herausforderung der „nativen Multimodalität“ vor: Wie erreicht man Nativeität auf der Eingabeseite? Wie auf der Ausgabeseite? Lange Kontexte, Sparse Coding, auf welcher Ebene Repräsentationen erzeugt werden – all diese Fragen sind noch unbeantwortet. 

Schließlich kam er zum Lernparadigma und nannte es ein „größeres Problem“. „Alle, die im Bereich Bildverarbeitung arbeiten, kennen das Gefühl: Vor 10 Jahren haben wir über dieses Problem gesprochen, und es ist immer noch nicht gelöst.“ 

Liu Ziweis dreifache Kritik zerlegte das Problem weitgehend, aber Zhang Xiangyu meinte, man könne noch radikaler vorgehen. Er vertiefte das Thema der „kontinuierlichen Evolution“ weiter.

Er meinte, dass selbstständiges Lernen ein Konsens ist, aber es gibt Unterschiede in den konkreten Wegen. Heutige Modelle haben relativ lange Kontexte, aber „sie sind noch lange nicht lang genug“ und leiden unter einer starken Kontextverschlechterung. Technisch gesehen ist die Verwaltung von Kontexten und Selbstevolution durch übergeordnete Harness-Systeme ein Weg, der von manchen verfolgt wird – aber er hat deutliche Probleme. 

Multimodalität verschärft dieses Problem. „Multimodale Informationen sind zu lang. Das Komprimieren multimodaler Signale funktioniert nicht so natürlich wie das Komprimieren von Text. Was passiert, wenn man Bilder mit einer Million Tokens füllt? Die Kompressionsrate ist sehr begrenzt.“ 

Dann stellte er eine scharfe Frage: „Kann externe Speicherung allein die Evolution des Agenten selbst bewirken? Wie ein Schüler, der sich sehr gut Notizen macht – aber wenn sein Hippocampus keine neuen Dinge mehr lernen kann, kann er dann mit externen Notizen langfristig Fortschritte machen? Nein, das geht nicht.“ 

Zhang Xiangyu erläuterte weiter, dass die nächste Generation des selbstständigen Lernens drei Probleme lösen muss: Wie man lernt (Problem des Online-Lernens), was man lernt (Modellierung von Erkundung und Neugier) und wie man effiz