Exklusivinterview mit Lin Dahua, Chefwissenschaftler von SenseTime: Der Emergenzmoment der Multimodalität wird innerhalb von ein bis zwei Jahren eintreten.

Text | Li Zhaofeng

Redaktion | Zhang Yuxin

„In den Zeiten ohne Computer gab es auch Einstein und Newton. Wir betrachten sie nicht als weniger intelligent, nur weil sie keinen Code schreiben.“

Kürzlich äußerte Lin Dahua, Mitbegründer und Chefwissenschaftler von SenseTime, in einem exklusiven Interview mit 36Kr diesen Satz, um die Beziehung zwischen Codierung und der Obergrenze der Intelligenz zu beschreiben, und erklärte auch, warum SenseTime die native Multimodalität weiterhin als langfristige Richtung betrachtet.

Gegenwärtig hat der Coding Agent den kommerziellen geschlossenen Kreislauf bereits frühzeitig erfolgreich durchlaufen. Öffentlichen Informationen zufolge überstieg der annualisierte Umsatz von Anthropic bis Ende Juli 65 Milliarden US-Dollar, was etwa dem Siebenfachen des Werts von Ende 2025 entspricht. Wann die Multimodalität ebenso klare Fähigkeiten und kommerzielle Ergebnisse vorweisen kann, ist das Thema, das in diesem Gespräch immer wieder angesprochen wurde. Aus langfristiger Sicht ist Lin Dahua jedoch der Ansicht, dass „der Raum für KI und AGI weit über das Codieren hinausgeht“.

Bezüglich der Position der Multimodalität bei der Verfolgung von AGI erwähnte Liang Wenfeng, Gründer von DeepSeek, dass Multimodalität letztendlich umgesetzt wird, aber nicht als Intelligenz selbst betrachtet wird, sondern als eine „Komponente“.

Fast zur gleichen Zeit veröffentlichte Jensen Huang, Gründer und CEO von NVIDIA, Cosmos 3, ein Weltgrundmodell für Roboter und autonomes Fahren. Das Modell integriert visuelles Schlussfolgern, Umgebungssimulation und Aktionsvorhersage in dieselbe Architektur. Laut Jensen Huang ist Cosmos 3 „in der Lage, zu verstehen und zu schlussfolgern, zu generieren, in den simulierten geschlossenen Kreislauf einzutreten und sogar direkt die Strategie selbst zu werden“.

Aus der Sicht von Lin Dahua ist dies keine Frage von richtig oder falsch. Jedes Unternehmen steht vor unterschiedlichen Aufgaben, Ressourcen und langfristigen Visionen, sodass die Wahl natürlich unterschiedlich ausfällt.

SenseTime begann mit Computer Vision. Nach dem Eintritt in die Phase der großen Modelle erweiterte es diese technischen Errungenschaften auf native Multimodalität und räumliche Intelligenz, sodass Multimodalität zu einer Hauptlinie wurde, die das Modell- und Produktlayout durchzieht.

In der Modellmatrix von SenseTime ist die SenseNova 6.8-Serie ein multimodales Agentenmodell, das für die Planung, Ausführung und Zusammenarbeit mehrerer Agenten bei langfristigen Aufgaben zuständig ist. Die U-Serie ist ein einheitliches Modell für natives Verstehen und Generieren, das sich auf visuelles Verstehen, Generieren und Bearbeiten konzentriert und sich auf Video und 3D erstreckt. Auf der Anwendungsebene ist Seko ein KI-Agent für die Erstellung von Kurzfilmen, der Geschichte, Storyboard und Videogenerierung verbindet. Xiao Huanxiong ist ein KI-Agent für Büroaufgaben, der für Aufgaben wie Büroarbeit und Datenanalyse ausgelegt ist.

Im April dieses Jahres veröffentlichte und machte SenseNova das einheitliche Modell für natives Verstehen und Generieren SenseNova U1 quelloffen. Im Gegensatz zu gängigen visuellen Sprachmodellen entfernt U1 den unabhängigen visuellen Encoder und den VAE (Variational Autoencoder) und verarbeitet Sprache, visuelle Semantik und Pixelgenerierung gemeinsam in einer autoregressiven Architektur.

Fast vier Monate später veröffentlichte SenseTime U1.5 Lite, das diese Architektur von Verstehen und Generieren auf die kontinuierliche Bearbeitung erweiterte und gleichzeitig die Hochauflösungsgenerierung und die Steuerung komplexer Anweisungen verstärkte.

In dem kürzlich veröffentlichten Halbjahresergebnis 2026 von SenseTime erzielte das Unternehmen im ersten Halbjahr einen Umsatz von 2,91 Milliarden Yuan, was einem Anstieg von 23,4 % gegenüber dem Vorjahr entspricht. Der Umsatz mit generativer KI betrug 2,33 Milliarden Yuan, was fast 80 % des Gesamtumsatzes ausmacht.

Angetrieben durch das Wachstum des KI-Geschäfts erzielte SenseTime erstmals einen Gewinn nach den Internationalen Rechnungslegungsstandards, was mehr Raum für langfristige technische Investitionen im Bereich der Multimodalität schafft.

Im Folgenden das vollständige Interviewprotokoll:

01

Der Kern ist nicht das Codieren, sondern das langfristige Denken

36Kr: Liang Wenfeng betrachtet Multimodalität als eine „Komponente“ ähnlich der Suche und glaubt nicht, dass sie die Hauptlinie zur Erhöhung der Intelligenzobergrenze ist. Sie sind jedoch der Ansicht, dass nach der vollständigen Integration der Multimodalität separate Sprachmodelle nicht mehr erforderlich sein werden. Wo liegt der Unterschied?

Lin Dahua: Ich bewundere DeepSeek tatsächlich sehr. Jedes Unternehmen muss seine eigene Hauptrichtung haben. DeepSeek möchte die Sprach- und Codierungsfähigkeiten an die Spitze der Branche bringen und gleichzeitig die Modellarchitektur so effizient wie möglich gestalten. Aus seiner Perspektive ist diese Wahl sehr vernünftig. Wenn Bilder verarbeitet werden müssen, kann auch eine multimodale Komponente angeschlossen werden, sodass die Produktfunktionen zumindest vollständig sind.

Die Aufgaben, vor denen SenseTime steht, sind etwas anders. Büroarbeit, Medizin, Einzelhandel, Roboter und Weltmodelle können nicht ohne visuelle Signale auskommen. Wir sind schon früh der Ansicht, dass die gemeinsame Modellierung von Visuellem und Sprache die Grundlage dafür ist, dass künstliche Intelligenz in echte Branchen und die physische Welt eintritt.

SenseTime führt auch Codierungsarbeiten durch und betrachtet die Programmierfähigkeit als eine wichtige grundlegende Fähigkeit des Modells. Wir werden jedoch nicht die komplexe Softwareentwicklung als einzige Hauptrichtung verfolgen.

Darüber hinaus liegt der Schlüssel darin, die Obergrenze der Intelligenz zu verstehen. Starke Codierungsfähigkeiten sind das Ergebnis eines verbesserten Intelligenzniveaus, aber das Kernwesen der Intelligenz ist nicht die Arbeitsform des Codierens, sondern das Zusammenführen komplexer Informationen, um langfristig zu denken, zu schlussfolgern, auszuführen und zu korrigieren.

36Kr: Ist native Multimodalität eine notwendige Bedingung, damit langfristige Intelligenz in die reale Welt eintritt?

Lin Dahua: Wenn das Modell nur Code schreibt, ist Multimodalität nicht unbedingt eine notwendige Bedingung. Sobald die Aufgabe vom Codieren zu breiteren Branchen und der realen Welt übergeht, ist sie in vielen Szenarien unverzichtbar.

Codierung ist derzeit der Träger mit den ausgereiftesten Datenbedingungen, der die Fähigkeit zum langfristigen Denken widerspiegelt. Auf GitHub gibt es eine große Menge an Prozessdaten, Code kann ausgeführt werden, Testfälle liefern eindeutiges Feedback, und dahinter steht ein ausgereifter Softwareentwicklungsmarkt. Daher hat es als Erstes den Trainings- und kommerziellen geschlossenen Kreislauf erfolgreich durchlaufen.

Aber künstliche Intelligenz wird nicht nur beim Codieren stehenbleiben. Selbst bei der Frontendentwicklung muss das Modell nach dem Schreiben des Codes die Seite rendern, um zu prüfen, ob sie gut aussieht und keine offensichtlichen Fehler enthält. Dies erfordert ebenfalls visuelle Fähigkeiten.

36Kr: Bei Gesprächen mit einigen Forschern, die an MLLMs (Multimodal Large Language Models) und nativer Multimodalität arbeiten, erwähnten sie, dass das Hinzufügen visueller Daten den Schwierigkeitsgrad des Vortrainings und des Nachtrainings erheblich erhöht. Wenn das Verhältnis nicht richtig verarbeitet wird, kann dies sogar zu einer Verschlechterung der Sprach-, Mathematik- und Schlussfolgerungsfähigkeiten führen. Wie beurteilen Sie den Trainingsschwierigkeitsgrad und die Kosten nativer multimodaler Modelle?

Lin Dahua: Wenn man nur einen visuellen Encoder an ein Sprachmodell anschließt, ist die zusätzliche Berechnung auf der Inferenzseite im Vergleich zu einem Sprachhauptmodell mit Hunderten von Milliarden oder sogar 1 Billion Parametern eigentlich unbedeutend. Die echte Schwierigkeit liegt im Training.

Zuerst das Datenverhältnis. Wenn das Modell visuelle Fähigkeiten hinzufügt, müssen entsprechende Daten hinzugefügt werden, während gleichzeitig vermieden wird, dass die ursprünglichen Sprach-, Mathematik- und Schlussfolgerungsfähigkeiten verschlechtert werden. Das ist das, was ich als Alignment Tax (Ausrichtungskosten) bezeichne. Es reicht nicht, das Verhältnis von 1:9 auf 2:8 anzupassen, sondern es sind eine große Anzahl von Kontrollexperimenten durchzuführen. Bei jedem Upgrade des Modells muss das Verhältnis möglicherweise neu angepasst werden.

Zweitens das verstärkte Lernen. Nach der Einführung neuer Modalitäten werden die Trainingsziele und technischen Lösungen komplexer. Darüber hinaus ist die Einrichtung von Feedbacksignalen für visuelle Aufgaben an sich noch ein offenes Problem. Das Teuerste ist oft nicht die letzte große Trainingsphase, sondern die Zeit für die Erkundung von Methoden in der Vorphase. Für Modellunternehmen ist das Problem nicht unbedingt, dass sie das Geld nicht bezahlen können, sondern dass sie nach einem zusätzlichen Experiment möglicherweise einen Monat hinter den Konkurrenten zurückbleiben.

Das ist auch der Grund, warum wir zuerst mit leichtgewichtigen Modellen mit 8 Milliarden Parametern iterieren. Der Pfad der Vereinigung von Verstehen und Generieren ist noch nicht vollständig konvergiert. Es ist effizienter, zuerst die Architektur, das Datenverhältnis und das Trainingsschema stabil zu machen, bevor man die Skalierung erhöht.

Bildunterschrift: Von U1 Pro generiertes Bild

02

Bildgenerierung ist die erste freigeschaltete Fähigkeit, aber nicht das Endziel

36Kr: U1 und U1.5 dienen derzeit hauptsächlich der Bildgenerierung. Welche Erfahrungen bietet diese einheitliche Architektur, die nicht auf herkömmlichen visuellen Encodern beruht, die spezialisierte Modelle nicht erreichen können?

Lin Dahua: Für Benutzer ist die direkteste Veränderung, dass das Modell zuerst den Inhalt versteht und dann entscheidet, wie generiert wird. Bei mehreren komplexen Informationen muss es beurteilen, welche Inhalte wichtig sind, und dann Struktur, Layout und visuellen Ausdruck gestalten. Infografiken erfordern genau die Verbindung von Verstehen, Schlussfolgern und Generieren, daher haben wir zuerst mit diesem Szenario begonnen.

Die U-Serie hat ein weiteres langfristiges Ziel: räumliche Intelligenz und physische Intelligenz. Wir haben auch in Betracht gezogen, räumliche Intelligenz und Bildgenerierung gemeinsam zu entwickeln. Aber jede zusätzliche Fähigkeit des Modells erhöht die Trainingskomplexität erheblich. Daher haben wir damals die komplexere räumliche Intelligenz vorübergehend zurückgestellt, damit U1 den Pfad der Vereinigung von Verstehen und Generieren erfolgreich durchläuft und das technische Verständnis dafür aufbaut, wie Sprache und visuelle Elemente in einem Darstellungsraum integriert werden können.

Bei der langfristigen Technologieentwicklung kann man nicht drei Jahre lang ohne Zwischenergebnisse arbeiten. SenseTime ist ein börsennotiertes Unternehmen und muss ständig Ergebnisse liefern, die Benutzer wahrnehmen und die für die Branche wertvoll sind. Bildgenerierung ist die erste Fähigkeit, die auf diesem Weg freigeschaltet wird, aber nicht das Endziel.

36Kr: U1.5 konzentriert sich auf die Verbesserung der Textgenerierung, des ästhetischen Empfindens und der kontinuierlichen Bearbeitung. Wie verändert es den früheren Bildgenerierungsprozess, bei dem man wiederholt „Karten ziehen“ musste?

Lin Dahua: Nach der Einführung von U1 haben wir im praktischen Einsatz festgestellt, dass es noch Raum für Verbesserungen bei der Textgenerierung und lokalen Details gibt. Von April bis Juni haben wir die Infografik-Version kontinuierlich iteriert, um den Text schrittweise zu korrigieren. Später stellten wir fest, dass selbst wenn alle Wörter korrekt sind, das Bild wie eine von einem Schüler erstellte PPT aussehen kann, ohne Designgefühl. Daher haben wir echte Designer eingebunden, um das ästhetische Defizit zu beheben. Ästhetik und logische Fähigkeiten sind zwei verschiedene Dinge, Codierung und ästhetisches Empfinden ebenfalls. Selbst das stärkste Modell erzeugt nicht automatisch ästhetisches Empfinden.

Korrekte Texte und schöne Bilder lösen immer noch nur die Qualität der einmaligen Generierung. Bei echtem Design endet der Prozess nicht nach einer einzigen Generierung. Die Anforderungen an die vollständige Komposition und Änderung können ein oder zwei Tausend Wörter umfassen. Das Modell muss diese Einschränkungen verstehen und nur die angegebenen Bereiche ändern, während andere Teile möglichst unbeeinflusst bleiben.

Die frühere einmalige Generierung ähnelte eher dem „Kartenziehen“: Wenn man fünf Bilder nacheinander generiert, können fünf von ihnen jeweils an einer anderen Stelle Fehler aufweisen, sodass keines verwendbar ist. Die kontinuierliche Bearbeitung ermöglicht es dem Benutzer, die bereits korrekten Teile zu behalten und nur die problematischen Stellen zu ändern.

Kontinuierliche Bearbeitung ist eine grundlegende Fähigkeit. Mit ihr als Kern kann ein geschlossener Kreislauf aus Verständnisanforderungen, generiertem Inhalt und wiederholten Änderungen gebildet werden. Das ist das, was wir als Agentic Generation (agentengesteuerte Generierung) bezeichnen. Das Modell iteriert kontinuierlich an demselben Werk, bis es lieferfertig ist.

36Kr: Yao Shunyu von Tencent hat einmal vorgeschlagen, dass Benutzer bereit sind, für das stärkste Modell zu zahlen. Unternehmen beurteilen das Preis-Leistungs-Verhältnis zuerst nach der Leistung. Manchmal ist ein Modell teurer, kann aber Geld sparen, weil es die Aufgabe beim ersten Mal richtig erledigt. U1.5 Lite legt Wert auf Preis-Leistungs-Verhältnis, U1 Pro strebt die Obergrenze der Fähigkeiten an. Wie versteht SenseTime diese beiden Arten von Anforderungen?

Lin Dahua: Das Modell muss zuerst ein Niveau erreichen, auf dem Benutzer es wirklich nutzen können, bevor der Preis überhaupt diskutiert werden kann. U1.5 Lite ist ein Open-Source-Modell mit 8 Milliarden Parametern, das mehr Wert auf Effizienz und Preis-Leistungs-Verhältnis legt und für eine große Anzahl alltäglicher Aufgaben geeignet ist. U1 Pro strebt die Obergrenze der Fähigkeiten an, die Kosten sind viel höher, aber das Ziel ist die Bereitstellung professioneller Ergebnisse.

Das ist ein bisschen wie bei leichten Kameras und professionellen Spiegelreflexkameras. Manche Menschen sind bereit, einen höheren Preis für erstklassige Ergebnisse zu zahlen, andere legen mehr Wert auf Effizienz. Die Lite-Version hat eine höhere Wahrscheinlichkeit für kleine Fehler, aber sie ist einfach zu bearbeiten, ohne dass man neu „Karten ziehen“ muss. Die beiden Produkte entsprechen unterschiedlichen Anf