Zwischen Kimi K3 und DeepSeek V4 besteht eine zeitliche Lücke im Hinblick auf native Multimodalität.

Text | Li Zhaofeng

Redaktion | Zhang Yuxin

„Wenn langkettige Aufgaben nur durch Rückmeldungen auf Code-Ebene bearbeitet werden, können sich Fehler ständig ansammeln, was zu einem sehr schlechten Endergebnis führt.“ Ein Forscher für Multimodalität äußerte sich zur Bedeutung der nativen Multimodalität: „Visuelle Informationen sind eine genauere Rückmeldung und entsprechen zudem stärker der Absicht des Nutzers.“

Im vergangenen Jahr haben die Fähigkeiten im Bereich Codierung und Agent die Ranglisten großer Modelle ständig neu geschrieben und gehören zu den Szenarien, in denen der kommerzielle Wert von KI am schnellsten realisiert wird. Gleichzeitig beginnen immer mehr allgemeine große Modelle, native multimodale Fähigkeiten zu erhalten, da Agenten mehr langkettige Aufgaben übernehmen.

Ein im Januar dieses Jahres von OpenAI veröffentlichter Bericht über die Nutzung durch Unternehmen zeigt, dass unter den drei am häufigsten von Mitarbeitern in Forschungs- und Entwicklungsabteilungen genutzten ChatGPT-Tools das Hochladen von Bildern nach der Suche und der Datenanalyse an dritter Stelle steht.

Da Agenten beginnen, Webseiten zu erstellen, Software zu bedienen und die Ausführungsergebnisse zu prüfen, entwickelt sich die Rolle der visuellen Wahrnehmung schrittweise weiter: Sie ist nicht mehr nur ein Bild, das der Nutzer an das Modell übergibt, sondern wird auch zu einer Rückmeldung, mit der das Modell seine Arbeit überprüft, Fehler erkennt und Maßnahmen anpasst.

Im vergangenen Juli hat Moonshot AI Kimi K3 veröffentlicht. Dieses MoE-Modell (Mixture of Experts) mit einer Gesamtparameterzahl von 2,8 Billionen und einer Kontextunterstützung von 1 Million Token zeichnet sich neben den hervorragenden Fähigkeiten im Bereich Codierung und langfristiger Agenten durch eine herausragende native Multimodalität als weiteres Markenzeichen aus.

Die sogenannte native Multimodalität bedeutet, dass Daten wie Bilder und Texte das Hauptmodul bereits in der Phase des Vortrainings oder des fortlaufenden Vortrainings gemeinsam prägen, in der Nachtrainingsphase weiter optimiert werden und schließlich an der Wahrnehmung und Entscheidungsfindung des Agenten (Intelligenzagenten) teilnehmen.

Nach der Veröffentlichung erreichte K3 mit 1679 Punkten den Spitzenplatz in der Arena Frontend Code-Rangliste. Diese Rangliste wird von Nutzern durch blinde Auswahl der interaktiven Webseiten erstellt, die von Modellen generiert werden, und bewertet nicht nur, ob der Code ausgeführt werden kann, sondern auch das Endergebnis der Seite.

Die Browser-Entwicklungsplattform Puter hat in einer Testwebseite 5 visuelle Abweichungen erzeugt. K3 verglich die Screenshots der Zielseite und der Ausführungsseite, fand alle Abweichungen ohne Fehlalarme. Dank der hervorragenden nativen multimodalen Fähigkeit kann K3 die visuellen Probleme nach der Codeausführung erkennen und eine Grundlage für die nächste Überarbeitungsrunde liefern. Die Seite von Kimi nennt diese Art der iterativen Arbeit zwischen Code und Screenshot „vision in the loop“: Das Modell schreibt den Code, prüft dann die Seite und passt ihn anhand der visuellen Ergebnisse weiter an.

All dies ist nicht ohne die multimodalen Fähigkeiten des Modells möglich.

Neben Moonshot AI verfolgen auch Alibaba und ByteDance den Weg der nativen Multimodalität und machen die visuelle Wahrnehmung zu einer grundlegenden Fähigkeit ihrer allgemeinen Modelle. Bei den neuesten Modellen Qwen3.8-Max und Doubao-Seed-2.1 sind visuelle Verständnisfähigkeit und multimodale Eingaben als Hauptfunktionen zu finden.

Auf der anderen Seite der Spitzengruppe chinesischer Modelle basieren die neuesten allgemeinen Basismodelle von DeepSeek, Zhipu AI und Hunyuan von Tencent weiterhin hauptsächlich auf Texteingaben.

Liang Wenfeng, Gründer von DeepSeek, sagte früher einmal: „Um das KI-Training gut zu gestalten, braucht man kein Weltmodell, nicht einmal Multimodalität.“ Gleichzeitig fügte er hinzu: „Aber Multimodalität wird am Ende doch umgesetzt werden.“

Diese beiden Aussagen widersprechen sich nicht. Es gibt kaum große Meinungsverschiedenheiten zwischen den Unternehmen über den langfristigen Wert der Multimodalität. Der eigentliche Streitpunkt liegt im richtigen Zeitpunkt und den dafür erforderlichen Kosten.

In der Phase der schnellen Iteration im Bereich Codierung beeinflusst die Frage, ob visuelle Fähigkeiten gleichzeitig trainiert werden sollen und wie viel Modellkapazität, Daten und Rechenleistung dafür investiert werden, die technische Route der führenden chinesischen Modelle.

 Warum brauchen Agenten Augen?

Ist es überhaupt notwendig, native Multimodalität umzusetzen? Da die Aufgabenketten von Agenten immer länger werden, wird diese Frage immer konkreter.

„Oft bevorzuge ich die Eingabe von Screenshots“, sagt ein Forscher aus dem Team eines führenden Basismodell-Anbieters. „Vielleicht könnte Text die gleiche Anforderung erfüllen, aber man müsste viel Kontext verwenden, um visuelle Beziehungen zu beschreiben.“

Visuelle Eingaben bringen mehr Komfort, aber verschiedene Nutzer nehmen sie unterschiedlich wahr. „Normale Nutzer merken das vielleicht nicht, aber für Entwickler ist Multimodalität sehr praktisch.“

Diese Anforderung gilt aber nicht nur für Entwickler. Der oben genannte Forscher erwähnte, dass einige Nutzer in seinem Umfeld, die keine KI-Fachleute sind, eines der häufigsten Szenarien für die Nutzung von Modellen die Erstellung von Präsentationen sind. „Professionellere Nutzer brauchen vielleicht mehr Fähigkeiten und mehr Modalitäten, aber auch normale Nutzer verwenden sie in konkreten Szenarien.“

Reine Textmodelle können selbst immer noch nicht „sehen“. Praktische Systeme können OCR oder eigenständige VLM (visuelles Sprachmodell) aufrufen, um Bilder zunächst in Text, Tags, Koordinaten oder strukturierte Felder umzuwandeln und sie dann dem Textmodell zur Inferenz zu übergeben. Diese Tools können über das Agent-Framework oder MCP eingebunden werden, um visuelle Fähigkeiten in Form von „externen Erweiterungen“ zu erhalten.

Aus dieser Perspektive ist die Fragestellung „Wie man Agenten die Fähigkeit zur visuellen Eingabe verleiht“ nicht nur ein Forschungsproblem für Basismodelle, sondern auch ein Produktproblem.

Wenn das System gut genug abgestimmt ist, kann ein großes Sprachmodell als Zentralinstanz im oberen Bereich und ein kleineres visuelles Modell im unteren Bereich viele gewöhnliche Aufgaben lösen, so wie ein Chef eine kleine Aufgabe an einen Mitarbeiter verteilt.

Aus Sicht von Forschern für Multimodalität hat dieses modulare Konzept aber immer noch Grenzen. „Wenn man ein Tool aufruft, hat man immer noch zwei Modelle: Ein LLM ist „blind“, und unten steht ein Assistent, der klar sehen kann“, erklärt er. Bei nativen multimodalen Modellen ist der „Kommunikationskanal“ zwischen der visuellen Eingabe und dem sprachlichen Hauptmodul breiter, statt das Bild zunächst zu Text zu komprimieren und es dann von einem anderen Modell beurteilen zu lassen.

Dieser Unterschied erstreckt sich auch auf die Nachtrainingsphase. „Wenn das Modell es selbst erledigen kann, ist das definitiv besser“, sagt Chen Yu. Native multimodale Modelle können in der visuellen Verstärkungslernphase die von ihnen generierten Seiten oder Bilder erneut lesen und die visuellen Ergebnisse in dieselbe Trainingsspur einbeziehen. Wenn man auf externe Tools angewiesen ist, müssen die Wahrnehmungsergebnisse zwischen zwei Modellen übermittelt werden.

Bei langkettigen Aufgaben, bei denen der Bildschirm wiederholt betrachtet werden muss, ist dieser Unterschied noch deutlicher. Externe visuelle Tools müssen das Bild zunächst in Text umwandeln, bevor es vom Hauptmodell beurteilt wird. Native multimodale Modelle können die Änderungen der Seite direkt erkennen und dann direkt entscheiden, was als Nächstes zu tun ist.

Während des Austauschs erinnerte sich ein Forscher an das „beeindruckende“ Gefühl, als er zum ersten Mal GPT-5.6 Sol einen PC-Agenten bedienen ließ. GPT-5.6 Sol konnte nicht nur automatisch den Browser öffnen, sondern auch Authentifizierung und Berechtigungen verarbeiten, lokalen Code auf die Plattform hochladen und sogar direkt auf die Trainingsplattform zugreifen und Aufgaben starten.

Willison bewertete, dass das Modell „viele Tricks kennt“ und fast alle verfügbaren Methoden einsetzt, um das Ziel zu erreichen.

„Ohne native Multimodalität hat das Modell keine Augen, und die Rückmeldung ist nur auf Text beschränkt“, sagt der oben genannte Forscher für Multimodalität. „Aber viele nutzerorientierte Ausgaben sind visuell, wie Webseiten, Bilder und Videos. Das Modell muss diese Ergebnisse verstehen, um sich selbst Rückmeldung geben zu können.“

Tatsächlich gibt es in der Branche bisher keinen Konsens darüber, ob die visuelle Wahrnehmung nur ein Werkzeug für das Modell ist, um Aufgaben zu erledigen, oder ein unverzichtbarer Teil des Verständnisses der Welt.

Ilya Sutskever, Mitbegründer und ehemaliger Chefwissenschaftler von OpenAI, nannte Text einmal „eine Projektion der Welt“: Der Mensch hat eine große Menge realer Regeln in die Sprache komprimiert. Wenn das Modell ständig Text lernt, kann es trotzdem ein Verständnis für die Welt erlangen.

Die Beurteilung von Yann LeCun, Turing-Preisträger und Chefwissenschaftler für künstliche Intelligenz bei Meta, ist fast gegenteilig: „Die überwiegende Mehrheit des menschlichen Wissens ist nicht in Textform ausgedrückt.“ Sprache ist nur Informationen, die von Menschen gefiltert und zusammengefasst wurden. Um Objekte, Räume und Handlungen zu verstehen, muss das Modell letztendlich aus Bildern, Videos und realen Interaktionen lernen.

Text ist eine stark zusammengefasste Information, Bilder und Videos ähneln mehr dem ursprünglichen Signal. Das ursprüngliche Signal enthält Teile der Welt, die in Texten nicht aufgezeichnet sind, und erfordert mehr Daten, Rechenleistung und Geduld, um zu verallgemeinerbarem Wissen verarbeitet zu werden.

„Multimodalität ist sicherlich nicht entscheidend, aber sie ist sehr wichtig“, sagt ein Modelforscher. „Die grundlegenden Aufgaben zur Beantwortung von Fragen zu Bildern und Videos sind bereits weitgehend ausgereift. Der nächste Schritt sollte darin bestehen, Multimodalität in produktionsnahen praktischen Szenarien und komplexen Aufgaben einzusetzen.“

Auf der anderen Seite ändern sich die Erwartungen der Nutzer an Flaggschiff-Modelle, da sich das Agenten-Ökosystem unter den breiten Nutzern vollständig verbreitet.

Ende Juni hat Tang Jie, Chefwissenschaftler von Zhipu AI, auf der Plattform X die Nutzer gefragt, welche neuen Funktionen unbedingt in der nächsten Version von GLM hinzugefügt werden müssen. Die immer wieder in den Kommentaren genannte Antwort ist „visuelle Wahrnehmung“.

Zuvor haben mehrere Branchenkenner gegenüber „Intelligent Emergence“ angegeben, dass die nächsten Generationen allgemeiner Basismodelle von Zhipu AI und Tencents Hunyuan möglicherweise weiter in Richtung nativer Multimodalität voranschreiten werden.

Der Trend zeichnet sich ab, aber die Teams für Basismodelle stehen vor einem Problem der Ressourcenverteilung, ob sie die native multimodale Route vollständig verstärken wollen.

Der Preis dafür, dass das Modell „Augen bekommt“

„Für LLM (große Sprachmodelle) ist Multimodalität eher wie ein Anhang“, sagt ein Forscher eines führenden Anbieters von Basismodellen. „Der Kern der Modellentwicklung ist nicht Multimodalität, sondern die Fähigkeit, Aufgaben zu erledigen.“

Aus Sicht der Aufgabenerledigung bedeutet mehr visuelle Wahrnehmung des Modells nicht unbedingt, dass seine Arbeitsfähigkeit stärker ist. Ein realistischeres Problem ist: Nach der Hinzufügung multimodaler Fähigkeiten zum LLM kann es sogar die ursprünglichen Fähigkeiten im Bereich Sprache, Schlussfolgerung und Codierung schwächen.

„Je mehr Aufgaben es gibt, desto schwieriger ist die Balance“, sagt ein Forscher für Multimodalität. „Wenn man nur eine Aufgabe erledigt, kann man sie ständig in eine Richtung optimieren. Wenn man zwei Aufgaben gleichzeitig erledigt (visuell + Text), muss das Modell entweder größer sein oder die Datenmenge größer.“

Das Hinzufügen visueller Fähigkeiten zum Modell ist nicht einfach das Hinzufügen einer neuen Eingabeschnittstelle. Bilder und Texte unterscheiden sich in Datenstruktur, Informationsdichte und Lerngeschwindigkeit. Wenn sie gemeinsam dieselben Hauptparameter trainieren, konkurrieren visuelle Daten mit Text, Code, Mathematik und Schlussfolgerung um die Modellkapazität, und verschiedene Trainingsziele können sich gegenseitig stören.

Der technische Bericht von Kimi K2.5 dokumentiert diesen Einfluss in einem Ablationsexperiment zum Zeitpunkt der Integration: Wenn visuelle Daten erst in der mittleren und späten Phase des Trainings hinzugefügt werden, sinkt die Textfähigkeit des Modells zunächst und erholt sich dann allmählich.

„Wenn man ein einheitliches natives multimodales Modell erstellen will, sind die aufgewendeten Ressourcen sicherlich größer als die Summe der einzelnen Teile“, sagt der oben genannte Forscher. „Es reicht nicht aus, die Trainingsmengen und Parameter zweier einzelner Modelle zusammenzuzählen, um den gleichen Effekt zu erzielen.“

Neben den Schwierigkeiten beim Training bedeutet native Multimodalität auch einen höheren Rechenleistungsverbrauch, während sie die Einsatzszenarien erweitert.

Der technische Bericht von Apples MM1 (Multimodal Large Model) zeigt, dass visueller Encoder, Bildauflösung und Anzahl der visuellen Token alle das Modellergebnis beeinflussen. Höhere Auflösung und mehr visuelle Token führen normalerweise auch zu höheren Kosten für Training und Inferenz.

Bei Aufgaben, bei denen nur wenige Felder gelesen werden müssen, ist es nicht unbedingt kostengünstiger, wenn das allgemeine Modell wiederholt das gesamte Bild betrachtet, als OCR (Optical Character Recognition) oder spezialisierte Modelle zu verwenden.

K3 ist das anschaulichste Beispiel der Gegenwart. Dieses „Allround-Modell“, das gleichzeitig visuelle Fähigkeiten, Codierung und Agentenfähigkeiten verfolgt, hat eine Gesamtparameterzahl von 2,8 Billionen, wobei etwa 104 Milliarden Parameter pro Token aktiviert werden.

Was die Trainingsmethode betrifft, folgt K3 dem „Early Fusion“-Ansatz ähnlich wie K2.5. Die Experimente von K2.5 zeigen, dass die frühe Einführung von visuellen Daten in einem niedrigen Anteil bei fester Gesamtmenge von Bild- und Text-Token normalerweise besser ist als die spätere Integration in der späten Trainingsphase. Das endgültige Verfahren mischt Text- und visuelle Daten in einem festen Verhältnis während des gesamten gemeinsamen Vortrainings mit etwa 15 Billionen gemischten Bild- und Text-Token.

K3 hat außerdem den visuellen Encoder MoonViT-V2 mit etwa 400 Millionen Parametern von Grund auf neu trainiert, ohne auf die Initialisierungsgewichte von SigLIP (Bild-Text-Vergleichs-Vortrainingsmodell) angewiesen zu sein, und lässt die visuelle Repräsentation direkt in das Ziel der Vorhersage des nächsten Tokens einfließen. Laut dem technischen Bericht verbessert dieses Vorgehen die Trainingsstabilität, während der visuelle Effekt beibehalten wird.

„Jedes bisschen mehr multimodaler Daten kann die Textverständnisfähigkeit, die Codierfähigkeit oder die mathematische Fähigkeit verschlechtern, und man muss das Verhältnis später weiter anpassen. Das prüft die Fähigkeit des Basismodell-Teams, verschiedene Module zu integrieren“, fasst ein Forscher zusammen.

Einige Wochen nach der Veröffentlichung von K3 hat DeepSeek eine andere Lösung vorgelegt. Die offizielle Version von DeepSeek V4-Flash hat eine Gesamtparameterzahl von 284 Milliarden, wobei 13 Milliarden Parameter pro Token aktiviert werden, was etwa einem Zehntel bzw. einem Achtel von