Das KI-Team von BYD wurde erstmals der Öffentlichkeit vorgestellt, es zeichnet sich durch herausragende Robotik-Gene der Harbin Institute of Technology aus, und das von ihm erstmals veröffentlichte Großmodell erreicht auf Anhieb den SOTA-Status.

Sogar BYD beginnt jetzt, KI-Forschungsarbeiten zu veröffentlichen!

Und es handelt sich nicht um oberflächliche Arbeiten ohne nennenswerten Erkenntnisgewinn.

Die neueste veröffentlichte Arbeit mit dem Namen HyWorldVLA stammt vom Forschungsinstitut für neue Automobiltechnologien von BYD und zielt auf den derzeit beliebtesten Bereich des autonomen Fahrens ab — Vision-Language-Action (VLA) + World Model (Weltmodell).

HyWorldVLA erreichte auf dem öffentlichen Benchmark für autonomes Fahren NAVSIM v1 einen SOTA-Wert mit einem PDMS von 90,59.

Das ist ein totaler Kontrast!

In den vergangenen Jahren verband die Öffentlichkeit die Intelligenz von BYD vor allem mit dem „Göttlichen Auge“, der Integration der Lieferkette, der skalierbaren Umsetzung und natürlich der „Garantie“ in diesem Jahr.

Aber wenn Sie konkret zurückrufen sollen, welche KI-Technologien und akademischen Ergebnisse BYD auf der Ebene des selbst entwickelten Codes hat... bleibt es völlig leer.

Es gab sogar Gerüchte, dass die Folien der intelligenten Pressekonferenz von BYD von Lieferanten erstellt wurden.

Doch mit dieser Forschungsarbeit sieht jeder ein BYD mit völlig anderer genetischer Ausrichtung:

Es gibt nicht nur Ergebnisse im Bereich des autonomen Fahrens, sondern auch ein Forschungsteam, das seit langem in grundlegende Modelle der physischen KI investiert.

Was will HyWorldVLA lösen?

Zuerst geht es darum, was diese Forschungsarbeit eigentlich untersucht.

HyWorldVLA zielt auf die modernste Richtung im Bereich des autonomen Fahrens ab:

Die KI von der „Erkennung von Straßen“ zur „Verständnis der Welt“ zu bringen.

Daher erforscht die Branche in den letzten Jahren End-to-End-Modelle für das autonome Fahren: Das Modell erhält Eingaben direkt von Sensoren und gibt Fahrzeugsteuerungen oder Trajektorien aus. Die weitere Entwicklung besteht darin, ein World Model (Weltmodell) hinzuzufügen.

Einfach ausgedrückt: Das Weltmodell soll der KI einen „internen Simulator“ verleihen. Es weiß nicht nur, was gerade passiert, sondern kann auch die Zukunft vorhersagen: Wie wird sich die Straße in einigen Sekunden ändern? Wie werden sich andere Verkehrsteilnehmer wahrscheinlich verhalten? Welche Strategie soll das Fahrzeug anwenden?

Dies ist auch die Richtung, an der Akteure wie Tesla FSD, Waymo und NVIDIA arbeiten.

Aber das Problem ist, dass die derzeitigen Weltmodelle für autonomes Fahren noch mit einem zentralen Widerspruch konfrontiert sind:

Das Modell soll sowohl die Details der realen Welt verstehen, als auch effizient schlussfolgern können.

Eine Methode ist das Pixel-level World Model, also die direkte Vorhersage zukünftiger Videobilder. Der Vorteil liegt in der Intuitivität: Das Modell kann zukünftige Straßen-, Fahrzeug- und Umgebungsänderungen generieren. Aber der Nachteil ist auch offensichtlich: Die Rechenkosten sind hoch, und es ist anfällig für visuelle Störungen.

Eine andere Methode ist das Latent World Model, also die Vorhersage der Zukunft in einem komprimierten latenten Raum. Diese Methode ist effizienter und eignet sich besser für das Training großer Modelle. Das Problem ist jedoch: Das Modell versteht möglicherweise abstrakte Beziehungen, verliert aber die Details der realen Welt.

HyWorldVLA schlägt ein gemischtes Weltmodell (Hybrid World Modeling) vor, das die Verständnisfähigkeit des visuellen Weltmodells für Umgebungsdetails behält und gleichzeitig die Schlussfolgerungseffizienz durch das latente Raum-Modell verbessert.

Auf dieser Grundlage führt die Forschungsarbeit zusätzlich ein Vision-Language-Action (VLA)-Modell ein, sodass das System nicht nur die visuelle Umgebung verstehen, sondern auch semantische Informationen kombinieren kann, um Fahraktionen zu generieren.

Es kombiniert die Vorteile beider Ansätze, vermeidet gleichzeitig ihre jeweiligen Nachteile und bildet schließlich einen End-to-End-Ablauf: die Umgebung wahrnehmen, die Umgebung verstehen, die Zukunft vorhersagen und Maßnahmen ergreifen.

Wie ist die Wirkung?

HyWorldVLA wählte als Testplattform den öffentlichen Benchmark, der im Bereich der Forschung zum autonomen Fahren große Aufmerksamkeit erhält: NAVSIM v1.

Im Gegensatz zu herkömmlichen Tests für visuelle Aufgaben konzentriert er sich stärker darauf: Ob das Fahrzeug die Fahraufgabe sicher und effizient abschließen kann, wenn es tatsächlich der von der KI geplanten Route folgt.

Daher verwendet er einen umfassenden Indikator PDMS (Predictive Driver Model Score), der der tatsächlichen Fahrqualität näher kommt. Er umfasst: ob es zu einem verantwortungsvollen Kollisionsunfall kommt; ob das Fahrzeug in der befahrbaren Zone bleibt; ob ein angemessener Sicherheitsabstand eingehalten wird; ob das Fahrziel erreicht wird; ob die Fahrzeugbewegung glatt und komfortabel ist.

Das heißt, ein Modell kann keine hohe Punktzahl durch „sehr langsames Fahren“ erreichen, und es kann auch nicht nur nach Geschwindigkeit streben und die Sicherheit ignorieren. Es muss gleichzeitig sicher, effizient und komfortabel sein.

HyWorldVLA erreichte im Test von NAVSIM v1 einen PDMS-Wert von 90,59 und liegt damit auf einem führenden Niveau unter den veröffentlichten Ergebnissen.

Das zeigt: Zumindest in öffentlichen Datensätzen und simulierten Fahrumgebungen verfügt dieses Basismodell von BYD über die derzeit fortschrittlichsten Fähigkeiten im Bereich der Forschung zum autonomen Fahren.

Aber man muss objektiv betrachten: Eine führende Position auf dem Benchmark bedeutet nicht, dass das serienmäßige autonome Fahren bereits abgeschlossen ist.

Daher ist die genauere Bedeutung des SOTA-Ergebnisses des großen Modells für autonomes Fahren von BYD:

BYD hat bewiesen, dass es über die Fähigkeit zur Erforschung multimodaler grundlegender Modelle der physischen KI verfügt.

Wie wurde das erreicht?

Die Mischung von HyWorldVLA besteht nicht einfach darin, die beiden Ansätze zusammenzufügen, sondern lässt die pixelbasierten und latenten Raum-Repräsentationen in verschiedenen Trainingsphasen ihre jeweiligen Aufgaben erfüllen. Der gesamte Ablauf gliedert sich in drei Schritte.

Erster Schritt: Training eines Videokompressors.

Zuerst werden aufeinanderfolgende Videobilder mit einem Video-VAE zu kompakten latenten Merkmalen komprimiert. Anschließend führt das Modell Vorhersagen in diesem komprimierten Raum durch, anstatt im ursprünglichen Pixelraum gegen Störungen anzukämpfen. Um die Kompressionsqualität zu verbessern, werden Textdaten während des Codierungsprozesses als semantische Anleitung eingeführt — Textbeschreibungen helfen dem Modell zu verstehen, welche wichtigen Strukturen im Bild vorhanden sind und welche Details ignoriert werden können, was die Klarheit der rekonstruierten Bilder erheblich verbessert.

Zweiter Schritt: Vortraining. Alle Bilder, Aktionen, Sprachen und latenten Merkmale werden in einheitliche diskrete Token umgewandelt, zu einer langen Sequenz kombiniert, und das Modell lernt auf autoregressive Weise, vorherzusagen, was das nächste Token ist.

Das Schlüsseldesign in dieser Phase ist das „Laufen auf zwei Beinen“ — das Modell erledigt zwei Dinge gleichzeitig: die Token zukünftiger Bilder vorhersagen und die zukünftigen latenten Merkmale vorhersagen. Die Vorhersage der Bild-Token fungiert als „Aufseher“, der den latenten Raum zwingt, genügend Informationen zu behalten, um klare Bilder wiederherzustellen, und verhindert, dass die Repräsentationen während des Lernprozesses leer und nutzlos werden.

Dritter Schritt: Gemeinsames Feintuning. In diesem Schritt sagt das Modell keine Bilder mehr voraus, sondern gibt nur latente Merkmale aus. Das Aktionsgenerierungsmodul kombiniert diese latenten Merkmale mit historischen Informationen, um die endgültige Trajektorie zu erzeugen.

Die Forschungsarbeit hat zwei Arten von Aktionsmodulen validiert — eines bewertet die Kandidatentrajektorien und wählt die beste aus, das andere gibt kontinuierliche Trajektorien direkt mit einem Generierungsmodell aus — beide zeigen Verbesserungen, was zeigt, dass der Nutzen dieser Methode nicht von einem bestimmten Aktionsdesign abhängt.

Wodurch wurde der SOTA-Erfolg eigentlich erzielt? Ablationsstudien geben die Antwort.

Der größte Beitrag stammt von der „Mischung“ selbst. Entfernt man die Bildvorhersage und behält nur den latenten Raum bei, fällt der PDMS-Wert von 90,59 auf 87,50 — das ist der größte Rückgang unter allen Ablationen, was zeigt, dass die feine Überwachung auf Pixelebene für die Gesamtleistung von entscheidender Bedeutung ist. Umgekehrt fällt der PDMS-Wert auch auf 89,91, wenn man den latenten Raum entfernt und nur das pixelbasierte Modell behält. Keiner der beiden Ansätze kann fehlen, mit nur einem allein erreicht man keinen Wert von 90,59.

Die Gewichtung der Überwachung durch latente Merkmale ist auch sehr wichtig. Wenn die latenten Merkmale während des gemeinsamen Feintunings überhaupt nicht eingeschränkt werden (λ₃=0), beträgt der PDMS-Wert nur 90,17; bei einer moderaten Gewichtung (λ₃=0,1) wird der Optimalwert von 90,59 erreicht; wenn die Gewichtung weiter erhöht wird, fällt der Wert auf 89,75. Das zeigt: Eine moderate Einschränkung kann verhindern, dass die während des Vortrainings erlernten Semantiken während des Feintunings verloren gehen, aber eine zu starke Einschränkung würde das Modell behindern, die für das Fahren nützlichsten Repräsentationen selbst zu entdecken.

Die Robustheit gegenüber Störungen ist ein „zusätzlicher Vorteil“, der durch den latenten Raum entsteht. Die Forschungsarbeit hat speziell 655 Szenen mit Regen und Nebel für Tests gesammelt. Die reine Pixelmethode WoTE erreicht nur 60,65, DriveVLA-W0 nur 61,18; HyWorldVLA erreicht 86,87. Dieser Unterschied zeigt: Bei schlechtem Wetter ist das Schlussfolgern im komprimierten Raum viel zuverlässiger als das Kämpfen im Pixelraum.

Zusammenfassend lässt sich sagen: Dieses Konzept gewinnt durch die „arbeitsteilige Ausführung in Phasen“ — während des Vortrainings wird der latente Raum durch Pixelrekonstruktion „vollständig aufgefüllt“, sodass er genügend Umgebungsinformationen behält; beim Feintuning wechselt man zur reinen latenten Raum-Schlussfolgerung und erhält automatisch Immunität gegenüber Regen, Nebel und Beleuchtung.

Die beiden Phasen haben klare Aufgaben, stören sich nicht gegenseitig, anstatt dass ein Modell gleichzeitig zwei Aufgaben bewältigt.

HyWorldVLA repräsentiert die Forschungsrichtung für grundlegende Modelle des autonomen Fahrens und liegt im gleichen technischen Trend wie Ansätze wie Tesla FSD, Waymo und NVIDIA Cosmos, wählt jedoch einen spezifischen technischen Pfad aus, der VLA mit dem gemischten Weltmodell kombiniert, mit eigenen differenzierten Schwerpunkten.

Aber vor der großflächigen Serienimplementierung muss noch eine Reihe von ingenieurtechnischen Herausforderungen bewältigt werden, wie der geschlossene Kreislauf mit echten Daten, die Einschränkungen der Rechenleistung am Fahrzeug und die Abdeckung von Langschwanzszenarien.

BYD KI neu verstehen: Wie sieht das Team hinter der Forschungsarbeit aus?

Diese Forschungsarbeit zu HyWorldVLA wurde vollständig unabhängig vom Forschungsinstitut für neue Automobiltechnologien von BYD (dem ehemaligen Planungsinstitut unter der Leitung von Yang Dongsheng) erstellt, ohne namentliche Zusammenarbeit mit externen Universitäten oder Forschungseinrichtungen. Das ist unter KI-Forschungsarbeiten von Automobilherstellern nicht üblich.

Wenn man die Suche über das „Forschungsinstitut für neue Technologien“ hinaus auf alle mit BYD verbundenen Einrichtungen ausweitet, lassen sich vollständigere Informationen finden.

HyWorldVLA ist die erste Forschungsarbeit von BYD zu einem multimodalen Basismodell, aber nicht die erste KI-Forschungsarbeit überhaupt.

Es gibt mindestens eine weitere Arbeit EMoE-Planner (ein Planungsmodell für autonom