Doubao In-Vehicle 2.0: Realisierung der Vernetzung des gesamten Fahrzeugs durch ein einziges KI-Gehirn

Im vergangenen Jahr hat ByteDance mit seinem tief angepassten „Doubao-Handy“ die Mobilfunkbranche in Aufregung versetzt. Jetzt beginnt sich das Produktparadigma des Doubao-Handy-Assistenten auch auf den Automobilbereich auszubreiten. 

Am ersten Tag der Eröffnung der Automesse Peking veröffentlichte Volcano Engine, eine Tochtergesellschaft von ByteDance, eine neue Generation von KI-Autolösungen auf Basis der Agentic-KI-Architektur, die zwei Hauptlösungen umfasst: das KI-Cockpit-Kit und das Doubao-Cockpit-Assistenten-Programm.

Das erstgenannte vollständige KI-Cockpit-Kit ist eine Lösung mit umfassenden Fähigkeiten, die Automobilhersteller flexibel auswählen können. Das zweitgenannte Doubao-Cockpit-Assistenten-Programm hingegen ist genau das Killer-Produkt für die Cockpit-Interaktion, an dem ByteDance mit voller Kraft arbeitet. Es handelt sich um eine vollständigere produktionsreife Auslieferung, die mit der Doubao-App verbunden ist und Fähigkeiten gemeinsam weiterentwickelt. Es wird im Laufe dieses Jahres in Serienfahrzeugen eingesetzt.

In Bezug auf das sprachliche Interaktionserlebnis wird der Doubao-Cockpit-Assistent den sprachlichen Assistenten im Auto von der bisherigen anweisungsbasierten Interaktion mit Frage und Antwort befreien, ihn dazu bringen, unscharfe natürliche Sprache zu verstehen, sie in entsprechende Anweisungen aufzuteilen und Fahrzeugsteuerungsvorgänge auszuführen.

Nach der Einführung wird der Doubao-Cockpit-Assistent auch die Fähigkeit zur Vollduplex-Konversation realisieren, d. h. Mensch und Auto können in Echtzeit synchron kommunizieren, jederzeit sprechen, sich jederzeit unterbrechen und ohne Aktivierungswort auskommen.

Das ist noch nicht alles: In Bezug auf die Funktionen beschränkt sich der sprachliche Assistent nicht mehr auf einfache Fahrzeugsteuerungen wie das Einstellen der Temperatur oder das Abspielen von Musik, sondern deckt den gesamten Fahrdienst ab, einschließlich Fahren, Routenplanung, Unterhaltung und Interaktion. Wenn Sie beispielsweise direkt zum Doubao-Cockpit-Assistenten sagen: „Parken Sie auf dem Platz, der dem Eingang am nächsten liegt“, aktiviert das System das Fahrassistenzsystem und parkt das Auto automatisch auf dem entsprechenden Platz.

Darüber hinaus kann der Doubao-Cockpit-Assistent die Rolle eines „Rundreise-Führers“ übernehmen, automatisch schöne Landschaften entlang der Strecke erkennen, Aussichtsrouten aktiv empfehlen, automatisch die Geschwindigkeit verringern und die Fenster öffnen. Beispielsweise wird während der Fahrt angezeigt: „Nach rechts abbiegen führt über die Kirschblütenallee, die Umleitung dauert 4 Minuten länger“. Nachdem der Passagier zugestimmt hat, verlangsamt das System automatisch die Geschwindigkeit und öffnet die Fenster.

Mehrere Branchenkenner haben 36Kr mitgeteilt, dass Volcano Engine intern die Projektumsetzung durch die Gründung einer abteilungsübergreifenden Sondergruppe vorantreibt. „Es wird erwartet, dass die vollständigen Fähigkeiten des Doubao-Cockpit-Assistenten in der zweiten Jahreshälfte dieses Jahres umgesetzt werden.“

Es muss klargestellt werden, dass ByteDance mit diesem Schritt nicht in das Automobilgeschäft einsteigt, sondern gemeinsam mit Automobilherstellern ein generationsübergreifendes Cockpit-Interaktionserlebnis schafft und echte durchgehende End-to-End-KI realisiert.

Der Trend, KI-Großmodellfähigkeiten in das Autocockpit zu integrieren, stammt ursprünglich von Tesla. Nachdem Elon Musk das von xAI entwickelte Grok-Großmodell im Fahrzeug eingesetzt hat, wurde zuerst eine generationsübergreifende Verbesserung des Erlebnisses bei der Interaktion in natürlicher Sprache erreicht. Gleichzeitig wurden das Verständnis von Sprachabsichten, Personalisierung und Gedächtnisfähigkeit deutlich verbessert, und es können auch Routen automatisch geplant und POIs (Points of Interest) basierend auf Anweisungen in natürlicher Sprache ausgewählt werden.

Laut 36Kr hat ein Vorsitzender eines führenden Automobilherstellers während der CES dieses Jahres das Video gesehen, in dem Mitarbeiter vor Ort das Tesla-Grok erleben, war tief beeindruckt und hat sofort entschieden, dass das Großmodell in diesem Jahr im Fahrzeug eingesetzt werden soll. Das interne Team wurde sofort aufgebaut und hat die erste Version in nur zwei Monaten fertiggestellt.

Die „Kombination aus Grok + FSD“ oder die Integration des Großmodells in das Cockpit stimuliert die Automobilhersteller stark. Schließlich ist das Erlebnis nach Jahren des harten Wettbewerbs im Bereich des intelligenten Fahrens nahezu ausgereift und sogar homogenisiert, während die Cockpit-Interaktion lange Zeit relativ ruhig war. Mit der Einführung des Großmodells im Cockpit wird der Vorstellungsraum, der Interaktion, Fahrzeugsteuerung und Dienste verbindet, neu geweckt.

„Fast alle Automobilhersteller bauen intelligente Cockpit-Agenten auf“, teilten Branchenkenner mit. Am ersten Tag der Automesse Peking in diesem Jahr haben viele Automobilhersteller wie Geely und Li Auto entsprechende Produkte vorgestellt.

Der technische Beschleunigungspunkt für intelligente Agenten im Autocockpit trat Ende 2024 auf. Mit der Einführung des von ChatGPT vorangetriebenen S2S (Speech-to-Speech, End-to-End-Sprache) wurde die Verzögerung der Sprachinteraktion stark reduziert, was die Grundlage für Echtzeit-Naturkonversationen im Cockpit legte und der Automobilindustrie die Gelegenheit bot, nach dem Super-Intelligenzagenten für Cockpit-Interaktion zu suchen.

Laut exklusiven Informationen von 36Kr ist Volcano Engine eines der Unternehmen mit großen Investitionen, das bereits mit einem führenden bekannten Automobilhersteller tief zusammenarbeitet. Laut 36Kr hat dieser Automobilhersteller auch Hunderte Millionen Yuan an Entwicklungskosten für Volcano Engine investiert, während ByteDance für dieses Projekt Mitarbeiter von Volcano Engine und Doubao abgezogen hat, um das Projektteam zu bilden.

Neben Doubao steigt auch Aliqas Tongyi Qianwen schnell in den Markt für Cockpit-Agenten ein. Es arbeitet tief mit dem Qualcomm 8797 zusammen, um die Einführung von seitenmodellen im Fahrzeug voranzutreiben. Offensichtlich stehen die Giganten und die Automobilhersteller in diesem neuen Schlachtfeld des intelligenten KI-Cockpits bereits in den Startlöchern.

Volcano Engine gründet Sondergruppe und arbeitet mit aller Kraft an durchgehenden KI-Assistenten

Die Integration von Großmodellen in Fahrzeuge ist keine Neuheit, aber innerhalb eines Jahres hat sich die Produktform vollständig verändert.

Als DeepSeek im vergangenen Jahr populär wurde, gab es einen Boom bei der Integration von Großmodellen in Fahrzeuge, aber damals haben die meisten Automobilhersteller Großmodelle über Cloud-Engines integriert. Beispielsweise wurde das Doubao-Großmodell größtenteils über Volcano Engine im Fahrzeug eingesetzt. Letzteres öffnete APIs für die Integration durch Automobilhersteller und realisierte die Anpassung, was viele Automobilhersteller wie BYD, Mercedes-Benz und SAIC getan haben.

Aber das Ergebnis war nicht zufriedenstellend. „Wir haben es nach der Integration ausprobiert, es konnte nicht einmal das grundlegende Aktivierungswort richtig aussprechen“, sagte ein Entwickler eines Automobilherstellers zu 36Kr Auto. Dies führte dazu, dass das Modell nach der Integration nur die Frage-Antwort-Fähigkeit verbessern konnte, aber keine Agent-Fähigkeit realisieren konnte.

Das Problem liegt nicht vollständig in der Technik, sondern auch im Kooperationsmechanismus. Volcano Engine und die Automobilhersteller haben ein neues Kooperationsmodell eingeführt.

Laut 36Kr hat Volcano Engine mit dem Kooperationspartner des Automobilherstellers eine Sondergruppe gegründet, um das Projekt des Doubao-Cockpit-Assistenten voranzutreiben. Der Automobilhersteller stellt die Fahrzeugplattform und die Umsetzungsfähigkeit zur Verfügung, investiert Hunderte Millionen Yuan an finanzieller Unterstützung und übergibt Volcano Engine die führende Rolle bei der Entwicklung der neuen Cockpit-Interaktion.

Darüber hinaus hat Volcano Engine in diesem Projekt ein Modell mit einer Größe von etwa 30B auf der Fahrzeugseite eingesetzt, das die umfassende Wahrnehmungsfähigkeit übernimmt: Kontinuierliche Eingabe von Bild-, Sprach- und Umgebungsinformationen, um „ständig online“ zu sein. In der Cloud laufen 3 bis 4 Kernagenten, die Aufgaben wie Koordination von Cockpit und Fahrassistenz, Fahr- und Erlebnissteuerung, Komfortsteuerung und emotionale Interaktion übernehmen.

Auf dieser Grundlage kann das System eine Vollduplex-Sprachkonversation realisieren – die Kommunikation zwischen Benutzer und System ist nicht mehr abwechselnd, sondern kann jederzeit unterbrochen, eingefügt und fortgesetzt werden, was der natürlichen Konversation zwischen Menschen nahekommt.

„Der Vorteil der Bereitstellung von Großmodellen auf der Geräteseite besteht darin, dass auf alle lokalen Dateien zugegriffen werden kann und Betriebsberechtigungen für lokale Apps bestehen“, sagte ein Entwickler für Cockpit-Systeme.

Es ist erwähnenswert, dass sich die „intelligente Rechenleistung“ in der Automobilindustrie bisher hauptsächlich auf den Bereich des intelligenten Fahrens konzentriert. Die Bereitstellung eines 30B-Großmodells im Fahrzeug hat fast keine Präzedenzfälle. Selbst für intelligente Fahrmodelle liegt die bekannte Obergrenze in der Branche derzeit bei etwa 4B.

Ein Informant hat 36Kr mitgeteilt, dass Volcano Engine, um dieses supergroße Modell im Fahrzeug auszuführen, bei NVIDIA den Chip Thor z maßgeschneidert hat, „der hinsichtlich Speicher und Bandbreite optimiert ist“ und als externer Rechenleistungs-Box in Form einer AI Box im Fahrzeug eingesetzt wird. Auf der Automesse hat Volcano Engine auch dieses Hardware-Programm vorgestellt.

Öffentlichen Informationen zufolge hat NVIDIA im vierten Quartal 2024 den zentralen Berechnungs-Chip Thor für die Integration von Cockpit und Fahrassistenz auf den Markt gebracht, der Produktlinien wie Super/X/S/U/Z umfasst. Thor Z ist die Einstiegsversion mit einer Rechenleistung von 360 TOPS pro Chip.

„Das ähnelt eher dem Ausführen eines Echtzeit-Videostream-Systems im Auto, einem Versuch ohne Rücksicht auf die Kosten, der aber kaum auf die kommerzielle Ebene übertragen werden kann“, bewertete ein Branchenkenner. Nach seiner Berechnung können die Kosten für Modell und Rechenleistung pro Fahrzeug und Monat über 10 Yuan liegen, wenn Benutzer häufig Sprachinteraktion, Agentensteuerung und visuelle Wahrnehmungsfähigkeiten nutzen, was weit über die Kosten bestehender Fahrzeugsystemdienste hinausgeht.

Darüber hinaus müssen beide Seiten auf technischer Ebene noch mehr Probleme überwinden. „Beide Seiten arbeiten an einer neuen Fahrzeugplattform, und der Automobilhersteller selbst verfügt nicht über OS-Fähigkeiten, was bedeutet, dass eine neue Fahrzeugsystemplattform von Grund auf neu erstellt werden muss. Fast alle Apps müssen neu angepasst werden, sogar die Karten müssen tief angepasst werden. Das ist eine sehr komplexe und langwierige Angelegenheit“, sagte ein Branchenkenner.

Volcano Engine hat auch große Anstrengungen für dieses Projekt unternommen. „Ein Team von Hunderten von Mitarbeitern arbeitet daran und konzentriert sich gleichzeitig auf führende Internet-Anwendungsdienste wie Meituan und Amap. Jede App braucht mehrere Monate, um neu verpackt zu werden“, sagte ein Insider.

Ein Auto, ein KI-Gehirn

Die Interaktion auf Fahrzeugebene ist schon immer komplex. Es gibt funktionale Interaktionen im Zusammenhang mit hoher Sicherheit, unterhaltsame Interaktionen ohne Sicherheitsbezug sowie übergreifende Interaktionen im Zusammenhang mit intelligentem Fahren.

Diese Aufteilung der Nutzungsszenarien und der Widerstand zwischen Abteilungen führen dazu, dass Automobilhersteller normalerweise Schwierigkeiten haben, die Grenzen zu durchbrechen und die Form eines fahrzeugweiten KI-Gehirns zu erforschen. Volcano Engine ist der Ansicht, dass in einem geschlossenen Cockpit-Szenario die Interaktion durch ein einheitliches KI-Gehirn eine extremere Lösung ist.

Nach Angaben des zuständigen Verantwortlichen hat Volcano Engine in der neuen Generation von KI-Autolösungen drei Engines in das einheitliche „Autogehirn“ integriert: die Dialog-Inferenz-Engine, die zielgesteuerte Engine und die Lern- und Wachstums-Engine.

Darüber hinaus ändert sich auch das Architekturparadigma der KI. Openclaw ist nach dem Frühlingsfest schnell populär geworden. Die Automobilhersteller sind allgemein der Ansicht, dass KI nicht mehr als einfacher Chatbot in das Fahrzeug eintreten sollte, sondern mit einem neuen Aufgabenparadigma bei Automobilherstellern eine „umfassende Schlüsselrolle“ spielen sollte.

Volcano Engine hat eine spezifere Lösungsidee vorgeschlagen. Im Gegensatz zum rundenbasierten Interaktionsmodus von Chatbot verfügt die Agentic-KI unter dem neuen KI-Architekturparadigma über selbstständige Antriebsfähigkeit, kann die Umgebung in Echtzeit wahrnehmen, Rückmeldungen empfangen und kontinuierlich selbstständig lernen und sich weiterentwickeln. Auf Basis des leistungsstarken Großmodells kann es umfassendes Wissen und vielfältige Tools verbinden, Aufgaben mit klaren Zielen selbstständig vorantreiben und die Ergebnisse der Ausführung selbst überprüfen, um eine kontinuierliche Weiterentwicklung zu realisieren.

Im Einzelnen kann die „Dialog-Inferenz-Engine“ eine natürliche Kommunikation wie ein echter Mensch realisieren und sich von der kalten, mechanischen rundenbasierten Frage-Antwort-Unterhaltung verabschieden. Durch die Fähigkeit zur Ablehnung von unangemessenen Inhalten durch das Großmodell auf der Geräteseite, VLM-Erkennung und die ASR-Fähigkeit, die auch in der Doubao-Eingabemethode verwendet wird, werden ständige Funktionen ohne Aktivierungswort und Mehrpersonen-Konversation realisiert. Jede Kommunikation wird der Konversation natürlich beitreten, wenn es an der Zeit ist. Auf Basis der branchenführenden zweistufigen Vollduplex-Fähigkeit können Mensch und Auto in Echtzeit synchron kommunizieren, sich jederzeit unterbrechen und dazwischensprechen, so natürlich wie die Kommunikation zwischen echten Menschen.

Die „zielgesteuerte Engine“ kann basierend auf dem Aufgabenziel und der Umgebungsrückmeldung selbstständig umfassende fahrzeuginterne Tools aufrufen und wirklich wie ein Mensch handeln. Sie kann komplexe, mehrstufige und szenarienübergreifende Angelegenheiten von Anfang bis Ende für Sie erledigen, ohne dass Sie sie wiederholt erklären müssen. Beispielsweise kann sie basierend auf dem Zustand des Kindes auf dem Rücksitz und den im Fahrzeug gespeicherten Informationen verschiedene geeignete Methoden anwenden: Singen, Zeichentrickfilme abspielen, Geschichten erzählen, Spiele spielen, das Kind zum Einschlafen bringen usw., um das Kind während der gesamten Reise zu begleiten.

Die „Lern- und Wachstums-Engine“ kann wie ein Mensch ständig Erfahrungen im Prozess zusammenfassen und sich selbst verbessern. Sie ist nicht auf grundlegende Gedächtnisfähigkeiten wie Präferenzen, Themen und Szenarien beschränkt, sondern kann auch Erfahrungen im Prozess der Aufgabenausführung sammeln und wiederverwendbare Fähigkeiten bilden.

Durch die tiefe Integration von KI und Auto wird Volcano Engine gemeinsam mit Automobilherstellern ein leb