Baidu hat mit seinen selbstfahrenden Autos das „Matrix“-Szenario verwirklicht: Das Weltmodell führt globale Echtzeit-Deduktionen durch, sodass ein einziger Betriebstag dem Äquivalent von drei Jahren an Fahrerfahrung entspricht.

1 Million Kilometer —

Das entspricht etwa dem 2,6-fachen der durchschnittlichen Entfernung zwischen Erde und Mond und reicht aus, um die Erde 25-mal entlang des Äquators zu umrunden.

Was bedeutet es für ein L4-fahrerloses Fahrsystem, einen solchen Umfang an realen Straßentests durchzuführen?

Bei einer Berechnung von 150 gefahrenen Kilometern pro Tag pro Fahrzeug entspricht dies einer ununterbrochenen Fahrt von mehr als 6600 Tagen. Selbst wenn Hunderte von Testfahrzeugen gleichzeitig auf die Straße geschickt werden, dauert es mehr als zwei Monate. Hinzu kommt, dass komplexe Situationen auf realen Straßen oft nicht nach dem Testplan auftreten.

Lange Zeit war dies ein reales Problem für die skalierte Entwicklung des autonomen Fahrens. Jede Erweiterung des Betriebsbereichs der Fahrzeugflotte und jede Aktualisierung des Fahrsystems gehen in der Regel mit einer großen Anzahl von zu validierenden Verkehrsszenarien einher.

Doch heute gibt es neue Ansätze für diese zeit- und arbeitsintense Validierungsmethode in der realen Welt.

Gerade hat Baidu Apollo das brandneue Weltmodell ApolloWorld offiziell vorgestellt. Es kann mit KI eine sich ständig verändernde virtuelle Verkehrsumgebung aufbauen, in der autonome Fahrzeuge unterschiedliche Wetterverhältnisse, Straßen und Verkehrsteilnehmer erleben können, um eine vollständige Robotaxi-Fahrt abzuschließen.

Das Beschleunigen, Verlangsamen oder Spurwechseln des autonomen Fahrzeugs kann die Entscheidungen der umgebenden Verkehrsteilnehmer verändern und damit zu unterschiedlichen Ergebnissen führen.

Ah, das sieht aus wie ein interaktives Spiel mit hohem Freiheitsgrad.

Und diese virtuelle Stadt hat inzwischen praktische Anwendungen.

Wie mitgeteilt wurde, wird ApolloWorld bereits für die globale Testung und Validierung der Apollo Go autonomen Fahrzeuge eingesetzt, um mehr Training und Validierung, die ursprünglich auf realen Straßen durchgeführt werden mussten, in die Cloud zu verlagern.

Die offensichtlichste Veränderung ist die Effizienz.

Nach den von Baidu veröffentlichten Daten entspricht die virtuelle Teststrecke, die ApolloWorld an einem Tag absolviert, der kontinuierlichen Fahrt eines echten Testfahrzeugs mit Sicherheitsbeauftragten über etwa drei Jahre.

Dies bedeutet, dass einige Testaufgaben, die früher auf eine große Anzahl von Fahrzeugen, Personal und Zeit angewiesen waren, nun mit Hilfe von Rechenressourcen parallel durchgeführt werden können.

Die dazugehörige Fahrzeugseitige Technologie hat ebenfalls Fortschritte gemacht. Die neue L4-End-to-End-Modellarchitektur von Baidu wurde bereits in einer bestimmten Anzahl von Fahrzeugen im Inland im praktischen Betrieb eingesetzt und ersetzt schrittweise die bisherigen herkömmlichen Lösungen.

Das Weltmodell stellt eine virtuelle Trainings- und Validierungsumgebung bereit, das Fahrmodell wird darin wiederholt getestet und gelangt dann in den realen Straßenbetrieb. Einfacher ausgedrückt: KI lehrt KI das Fahren.

Für Apollo Go, dessen Geschäftstätigkeit 28 Städte weltweit abdeckt, taucht dieses technische System genau in einer Phase auf, in der die globale Expansion beschleunigt wird.

Mit dem Einzug autonomer Fahrzeuge in mehr Städte werden die Verkehrsumgebungen, mit denen die Forschung und Entwicklung umgehen muss, immer komplexer. Auf realen Straßen sind jedoch genau die Unfälle, die am meisten erforscht werden sollten, am schwierigsten zu antreffen.

Eine virtuelle Stadt ohne Drehbuch, ein Tag Betrieb entspricht drei Jahren realer Fahrt

Freunde, die den Film „Matrix“ gesehen haben, sind wahrscheinlich tief beeindruckt von dieser Welt, die aus Programmen besteht. Ob Straßen, Gebäude, Fahrzeuge oder Fußgänger – sie sehen genauso aus wie in der realen Welt, hinter ihnen läuft jedoch ein riesiges Rechensystem.

Es ist kaum zu glauben, dass nur über zwanzig Jahre später diese virtuelle Welt aus dem Drehbuch wirklich aus dem Film in die Realität übergegangen ist.

Das von Baidu vorgestellte ApolloWorld erzeugt verschiedene virtuelle Städte, in denen autonome Fahrzeuge fahren können. Der Unterschied besteht darin, dass Verkehrsteilnehmer in der virtuellen Stadt selbstständig Urteile nach der Umgebung fällen können.

Beispielsweise fährt ein autonomes Fahrzeug zur Einfahrt einer Hochstraße, während ein Auto von einer Nebenstraße bereit ist, in die Hauptstraße einzufahren.

Wenn das autonome Fahrzeug sich entscheidet, auf die Hochstraße zu fahren und das Fahrzeug auf der Nebenstraße genug Platz erhält, wird es in die Hauptstraße einfahren.

Aber wenn das autonome Fahrzeug die Route ändert und auf der rechten Nebenstraße weiterfährt, wodurch der ursprüngliche Einfahrtsplatz besetzt wird, wird das andere Fahrzeug ebenfalls seine Entscheidung ändern, verlangsamen und anhalten, um zu warten:

Wie Dr. Yang Ze, herausragender Architekt der Intelligent Driving Group von Baidu und Leiter des Weltmodell-Projekts, erläutert, hat das Weltmodell-Team in diesem System das technische Konzept des Multi-Agenten-Antriebs übernommen. Verkehrsteilnehmer wie Fahrzeuge und Fußgänger auf virtuellen Straßen werden alle als KI-Agenten mit Entscheidungs- und Interaktionsfähigkeit modelliert.

Jeder Agent hat seine eigenen Aktionsziele und Verhaltenslogiken und passt seine Entscheidungen an die Handlungen anderer Verkehrsteilnehmer an.

Nicht nur die Verkehrsteilnehmer, auch die Verkehrslage in der virtuellen Stadt kann sich selbst anpassen, zum Beispiel indem unterschiedlich dichter, mäßiger oder dichter Verkehr eingestellt oder der Fahrstil anderer Fahrzeuge geändert wird, damit sie vorsichtiger oder aggressiver fahren.

Solche komplexen Interaktionen erforderten früher möglicherweise, dass autonome Fahrzeuge wiederholt auf die Straße fahren und auf das Auftreten bestimmter Situationen warten – heute können sie aktiv in die virtuelle Umgebung eingebunden werden.

Aber um die Robotaxi-Aufgabe wirklich zu erfüllen, reicht es bei weitem nicht, nur Operationen wie Spurwechsel und Ausweichen je nach Umgebung durchzuführen.

In der Realität kann eine Fahrt zwanzig bis dreißig Minuten dauern und Dutzende von Kreuzungen durchqueren.

Jede Entscheidung des autonomen Fahrzeugs kann die später auftretende Verkehrssituation verändern. Es muss die gesamte Fahraufgabe in einer sich kontinuierlich verändernden Umgebung abschließen, mit einer großen Anzahl von Verkehrsteilnehmern interagieren, und die vorherige Fahrentscheidung kann auch die spätere Fahrt beeinflussen.

Was ApolloWorld diesmal vorstellt, ist genau der virtuelle Straßentest auf Ebene der vollständigen Fahrt.

In verschiedenen Szenarien wie der Binhai Avenue in Shenzhen und in der Nähe des Flughafens Hongkong können mehrere autonome Fahrzeuge vom selben Ort abfahren und zu verschiedenen Zielen fahren. Das Verhalten der umgebenden Verkehrsteilnehmer, die Veränderungen der Straßenumgebung sowie die Beobachtungsdaten von Kamera und Lidar werden kontinuierlich vom Weltmodell erzeugt.

Wie Dr. Yang Ze erwähnt, wird der Betrieb dieses Systems durch die Zusammenarbeit von Technologien wie Agenten-Interaktionsmodellierung, multi-perspektivischer und multi-modaler Generierung sowie vollständiger Fahrgeschlossener Schleife gestützt.

Einfach ausgedrückt: Das Weltmodell prognostiziert die Verkehrsveränderungen im nächsten Moment basierend auf dem vorhandenen Umgebungszustand und den Fahrzeugaktionen. Das Fahrmodell liest die generierten Sensordaten, trifft Entscheidungen zum Lenken, Beschleunigen oder Bremsen und gibt die Aktionen dann an das Weltmodell zurück.

Um die Generierungsgeschwindigkeit mit den Fahrentscheidungen Schritt zu halten, beschleunigt Baidu die Modellinferenz auch durch Methoden wie Wissensdestillation, sodass die virtuelle Umgebung Echtzeitantwort auf Fahrzeugaktionen geben kann.

Eine KI ist dafür zuständig, die Straßenumgebung aufzubauen und ständig neue Fahrprüfungen zu liefern, während die andere KI darin wiederholt übt. Die Beziehung zwischen beiden ist wie die von Trainer und Auszubildendem. Auf diese Weise kann das autonome Fahrzeug in einer sich ständig verändernden Umgebung die Fahraufgabe abschließen.

Wenn das Fahrsystem in einem bestimmten Szenario eine falsche Entscheidung trifft, können die Entwickler dieselbe Ausgangsbedingung zur Reproduktion beibehalten, das Verhalten der umgebenden Fahrzeuge anpassen und das Verhalten des Systems unter verschiedenen Bedingungen beobachten.

Ohne festes Drehbuch, interaktiv, fehlerkorrigierbar und rückverfolgbar – eine solche virtuelle Stadt erfüllt somit die Voraussetzungen, als Trainingsgelände für autonome Fahrzeuge zu dienen.

Aber der kontinuierliche Betrieb ist nur eine Voraussetzung. Die entscheidendere Frage lautet: Welches Weltmodell kann wirklich die Aufgabe des Trainings und der Validierung des autonomen Fahrens übernehmen?

Ein überprüfbarer Standard für das Weltmodell

Die Simulationstechnologie ist bereits ein wichtiger Bestandteil der Forschung und Entwicklung des autonomen Fahrens.

Lange bevor generative Weltmodelle zu einem Branchenhotspot wurden, waren Ingenieure es gewohnt, Verkehrsszenarien auf realen Straßen aufzuzeichnen und sie in virtuelle Umgebungen zu verlegen, um sie wiederholt zu testen.

Aber diese Forschungsmethode hat ein lang bestehendes Problem.

Seit langem hängt eine gängige Methode in der Simulation des autonomen Fahrens noch immer von der nicht reaktiven Wiedergabe realer Straßendaten ab.

Einfach ausgedrückt: Selbst wenn das autonome Fahrzeug seine Fahrstrategie ändert, fahren die umgebenden Fahrzeuge weiterhin nach den ursprünglich aufgezeichneten Spuren, und die Verkehrsumgebung passt sich nicht entsprechend an.

Genau das ist das Problem.

Das Fahren auf realen Straßen ist eine kontinuierliche Interaktion: Wenn das autonome Fahrzeug seine Aktion ändert, können andere Fahrzeuge auch ihre Entscheidungen ändern. Wenn die Testumgebung nicht reagieren kann, ist es schwierig, die tatsächliche Leistung des Fahrsystems im dynamischen Verkehr zu überprüfen.

Das generative Weltmodell löst genau diese Einschränkung, sodass virtuelle Verkehrsteilnehmer ihre Urteile neu fällen, basierend auf den Aktionen des autonomen Fahrzeugs, und das Fahrsystem in der Lage ist, in einer sich ständig verändernden Umgebung getestet zu werden.

Dr. Wang Liang, Chefarchitekt der Intelligent Driving Group von Baidu und Vorsitzender des IDG-Technikausschusses, fasst dies als „interaktive Generierung“ zusammen.

Dies ist ein Verständnis von Baidu für Weltmodelle, das von den praktischen Anforderungen des autonomen Fahrens ausgeht.

In der gesamten KI-Branche wird der Begriff „Weltmodell“ immer breiter verwendet.

Modelle, die realistische Videos erzeugen können, können Weltmodelle genannt werden; Systeme, die dreidimensionale Räume aufbauen und freies Durchstreifen ermöglichen, können ebenfalls Weltmodelle genannt werden; Technologien, die Umgebungsveränderungen basierend auf externen Aktionen kontinuierlich ableiten, werden ebenfalls als Weltmodelle bezeichnet...

Mehrere Arten von Technologien scheinen alle virtuelle Welten aufzubauen, aber ihre tatsächlichen Fähigkeiten liegen nicht auf derselben Ebene.

Das Team von Li Feifei hat Weltmodelle einmal in drei Typen unterteilt: Renderer, Simulator und Planer, die sich jeweils auf visuelle Generierung, Ableitung von Umgebungszuständen und Aktionsplanung konzentrieren. Dies zeigt aus einer anderen Perspektive die breite Palette von Technologien, die dieses Konzept abdeckt.

Mit der ständigen Erweiterung der Konzeptgrenzen treten allmählich Probleme auf. Bedeutet eine Welt, die vom Modell ausreichend realistisch erzeugt wird, dass sie die physikalischen Gesetze wirklich versteht? Bedeutet die kontinuierliche Generierung von Verkehrsbildern, dass sie unterschiedliche Fahrergebnisse basierend auf den Aktionen des autonomen Fahrzeugs ableiten kann?

Für die Forschung und Entwicklung des autonomen Fahrens sind diese Unterschiede keine unbedeutenden technischen Klassifizierungen.

Wenn das Modell nicht genau auf Fahrzeugaktionen reagieren kann oder die erzeugten Verkehrsveränderungen nicht den realen physikalischen Gesetzen entsprechen, kann es selbst bei sehr realistischen Bildern kaum als zuverlässige Grundlage für Training und Validierung dienen.

Die Aufmerksamkeit von Baidu für den Standard des Weltmodells ergibt sich genau aus dieser praktischen Anforderung.

In dem technischen Konzept von Baidu hängen die Fähigkeiten, die ein Weltmodell benötigt, zuerst davon ab, welche Aufgaben es letztendlich übernehmen soll. Da das Ziel darin besteht, L4-autonome Fahrzeuge ohne Sicherheitsbeauftragte zu trainieren, muss klar definiert werden, welche Verkehrsbeziehungen das Modell verstehen muss, welche physikalischen Gesetze es einhalten muss und ob es lang andauernde, Echtzeit-interaktive Fahraufgaben unterstützen kann.

Zuerst klären Sie die Zielaufgaben, Fähigkeitsgrenzen und technischen Anforderungen, dann bauen Sie das