Li Feifei lehrt Roboter, Mahjong zu ertasten und Zahnpasta aus der Tube zu drücken – die KI hat endlich ein „Tastgefühl“ erlangt.
Im Jahr 2009 veröffentlichte das Team von Li Feifei ImageNet, womit die künstliche Intelligenz erstmals die Möglichkeit erhielt, die Welt anhand riesiger Mengen an Bildern kennenzulernen. Fünfzehn Jahre später stellte sie in einer Rede das Konzept der „räumlichen Intelligenz“ vor und vertrat die Auffassung, dass der nächste Schritt der KI nicht nur darin besteht, zu erkennen, was sich in einem Bild befindet, sondern auch zu verstehen, wo Objekte liegen, wie sie miteinander zusammenhängen und welche Veränderungen die Welt erfährt, wenn Menschen darin handeln.
In diesem Jahr hat diese Forschungslinie weitere Fortschritte gemacht. Im Juni wurde T-Rex, ein von Li Feifei mitgestaltetes Roboterforschungsprojekt, veröffentlicht. Die Forscher haben den Robotern eine hochfrequente taktile Rückmeldung hinzugefügt, sodass sie Aufgaben wie das Umblättern von Seiten, das Halten von Eiern, das Ausdrücken von Zahnpasta, das Herausziehen dünner Karten und das Eindrehen von Glühbirnen erledigen können.
Warum spricht eine für Computer Vision berühmte Wissenschaftlerin immer wieder über taktile Wahrnehmung, Simulatoren und Roboter? Das bedeutet nicht, dass die Visionstechnik überholt ist. Im Gegenteil, heute stellen Hersteller von Embodied Intelligence ihren Robotern immer noch mehr Kameras, präzisere Tiefensensoren und Lidar-Systeme zur Verfügung.
Die tatsächliche Veränderung besteht darin, dass die Industrie allmählich erkennt, dass „Sehen“ nur der erste Schritt ist, damit die Intelligenz in die physische Welt eintritt, und ein Bild nur die Oberfläche darstellt, die die Welt hinterlässt.
KI schaut möglicherweise überhaupt nicht zu
Im März dieses Jahres führte eine Studie, an der Li Feifei beteiligt war, ein Experiment durch: Die Forscher stellten einem multimodalen Modell visuelle Fragen, übermittelten das Bild aber absichtlich nicht. Eigentlich sollte das Modell antworten „Ich habe das Bild nicht gesehen und kann keine Beurteilung vornehmen“.
Aber viele fortschrittliche Modelle begannen ernsthaft, den Inhalt des Bildes zu beschreiben, gaben vollständige Analyseprozesse an und erzielten sogar bei einigen visuellen Frage-Antwort-Tests hohe Punktzahlen. Zum Beispiel erzielte das Modell in einem Brust-Röntgen-Frage-Antwort-Benchmark obwohl es kein einziges Röntgenbild gesehen hatte, trotzdem eine Spitzenplatzierung.
Die Forscher nennen dieses Phänomen „Halluzinierte Schlussfolgerung aus visuellen Daten“: Das Modell beantwortet die Frage nicht unbedingt auf der Grundlage visueller Beweise, sondern nutzt möglicherweise die textuellen Hinweise in der Frage und gängige Kombinationen aus den Trainingsdaten, um zu erraten, wie ein „Bild, das normalerweise gleichzeitig mit dieser Frage auftaucht“ aussehen sollte.
Ähnlich wie große Sprachmodelle nicht unbedingt wissen, was sie sagen, sondern nur erraten, „welches Wort als nächstes am wahrscheinlichsten auftaucht“. Wenn die Frage lautet: „Auf welches Signal wartet das Fahrzeug im Bild?“, kann man auch ohne Bild anhand von Allgemeinwissen erraten, dass die Antwort nichts anderes als eine Ampel sein kann.
Nachdem das Modell genügend Bildbeschreibungen, Diagnoseberichte und Frage-Antwort-Daten verarbeitet hat, kann es auch die eigentliche visuelle Beobachtung umgehen und direkt von der Frage zur Antwort gelangen. Dass es so aussieht, als hätte es etwas gesehen, bedeutet nicht, dass es es wirklich gesehen hat.
In einem Chat-Fenster kümmern sich die Nutzer nicht unbedingt darum, ob das Modell die Antwort anhand des Bildes oder anhand von Sprachkenntnissen erraten hat, solange die Antwort plausibel klingt. Aber wenn es in die physische Welt eintritt, wird der Unterschied sofort sichtbar.
Steht der Becher links oder rechts vom Tisch? Ist er zehn oder zwanzig Zentimeter vom Arm entfernt? Das sind keine Fragen, die man mit Allgemeinwissen im Sprachbereich umgehen kann. Insbesondere bei Robotern führt eine Abweichung von wenigen Zentimetern direkt zu einem Fehlgriff.
Aus diesem Grund tauchen heute bei Robotern immer komplexere Wahrnehmungssysteme auf. Der Unitree G1 verwendet Tiefenkameras und 3D-Lidar: Eines dient dazu, die Entfernung von Objekten zu bestimmen, das andere, eine Entfernungskarte der umgebenden Räume zu erstellen.
Der UGRI Lingxi X2 verwendet neben RGB-D-Kameras und Lidar auch eine vorwärts gerichtete Stereokamera, eine rückwärts gerichtete Kamera und Berührungssensoren, um Umgebungsinformationen aus verschiedenen Richtungen zu ergänzen.
Diese Konfigurationen sehen aus wie ein neues Wettrüsten im Bereich der Sensoren, aber sie dienen eigentlich dazu, verschiedene blinde Flecken der visuellen Wahrnehmung auszugleichen. Die Kopfkamera eignet sich zur Beobachtung des gesamten Raums, wird aber leicht von der eigenen Hand des Roboters verdeckt, wenn der mechanische Arm sich dem Objekt nähert. Lidar kann Entfernungen messen und Karten erstellen, kann aber nicht erkennen, ob das Ding auf dem Tisch ein Becher oder ein Apfel ist.
Für Menschen sind das Bewegungen, die fast ohne Nachdenken ausgeführt werden: den Kopf drehen, die Augen zusammenkneifen oder die Hand ausstrecken, um etwas zu prüfen. Roboter müssen Informationen aus verschiedenen Kameras, Lidaren und Gelenksensoren zusammenfügen, um sicherzustellen, dass sie sich im selben, fortwährend existierenden physischen Raum befinden.
Aus diesem Grund ist das erste Problem der Embodied Intelligence nicht, ob das Modell einen Becher erkennen kann, sondern ob es bestätigen kann: Dass ein solcher Becher wirklich dort ist.
Die meisten Weltmodelle zeichnen die Welt eigentlich nur ab
In den letzten zwei Jahren ist „Modell“ zu einem der beliebtesten Begriffe in der KI-Branche geworden. Ein Videogenerierungsmodell kann anhand eines Hinweises ein Video erstellen, in dem ein Roboter ins Wohnzimmer geht, einen Korb nimmt, sich dem Spielzeug nähert und das Spielzeug dann in den Korb legt.
Die Lichtverhältnisse, Bewegungen und Kamerawinkel in diesen Bildern können sehr natürlich wirken, sodass die Zuschauer leicht das Gefühl bekommen: Da das Modell diesen Prozess generieren kann, hat es wahrscheinlich bereits verstanden, wie Umgebungen und Objekte funktionieren. Aber rein aus der Sicht des Videos müssen Fragen wie „Wie schwer ist der Becher? Welcher Kraft hält das Scharnier der Schranktür stand? Rutscht der mechanische Arm an der Wand des Bechers ab?“ nicht beantwortet werden. Solange das nächste Bild plausibel aussieht, ist die Aufgabe erledigt.
Tatsächlich sind es für Roboter genau diese Details, die sich nicht vollständig im Kamerabild zeigen lassen, die darüber entscheiden, ob eine Aufgabe erfolgreich ist.
World Labs hat dieses Jahr die heute als „Weltmodell“ zusammengefassten Technologien in drei Kategorien unterteilt: Die erste Kategorie ist der Renderer, der für die Generierung von für Menschen sichtbaren Pixeln zuständig ist. Die zweite Kategorie ist der Simulator, der geometrische Strukturen, physische Eigenschaften und dynamische Veränderungen darstellt. Die dritte Kategorie ist der Planer, der anhand des Ziels entscheidet, was der Roboter als Nächstes tun soll.
Diese Klassifizierung verdeutlicht genau das Problem, das wir zuvor aufgeworfen haben: Dass ein Modell nur eine Welt zeichnen kann, bedeutet nicht, dass es darin arbeiten kann.
Ein Auto kann in einem generierten Video problemlos durch die Stadt fahren, aber das Modell weiß möglicherweise nicht, ob die Straßen außerhalb des Bildausschnitts fortbestehen, ob die Gebäude eine stabile dreidimensionale Struktur haben und ob tatsächlich Reibung zwischen Rädern und Boden besteht. Für Zuschauer reicht es, wenn es echt aussieht. Für Roboter muss die Welt berechenbar und kollisionsfähig sein, und sie muss auch dann weiter existieren, wenn der Roboter sich umdreht.
Das von World Labs eingeführte Marble kann bereits aus Texten, Bildern oder Videos erforschbare dreidimensionale Umgebungen generieren. Neben den für Menschen sichtbaren Bildern kann es auch Kollisionsgitter ausgeben, sodass die Physik-Engine bestimmen kann, ob ein Objekt durch eine Wand dringen kann und wo es nach dem Herunterfallen auf dem Boden zum Stillstand kommt.
Cosmos von NVIDIA integriert die Weltgenerierung, Videovorhersage und Robotertraining in dasselbe System namens Physical AI, um die Probleme mit unzureichenden echten Roboterdaten durch eine große Anzahl synthetischer Szenarien zu beheben.
Diese Forschungslinie klingt sehr ambitioniert, aber im Entwicklungsablauf von Roboterunternehmen ist sie sehr einfach: Man lässt den Roboter zunächst in der virtuellen Welt wiederholt scheitern.
Ein zweibeiniger Roboter kann das Lernen nicht nur dadurch erlernen, dass Ingenieure das echte Gerät täglich Tausende Male umwerfen. Das TRON 1 von JiJi Dynamics unterstützt Simulationsplattformen wie NVIDIA Isaac, MuJoCo und Gazebo, sodass Entwickler zunächst verschiedene Bodenverhältnisse, Neigungen und Kollisionssituationen in der virtuellen Umgebung testen können. UGRI hat AgiBot Digital World veröffentlicht, um mit Simulationsumgebungen Betriebsdaten zu generieren, Modelle zu trainieren und Roboterstrategien zu bewerten.
Von JiJi Dynamics unterstützte Trainingsplattformen
Wenn ein Roboter in der Realität einmal stürzt, bedeutet das möglicherweise Verschleiß an Bauteilen, Reparaturkosten und Sicherheitsrisiken. In einem Simulator kann dieselbe Aktion Tausende von virtuellen Robotern gleichzeitig ausführen. Die Höhe des Tisches, der Reibungskoeffizient des Bodens und die Position der Objekte können ständig variiert werden. Roboter müssen nicht zehntausend Becher zerbrechen, um zu lernen, wie man einen Becher stabil hält.
Aber auch der Simulator ist keine Allösung. Der Boden in der virtuellen Welt ist immer sauberer als der echte Boden, und die vom Modell festgelegte Reibung kann nicht jedes Material abdecken. Selbst wenn ein Roboter im Simulator sehr gut trainiert ist, wird er nach dem Eintritt in Fabriken, Einkaufszentren und Haushalten auf unerwartete Situationen stoßen, die nicht in die Parameterliste aufgenommen wurden. Das ist die „Simulator-zu-Realität-Lücke“, mit der sich die Roboterbranche seit jeher auseinandersetzt.
Die Bedeutung der Übernahme von SceniX durch World Labs am 21. Juli liegt genau hier: Es begnügt sich nicht mehr damit, einen betrachtbaren und erforschbaren dreidimensionalen Raum zu generieren, sondern beginnt, die simulierte Welt mit den Aktionsrückmeldungen echter Roboter zu verbinden.
