Taktile Wahrnehmung ermöglicht Weltmodellen ein besseres Verständnis der Physik, erschwert aber gleichzeitig ihre universelle Anwendbarkeit.
In diesem Jahr hat der Bereich der taktilen Wahrnehmung neue Veränderungen erlebt.
Auf der WRC ist zu erkennen, dass einige Anbieter nicht mehr nur über die hohen Fähigkeiten der Sensorhardware sprechen, sondern damit beginnen, ihre eigenen Datensätze, Modelle und sogar Bewertungsstandards vorzulegen. Der Wettbewerb um die taktile Wahrnehmung erstreckt sich von einem einzelnen Sensor auf die gesamte Kette aus Datenerfassung, Modelltraining und Fähigkeitsbewertung.
Dahinter verbirgt sich ein leicht zu übersehendes Paradoxon: Die taktile Wahrnehmung kann den Mangel rein visueller Modelle ausgleichen, die Dinge zwar sehen, aber nicht erfassen können, und macht die „Vorstellung“ des Weltmodells von der physischen Welt zuverlässiger. Bei derselben Berührung können die Rückkopplungssignale jedoch völlig unterschiedlich ausfallen, wenn man einen anderen Sensor oder eine andere Hand verwendet. Das ist zugleich der größte derzeitige Wert der taktilen Wahrnehmung und ihr größtes Problem: Sie lässt das Modell die Physik besser verstehen, bindet es aber auch leichter an eine bestimmte Hardware.
Der Wettbewerb um die taktile Wahrnehmung hat sich von Sensoren zu Daten und Modellen verlagert
Betrachtet man nur die Liefermengen, ist die taktile Wahrnehmung nach wie vor ein Hardware-Geschäft. Betrachtet man jedoch die Investitions- und Produktnachrichten seit 2026, entwickelt es sich zu einem Geschäft, das sich zunehmend Daten und Modellen zuwendet.
Im Juli veröffentlichte Qianjue Robotics gleichzeitig einen Greifer zur Datenerfassung, den tausendstündigen visuell-taktilen Datensatz TacVerse 1k und das taktile Modell X-TouchMind V1. Die drei Komponenten bilden eine durchgehende technische Kette: Das Erfassungsgerät zeichnet Bilder, taktile Signale und Bewegungen während der Bedienung auf, der Datensatz fasst diese Aufzeichnungen zusammen, und das Modell lernt daraus, wie Aufgaben ausgeführt werden.
Ähnliche Veränderungen gibt es auch bei anderen Unternehmen. Im April veröffentlichte Daimon Robotics den multimodalen Datensatz Daimon-Infinity mit taktilen Daten. Nach öffentlichen Angaben sind die ersten 10.000 Stunden an Daten bereits auf der Alibaba ModelScope-Plattform quelloffen gestellt worden. Im Juni veröffentlichte es gemeinsam mit Galaxy General den Bewertungsstandard für taktile Bedienung RobOmni, und seine Serie-A-Finanzierung in Höhe von 100 Millionen Yuan ist explizit für Daten zur physischen Interaktion und Modelle der physischen Welt vorgesehen. Während Tashan Technology monatlich Zehntausende taktile Sensoren ausliefert, baut es gleichzeitig eine Plattform für taktiles Training auf und plant die Entwicklung eines „nativ taktilen Modells“.
Während die Unternehmen sich in Richtung Daten und Modelle ausdehnen, bewegt sich auch die Forschungsgemeinschaft in dieselbe Richtung. Auf dem taktilen Fachsymposium der RSS 2026 Konferenz vertraten Forscher aus führenden Unternehmen und akademischen Einrichtungen die Ansicht, dass in der Vergangenheit viele Robotik-Arbeiten die taktile Wahrnehmung oft nur kurz im Abschnitt „zukünftige Arbeiten“ erwähnten, heute wird sie wieder in den Kernentwurf von Grundmodellen für Roboter zurückgeholt. OmniVTA, das gemeinsam von Einrichtungen wie der Nationalen Universität von Singapur und der Fudan-Universität vorgeschlagen wurde, sowie TouchWorld, das von einem Team der Harbin Institute of Technology entwickelt wurde, beziehen die taktile Wahrnehmung übereinstimmend in den Bereich der Vorhersage „was als Nächstes passieren wird“ ein – genau die Kernaufgabe von Weltmodellen.
Derzeit sind die öffentlichen Ergebnisse auf der Modellseite allerdings noch auf Vorabveröffentlichungen von wissenschaftlichen Arbeiten, Demoversionen auf Messen und technische Validierungen beschränkt, die kommerziellen Einnahmen und langfristigen Produktivimplementierungen sind sehr begrenzt. Dennoch sind die Veränderungen deutlich genug: Taktil-Unternehmen kämpfen nicht mehr nur um die Hardware-Position auf Robotern, sondern beginnen auch, sich die Definitionsmacht dafür zu sichern, wie taktile Daten erfasst, dargestellt und in Modelle integriert werden. Da die zugrundeliegenden Standards noch nicht vereinheitlicht sind, verfolgen viele Unternehmen den gängigen technischen Ansatz, gleichzeitig Sensoren, Kalibrierung, Datenerfassung und Modelle zu beherrschen, um einen funktionsfähigen internen geschlossenen Regelkreis aufzubauen und die Anpassungskosten zwischen den einzelnen Gliedern maximal zu senken.
Von Videos zur Interaktion – das „Datenmanko“ wird neu definiert
Das ist an sich kein neues Konzept. 2019 haben die Universität Berkeley in Kalifornien und das KI-Team von Facebook in ihrer Arbeit „Manipulation by Feel“ bereits gezeigt, dass taktile Vorhersagemodelle zur Steuerung von Roboterbedienungen eingesetzt werden können. Die aktuelle Veränderung besteht darin, dass die taktile Wahrnehmung nun in größere Weltmodellsysteme integriert wird, die gleichzeitig visuelle Daten und Bewegungen verarbeiten.
Die Fähigkeit zur taktilen Vorhersage ist genau der Punkt, an dem rein visuelle Weltmodelle am leichtesten an ihre Grenzen stoßen. Die im Februar dieses Jahres von der Universität Washington und dem Meta FAIR-Team veröffentlichte Arbeit „Visuo-Tactile World Models“ weist darauf hin, dass rein visuelle Weltmodelle oft Bilder erfinden, die gegen die physikalischen Gesetze verstoßen, wenn Objekte verdeckt sind oder der Berührungszustand unklar ist. Nach der Integration der taktilen Wahrnehmung verbessert sich die Leistung des Modells beim Verständnis der Objektpermanenz um 33 %, der Anteil der Ergebnisse, die den Bewegungsgesetzen entsprechen, steigt um 29 %, und die Erfolgsrate von Null-Shot-Aufgaben an echten Robotern verbessert sich um bis zu 35 %.
Das im Juli von New Intelligent Embodied und dem Team der Fudan-Universität veröffentlichte N₀-TWAM-Modell erreicht einen durchschnittlichen Erfolgsrate von 84,5 % am öffentlichen UniVTAC-Simulationsstandard, was höher ist als der Wert von 48,0 % des besten rein visuellen Welt-Aktionsmodells FastWAM im selben Experiment. Ablationsstudien zeigen, dass die Erfolgsrate deutlich sinkt, wenn die Vorhersage zukünftiger taktiler Signale oder die aktuelle taktile Eingabe entfernt wird.
Diese Ergebnisse zeigen alle, dass die taktile Wahrnehmung die „Vorstellung“ des Weltmodells tatsächlich näher an die reale Physik bringt. Gleichzeitig taucht aber ein schwierigeres Problem auf.
Im Juni dieses Jahres veröffentlichten Teams der Stanford-Universität, Berkeley und NVIDIA die Arbeit T-Rex (unter den Autoren sind Li Feifei, Jim Fan und andere), die ein direktes Gegenbeispiel liefert: Wenn taktile Signale direkt in ein bereits trainiertes VLA-Modell eingefügt werden, sinkt die durchschnittliche Erfolgsrate von 17 % auf 6 %. Erst durch den Einsatz unabhängiger Hochfrequenz-Experten für taktile Signale, zeitlicher Kodierung und spezialisierter Trainingsabläufe steigt die Erfolgsrate auf 65 %. Die Autoren nennen die Frequenzunterschiede zwischen taktilen und visuellen Signalen, Synchronisationsverfahren und Darstellungsmethoden als wichtige Herausforderungen. Auf dem RSS 2026 Symposium bestätigte der Stanford-Professor Mark Cutkosky diesen Punkt, indem er die zeitliche Struktur taktiler Signale mit Ton statt mit statischen Bildern verglich und feststellte, dass in diesem Bereich bis heute kein Standardverfahren entwickelt wurde, das diese hochfrequenten Signale mit unterschiedlichen Raten verarbeitet.
Das ist das unumgängliche Kernproblem, das entsteht, wenn die taktile Wahrnehmung in Weltmodelle integriert wird: Lernt das Modell übertragbare Regeln wie „Wie ändert sich die Reibung, wenn ein Objekt rutscht“, oder lernt es Regeln, die an eine bestimmte Hardware gebunden sind, wie „Wie springt die Spannung dieses Sensors, wenn es zu Rutschen kommt“? Im letzteren Fall muss das Modell das erworbene „Tastgefühl“ möglicherweise von Grund auf neu lernen, wenn man einen anderen Sensor, eine andere geschickte Hand oder ein anderes Steuersystem verwendet.
Von Demo zur Implementierung – Modelle berücksichtigen nun wirtschaftliche Aspekte
Dass sich im visuellen Bereich frühzeitig ein positiver Kreislauf zwischen Modellen und Daten bilden konnte, liegt zu einem großen Teil an relativ standardisierter Hardware wie Kameras. Für taktile Hardware gibt es bisher noch keine allgemein gültige Lösung: Kapazitive, piezoresistive, Hall-Magnet- und visuell-taktive Verfahren erfassen nicht dieselben Signale. Bei demselben Greifvorgang geben manche Sensoren Druckwerte aus, andere messen Kräfte in verschiedenen Richtungen, wieder andere zeichnen Verformungsbilder der Kontaktfläche auf.
Auf dem RSS 2026 Symposium gab es ähnliche Diskussionen: Experten stellten klar, dass es im Bereich der taktilen Wahrnehmung bis heute keine vergleichbare Hardwarespezifikation gibt. Die Koexistenz vieler konkurrierender Sensorkonzepte lässt das gesamte Gebiet lange Zeit fragmentiert. Tashan Technology fasst das als „schwer übertragbare taktile Daten zwischen Geräten“ zusammen; New Intelligent Embodied nennt es bildhafter das „Dialekt-Problem“ der taktilen Wahrnehmung.
Einige versuchen, eine Art „Übersetzer“ für verschiedene taktile Hardware zu schaffen. FTP-1, das gemeinsam von 8 Einrichtungen wie der Tsinghua-Universität, der Universität Berkeley in Kalifornien und Sharpa vorgeschlagen wurde, ist eine grundlegende taktile Strategie, die über verschiedene Sensoren hinweg trainiert wird. Es mischt die Rohsignale verschiedener Sensoren nicht zwangsweise direkt zusammen, sondern verarbeitet zunächst Eingaben wie Bilder, Arrays und Kraftzustände mit unterschiedlichen Encodern, platziert die kodierten Ergebnisse dann je nach Herkunftsposition des Signals (Fingerspitze, Handfläche oder Handgelenk) in einem einheitlichen Raum für taktile Darstellungen, der von demselben taktilen Experten und derselben Bewegungsstrategie verwendet wird.
FTP-1 wurde mit 26 Datenquellen, 21 Sensortypen und etwa 3000 Stunden an Daten zur taktilen Bedienung vortrainiert. Bei zwei Sensorkonfigurationen, die während der Trainingsphase nicht bekannt waren, trainierten die Forscher die entsprechenden Sensor-Encoder neu und führten die Feinabstimmung mit jeweils 50 oder 100 Demonstrationen pro Aufgabe durch. Schließlich erreichte FTP-1 eine durchschnittliche Erfolgsrate von 46,6 % bei drei Aufgaben, was höher ist als der Wert von 15,0 % des Basismodells im selben Experiment.
Aber FTP-1 ist noch nicht die endgültige Lösung für eine allgemeine taktile Wahrnehmung. Wenn ein neuer Sensor angeschlossen wird, muss der entsprechende Encoder immer noch von Grund auf neu trainiert werden. Drei neue Aufgaben erforderten jeweils 50 oder 100 Demonstrationsdaten, es fand keine direkte Übertragung statt. Das Experiment deckte außerdem nur zwei neue Konfigurationen und drei Aufgaben ab. Es beweist, dass ein Teil der taktilen Erfahrungen über verschiedene Hardware hinweg übertragen werden kann, ist aber weit davon entfernt, alle Sensoren in ein gegeneinander austauschbares „Tastgefühl“ zu übersetzen.
Für Weltmodelle bedeutet das, dass taktile Daten vorläufig nicht direkt in denselben Trainingspool eingespeist werden können. Die Datenmenge lässt sich daher nicht nur in Stunden messen: Wenn Daten verschiedener Sensoren nicht gemeinsam trainiert werden können, kann selbst ein sehr großer Datensatz nur die Erfahrung eines einzelnen Hard- und Softwaresystems erweitern, ohne gleichzeitig das Verständnis des Weltmodells für physikalische Gesetze zu erweitern.
Für taktile Unternehmen entscheidet dies, ob sie nach der Erweiterung nach oben ein Hard- und Softwaresystem aufbauen, das um ihre eigenen Produkte herumläuft, oder eine Dateninfrastruktur, die mehr Sensoren, Roboter und Modelle verbinden kann. Ersteres begünstigt die schnelle Markteinführung bestimmter Produkte und die Schaffung kommerzieller Barrieren, Letzteres entspricht der langfristigen Vorstellung von Weltmodellen, die sich über verschiedene Hardware und Plattformen hinweg erweitern.
Man kann sich vorstellen, dass unter den aktuellen Hard- und Datenbedingungen und unter Berücksichtigung der kommerziellen Anforderungen in der kommenden Zeit die „Full-Stack-Anbieter“, die ein eigenes nutzbares System aufbauen können, bessere Chancen auf eine Markteinführung haben. Schließlich brauchen Kunden derzeit funktionierende Lösungen und keine technische Vision von „allgemeiner taktiler Wahrnehmung“, die sie gemeinsam mit Forschungsteams erforschen. Unternehmen wie Qianjue und Daimon, die gleichzeitig Sensoren, Daten und Modelle entwickeln, tauschen im Wesentlichen die geschlossene Systemintegration gegen eine schnellere kommerzielle Umsetzung ein.
Auf längere Sicht werden Unternehmen, die nur Full-Stack-Lösungen anbieten, wahrscheinlich durch die Obergrenze der Auslieferungsmengen ihrer eigenen Hardware eingeschränkt. Die Anbieter, die eine hohe Bewertung erreichen, werden diejenigen sein, die das „ImageNet der taktilen Wahrnehmung“ oder die „Transformer-Architektur für taktile Signale“ entwickeln. Egal, ob es sich um ein systematisches Ergebnis aus Forschung und Industrie wie FTP-1 handelt oder um ein Unternehmen, das seine Datenschnittstellen öffnet.
Die taktile Wahrnehmung lässt Weltmodelle der Prüfung durch echte Berührungen standhalten, macht den an sich direkt erscheinenden Skalierungspfad von Weltmodellen aber auch etwas komplizierter. Das Zeichen dafür, dass die taktile Wahrnehmung wirklich in allgemeine Weltmodelle integriert ist, wird nicht darin bestehen, dass das Modell realistische taktile Signale erzeugen kann, sondern darin, dass das Modell die physische Welt nicht für jeden neuen Sensor neu erlernen muss.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Prioritätslabor“, Autor: Vincent, veröffentlicht mit Genehmigung von 36Kr.