Runway hat den Code abgeschafft, das erste Interface-Weltmodell, die UI wächst von selbst heran.

Gerade eben hat Runway offiziell sein erstes „Oberflächen-Weltmodell“ veröffentlicht — Solaris!

Solaris ist ein „völlig neues Betriebssystem“, das ohne eine einzige Zeile Code interaktive Oberflächen in Echtzeit und Frame für Frame generiert.

Sie müssen nur klicken und ziehen, dann generiert es das nächste Frame basierend auf dem aktuellen Bild und der durchgeführten Aktion.

Darüber hinaus ist es extrem leistungsstark: In Blindtests übertrifft das generierte UI-Ergebnis direkt Claude Opus 5 deutlich.

Cristóbal Valenzuela, Mitbegründer von Runway, hat sofort eine Definition für das „Oberflächen-Weltmodell“ vorgelegt —

In der Zukunft sind Videos die universelle Oberfläche.

Letztendlich werden alle UIs zu Eingaben per Chat und Gesten sowie Ausgaben per Chat und Video.

Solaris ist nur der erste Schritt auf dem Weg zu dieser Vision.

Am wichtigsten ist, dass es auch einen völlig neuen Weg zum Training von Agenten bietet, mit dem dynamische Umgebungen mühelos generiert werden können.

Ab heute erlebt die Software-Oberfläche eine grundlegende Neugestaltung.

Code überflüssig machen, damit die UI selbst „heranwächst“

In den letzten Jahrzehnten folgte jedes Betriebssystem von frühen Terminals über Linux bis hin zu macOS dem gleichen grundlegenden Prinzip:

Man entwirft eine Oberfläche, übersetzt sie in Code (HTML/CSS/JavaScript) und erst dann kann sie ausgeführt werden.

Doch diese „Code-Übersetzung“ ist eine verlustbehaftete Kompression. Bei diesem Übersetzungsprozess muss die Vielfalt der Interaktionen zwangsläufig Einschränkungen hinnehmen:

Verringerte visuelle Wiedergabetreue: Damit die Oberfläche schnell reagiert, werden komplexe Licht- und Schatteneffekte sowie physikalische Dynamiken oft vereinfacht.

Interaktionsraum festgelegt: Vor der Veröffentlichung der Software sind ihre Interaktionsverhaltensweisen (wo man klickt, was ausgelöst wird) bereits durch fest einprogrammierten Code unveränderlich gemacht.

Das heißt: Sobald ein Design zu Code vereinfacht wird, gewinnt die Oberfläche an Reaktionsgeschwindigkeit, verliert aber die reichen Details des ursprünglichen Entwurfs.

Jede Interaktion und jede Rückmeldung eines Buttons ist im Voraus im Code festgelegt.

In dem Moment, in dem die Software an den Nutzer übergeben wird, sind ihre Möglichkeiten „eingefroren“.

Aus diesem Grund hat Runway eine kühne Idee vorgeschlagen: Das Videomodell direkt in das Betriebssystem zu integrieren.

Solaris, das erste Werk des „Oberflächen-Weltmodells“, entfernt die zwischengeschaltete Code-Schicht und kombiniert „das Rendern von Bildern“ und „das Reagieren auf Aktionen“ zu einem einzigen Vorgang.

Drei Kernfähigkeiten

Mit Solaris sind Software-Interaktionen nicht mehr starre Menüs und Buttons, sondern bringen drei noch nie dagewesene revolutionäre Erlebnisse mit sich.

• Vollständig visuell (Völlig visuell): Die ultimative Form von WYSIWYG

Herkömmliche Oberflächen verbergen komplexe Codelogik, aber die Oberfläche von Solaris ist ein reines Bild.

Stellen Sie sich vor, Sie besuchen ein virtuelles Kleidungsgeschäft und die Umkleidekabine selbst ist die „Interaktionsoberfläche“:

Laden Sie ein Foto als Referenz hoch, nehmen Sie ein Hemd vom Kleiderbügel und ziehen Sie es direkt auf Ihren Körper, um es anzuprobieren. Alles verläuft so natürlich wie in der realen Welt.

• Lebendige Oberfläche (Sie ist lebendig): Entwickelt sich in Echtzeit entsprechend der persönlichen Absicht

Die Oberfläche wird kontinuierlich in Echtzeit gerendert und „entwickelt sich“ ständig weiter.

Ihre Licht- und Schatteneffekte sowie Spiegelbilder ändern sich natürlich mit der Umgebung, und Objekte reagieren auf die Aktionen einer Person entsprechend den physikalischen Gesetzen.

„Schieben Sie den Tisch weg, damit ich das Ergebnis sehe“ oder „Ändern Sie die Farbe des Sofas“ — das lässt sich mit einem einzigen Satz umsetzen.

Selbst bei demselben Ausgangsbild: Ein Röntgenbild einer Hand kann Solaris auf dieselbe Ziehaktion mit zwei völlig unterschiedlichen Reaktionen antworten

• Grenzenlos (Offen): Abschied von Dropdown-Menüs

Herkömmliche Oberflächen können nur Aktionen ausführen, die von Programmierern „voreingestellt“ sind.

Solaris hingegen durchbricht diesen Arbeitsablauf: Es wird von dem zugrundeliegenden „Weltmodell“ angetrieben und kann neue Reaktionen in Echtzeitszenarien entsprechend der ausgeführten Aktion geben.

Einen Salat zubereiten? Sie müssen nicht wild in Menüs Häkchen setzen, sondern ziehen die Zutaten direkt in die Schüssel auf dem Bildschirm — die KI reagiert natürlich darauf.

Hintergrundeinblicke: Wie funktioniert die Echtzeit-Interaktion?

Digitale UI-Oberflächen werden seit jeher von zwei Systemen gestützt.

Das eine „weiß Dinge“: Suchmaschinen und KI-Assistenten verstehen Ihre Fragen, geben aber nur statische Antworten. Das andere „reagiert in Echtzeit“: JavaScript in Webseiten und Spiel-Engines lassen Bilder bewegen und ermöglichen Interaktionen.

Das Oberflächen-Weltmodell erfordert die Vereinigung beider: Es muss nicht nur Ihre Absicht verstehen, sondern auch kontinuierlich eine interaktive Welt um diese Absicht herum zeichnen können.

Um beide Punkte gleichzeitig zu erreichen, müssen die folgenden drei technischen Herausforderungen bewältigt werden:

Erstens die Geschwindigkeit: Sobald die Verzögerung bei der Interaktion mehr als eine halbe Sekunde beträgt, empfindet der Mensch keine echte „Interaktion“ mehr. Die Generierung eines kurzen Abschnitts durch Videodiffusionsmodelle dauert mehrere Sekunden oder sogar Minuten — das reicht für die Erstellung von Inhalten, ist aber für Oberflächen zu langsam.

Zweitens die Kohärenz: Die Konsistenz war schon immer das am schwierigsten zu sichernde Element bei der Generierung von Videos. Drittens die Kosten: Jedes Frame muss neu generiert werden, was hohe Anforderungen an die Betriebskosten stellt.

Um Echtzeit-Interaktion zu erreichen, hat der offizielle Blog das technische Prinzip hinter Solaris enthüllt —

Es baut auf dem Gen-4.5-Videomodell von Runway auf und folgt dem Ansatz des GWM-1-Weltmodells.

Solaris verwendet die Eingaben des Nutzers (Klicks, Ziehen, Tippen) als „Bedingung“ für die Generierung des nächsten Frames.

Während des Trainingsprozesses beobachtet und lernt das Modell eine riesige Menge kausaler Zusammenhänge zwischen „Interaktionen und visuellen Ergebnissen“.

Daher weiß die KI auch ohne vorherige Programmierung, wie sich die physische Form und die visuelle Rückmeldung eines Elements ändern sollen, wenn es angeklickt oder gezogen wird.

Runway hat Solaris zudem zu einem extrem schnellen Echtzeit-Engine umgebaut, die insgesamt drei Ebenen hat —

Die erste Ebene ist „Autoregressive Generierung“. Solaris generiert Frame für Frame ausgehend von den bereits angezeigten Bildern, verlässt sich nur auf den historischen Zustand und neue Aktionen können rechtzeitig in die Generierungskette einfließen.

Die zweite Ebene ist „Destillation“. Der ursprüngliche Dutzende Schritte umfassende Rauschminderungsprozess des Diffusionsmodells wird auf wenige Schritte komprimiert, sodass ein schnelleres Schülermodell die Ausgabe des ursprünglichen Modells annähert und die Geschwindigkeit in den interaktionsfähigen Bereich bringt.

Die dritte Ebene ist „Fortgesetztes Training mit der eigenen Ausgabe des Modells“.

Je länger das autoregressive System läuft, desto leichter sammeln sich kleine Fehler an, die zu Verformungen von Objekten oder Verschiebungen des Layouts führen. Wenn sich das schnelle Modell an seine eigene Generierungsverteilung anpasst, kann diese Abweichung verringert und die Stabilität langer Sequenzen verbessert werden.

Darüber hinaus ist Solaris ein „System mit zwei Gehirnen“.

Das LLM ist für die Schlussfolgerung zuständig — es versteht die Anfrage des Nutzers und entscheidet, wie sich die Szene entwickeln soll. Solaris ist für das Rendern zuständig: Es erzeugt, wie der Generierungsvorgang visuell dargestellt werden soll.

Die Kombination beider Elemente trennt „Schlussfolgerung“ und „Rendern“ perfekt voneinander.

Claude übertreffen: Dimensionsschlag gegen herkömmliche UIs

Wie viele Informationen gehen eigentlich verloren, wenn man eine Oberfläche in Code übersetzt?

Aus diesem Grund hat Runway eine Reihe von anspruchsvollen Tests durchgeführt. Die erste Testgruppe forderte multimodale Large Language Models auf, Webseiten anhand von Screenshots zu rekonstruieren, wobei 30 verschiedene Oberflächen abgedeckt wurden.

Die Wiedergabetreue der Rekonstruktion ändert sich mit steigender visueller Komplexität. Selbst wenn sich multimodale Sprachmodelle ständig verbessern, sinkt die Rekonstruktionsqualität mit zunehmender visueller Komplexität kontinuierlich — dies zeigt den Informationsverlust, der bei der Übersetzung von Oberflächen über Sprache entsteht.

Das Ergebnis zeigte: Mit zunehmender visueller Komplexität sinkt die Rekonstruktionsqualität sprunghaft ab, selbst wenn das Large Language Model noch so leistungsstark ist (einschließlich Fable 5).

Die reichen visuellen Details in natürlichen Bildern lassen sich überhaupt nicht präzise durch Sprache und Code ausdrücken.