GTA 6 ist noch nicht veröffentlicht, aber ausländische Nutzer haben bereits mit dem neuen Google-Modell das Autofahren ausprobiert.

Freunde, Videogenerationsmodelle sind mittlerweile nicht mehr spannend genug.

Stell dir vor, du reitest auf dem Rücken eines schwarzen Drachens und rast mit 140 km/h durch ein Tal – das Schlagen der Flügel und das pfeifende Windgeräusch hörst du ganz deutlich.

Aber das ist kein unveränderbares Bildmaterial: Du kannst die Perspektive wechseln oder mitten im Vorgang Befehle eingeben, um die Szene zu verändern.

Wenn dir das reine Betrachten der Landschaft langweilig vorkommt, tippst du über die Tastatur „Die Burg feuert Feuerbälle und Pfeile ab“ ein.

Nur wenige Sekunden nach dem Drücken der Eingabetaste fliegen die großen Feuerbälle heraus, und die Pfeile sausen ebenfalls nach außen.

Die zweiminütige Sequenz wurde ohne einen einzigen Schnitt erstellt: Sie entsteht vollständig dadurch, dass eine Person die Steuerung bedient, während die KI gleichzeitig generiert.

Das ist die Leistungsfähigkeit von Genie 4.

Gestern in der frühen Morgenstunde veröffentlichte Google DeepMind das neue Weltmodell Genie 4. Nachdem ich mehrere offizielle Demos angesehen habe, kann ich kaum glauben, dass seit dem berühmten „Smith isst Nudeln“-Clip erst drei Jahre vergangen sind.

Im Ausland ist das Netz inzwischen völlig aus dem Häuschen: Google-CEO Sundar Pichai hat sofort die Stimmung angeheizt und Genie 4 als „das realistischste und interaktivste Weltmodell“ bezeichnet.

Viele Menschen denken genauso wie Shi Chao: Jeden Morgen wenn man aufwacht, hat sich die KI wieder weiterentwickelt. Einige Nutzer kommentierten sogar direkt: „Die Spiel-Engine ist tot, lang lebe das Weltmodell“.

Allerdings gilt: Genie 4 steht derzeit nur einer kleinen Gruppe von Nutzern zum Testen zur Verfügung. Abgesehen von den offiziellen Demos finden sich fast alle Praxistests auf X.

Warum reagieren die Menschen dieses Mal so stark?

Wenn du das Vorgängermodell Genie 3 vergleichst, das im August letzten Jahres veröffentlicht wurde, wirst du es wahrscheinlich verstehen.

Die zusammenhängende Generationsdauer einer einzelnen Welt bei Genie 4 wurde von einer Minute im Vorgängermodell auf zwei Minuten verlängert – aber das ist nicht das Wichtigste.

Ist euch aufgefallen, dass das vorherige Video mit dem schwarzen Drachen Ton hat? Und es gibt nicht nur Umgebungsgeräusche wie Wind oder Explosionen, sondern auch menschliche Stimmen.

Das ist ebenfalls ein deutlicher Unterschied zum Vorgängermodell: Genie 4 ist das erste Echtzeit-Weltmodell von Google, das die synchrone Generierung von Bild und Ton nativ unterstützt. Alle Geräusche werden vom Modell in Echtzeit anhand der Bilder berechnet.

Ein weiteres wichtiges Update ist, dass wir die Welt in Echtzeit verändern können.

Einige aufmerksame Nutzer fragen sich vielleicht: Unterstützte das vorherige Genie 3 nicht bereits „aufforderbare Weltereignisse“?

Tatsächlich konnte man in der offiziellen Demo von Genie 3, während man auf der großen Prärie spazierte, per Text einen reitenden Menschen oder einen Heißluftballon zum Bild hinzufügen – aber die Effekte waren damals noch relativ einfach.

Bei Genie 4 werden Befehle dagegen viel direkter umgesetzt: Man kann das Wetter ändern, die Kamera bewegen, und alle neu erzeugten Elemente passen perfekt zur umgebenden Szene.

In der offiziellen Demo mit dem Paar auf einem Motorrad tippte der Tester nacheinander „Hintergrund explodiert“ und „riesige außerirdische Tentakel, die die Welt zerstören“ in das Eingabefeld ein.

Im nächsten Augenblick schwenkte die Kamera, in der Ferne gab es plötzlich eine Explosion, und die Tentakel der Außerirdischen verursachten überall Zerstörung.

Ist das nicht viel komplexer als nur ein paar Heißluftballons auf der Prärie zu sehen?

Aber um komplexere Veränderungen zu verarbeiten, reicht Genie 4 allein eigentlich nicht aus. Dieses Mal hat Gemini perfekt als Unterstützung mitgewirkt.

Laut DeepMind nennt sich diese Architektur Hybrid World Models.

Einfach ausgedrückt: Genie 4 erzeugt Bilder und Ton in Echtzeit, während Gemini im Hintergrund dafür sorgt, dass sich diese Welt nach bestimmten logischen Regeln entwickelt.

Wenn du plötzlich einen Befehl gibst, beurteilt Gemini anhand der aktuellen Szene, wie die Anpassung vorgenommen werden soll.

Gemini Omni sorgt vor allem dafür, dass die generierte Welt der Realität entspricht – einschließlich des Aussehens der Szene und der Bewegungen von Menschen und Objekten darin.

Gemini 3.8 Flash übernimmt dagegen komplexere Aufgaben: Es beobachtet die von Genie 4 in Echtzeit generierten Bilder, zerlegt die Aufgabe in eine Reihe von Schritten, überprüft, ob die generierten Bilder den Erwartungen entsprechen, und passt sie bei Änderungen rechtzeitig an.

Neben der Verarbeitung komplexerer Aufgaben hat Genie 4 dieses Mal auch deutliche Fortschritte im physikalischen Simulationsbereich gemacht.

Bei realistischen physikalischen Szenarien wie Aerodynamik oder Kollisionen von Objekten kann es viel realistischere Effekte simulieren.

Um zu beweisen, dass Genie 4 Physik wirklich versteht, hat die Behörde extra einen Zeitlupentest veröffentlicht: Ein Marmorbüste stürzt auf eine Wassermelone auf dem Tisch – mit einem lauten „Peng“ wird die Melone sofort komplett zerschmettert, Fruchtfleisch und Saft spritzen überall hin.

Zusammengefasst: Mit Genie 4 sind nicht nur die generierten Bilder realistischer, es kann auch Umgebungsgeräusche und menschliche Dialoge in Echtzeit erzeugen und dir die Steuerung von Bildänderungen ermöglichen.

Aber nach unserer Beobachtung der offiziellen Demos klingen die von der KI erzeugten menschlichen Stimmen noch sehr künstlich, und die Gesichtsausdrücke sind auch nicht sehr natürlich.

Es ist nicht so, dass Shi Chao absichtlich nach Fehlern sucht – ausländische Nutzer suchen schon längst mit der Lupe nach Mängeln.

Bei der Demo mit der zerschmetterten Wassermelone weist jemand darauf hin, dass die Büste nach dem Aufprall eigentlich umkippen sollte, was im Video aber nicht passiert. Und in der Demo mit dem ländlichen japanischen Bahnhof spricht der Schaffner Englisch.

Man muss sagen: Die Bilder sehen auf den ersten Blick recht überzeugend aus, aber einige Details halten einer genauen Prüfung nicht stand.

Sogar die Entwickler geben zu, dass es sich noch um ein sehr frühes Stadium handelt: Wenn das Modell längere Zeit läuft oder man häufig die Perspektive dreht und Befehle ändert, können Objekte und Details in der Szene abweichen.

Aber man kann nicht leugnen, dass Genie 4 viele vielversprechende Anwendungsbereiche hat.

Zum Beispiel bei der Spieleentwicklung: Auf X hat ein Nutzer mit Zugang zum geschlossenen Test eine offene Welt ähnlich wie GTA erzeugt und sein Werk „GTA Waymo“ genannt.

Auch bei der Produktion von Filmen und Serien kann man in der virtuellen Welt zuerst testen, wie Kamerawinkel und Bewegungen der Schauspieler angepasst werden sollten.

Aber im Vergleich zur Spieleentwicklung und Filmproduktion ist das Potenzial von Genie 4 für das Training von Robotern möglicherweise noch bemerkenswerter.

Warum haben heutige Roboter schon Schwierigkeiten, Wäsche zu falten oder einen Teller zu tragen?

Neben der Komplexität der realen Umgebung gibt es ein sehr praktisches Problem: Es ist schwierig, geeignete Trainingsdaten zu sammeln.

Damit Roboter lernen, wie man einen Teller trägt, brauchen sie oft unzählige Demonstrationen von Menschen. Alle Bewegungsdaten und die dabei ausgeübte Kraft müssen aufgezeichnet werden. Das kostet nicht nur viel Geld und Zeit, sondern die gesammelten Daten decken auch nicht unbedingt alle möglichen Situationen in der Realität ab.

Aber Genie 4 bietet einen neuen Ansatz: Zuerst alle möglichen Situationen in der virtuellen Welt simulieren.

Dieses Mal haben Google und das Roboterunternehmen Apptronik gemeinsam einen Versuch gestartet: Sie haben Gemini 4 Argon und Genie 4 zusammenwirken lassen, um einen Roboter beim Spielen von Damespiel zu simulieren.

Sie gaben nur eine sehr allgemeine Anweisung: „Spiele Damespiel gegen den Jungen gegenüber, ziehe einen roten Stein.“

Daraufhin zerlegte Argon diesen einen Satz in 22 Aktionsschritte, die von Genie 4 gerendert wurden, und steuerte den Roboter an, den Kopf zu senken, die Hand auszustrecken, den roten Stein zu heben, den Arm zu heben, ihn zu bewegen und schließlich den Stein zu setzen.

Wenn dieser Weg funktioniert, haben Haushaltsroboter endlich eine echte Perspektive.

Jedenfalls verfolgt nicht nur Google die Entwicklung von Weltmodellen.

Allein in den letzten zwei Monaten war das Silicon Valley sehr lebhaft um Weltmodelle: Runway veröffentlichte GWM Worlds 2 mit Mehrspieler-Funktionalität, AMD kündigte die Übernahme von Li Feifeis Unternehmen World Labs für 8,2 Milliarden Dollar an, und Amazon soll bereit sein, 7 Milliarden Dollar für die Übernahme des Weltmodell-Startups Decart auszugeben.

Die praktische Umsetzung der Modelle ist vorerst noch nicht absehbar – aber bei dieser Entwicklungsgeschwindigkeit würde es mich nicht wundern, wenn in ein paar Jahren noch völlig neue Technologien auftauchen.

Shi Chao versteht Kaiser Qin Shihuangdi inzwischen immer besser: Bei all diesen spannenden neuen Dingen wünscht man sich wirklich, hundert Jahre alt zu werden...

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „X.PIN“, Autor ist Xixi, Redakteure sind Jiang Jiang & Mian Xian, veröffentlicht mit Genehmigung von 36Kr.