Können interaktive Filme und Spiele vollständig ausgereift werden, sobald KI-Videos mit Weltmodellen kombiniert werden?
Wenn der Spieler die Richtungstaste drückt, erstreckt sich die Straße auf dem Bildschirm sofort; wenn das Publikum spricht, antwortet die virtuelle Figur nicht nur auf Fragen, sondern kann sich auch umdrehen, bewegen und sogar den umgebenden Raum verändern – im vergangenen Jahr sind solche Szenen häufig in Demonstrationsvideos von Weltmodellen aufgetaucht.
Inzwischen wird auch ByteDance gemeldet, an diesem Wettbewerb teilzunehmen.
Laut einem Bericht von Bloomberg befasst sich Zhang Yiming persönlich mit einem Echtzeit-Raumvideomodell, das auf Seedance basiert und vorangetrieben wird. Sein Ziel ist es nicht mehr, ein festes Video zu generieren, sondern entsprechend der Benutzereingabe kontinuierlich eine interaktive dynamische Umgebung zu erzeugen.
Spiele, Kurzfilme, Live-Übertragungen und PICO könnten alle zu den zukünftigen Anwendungsszenarien dieser Technologie werden.
ByteDance hat sich dazu nicht geäußert, aber zur gleichen Zeit hat das von Shengshu Technology veröffentlichte Vidu S2 ein weiteres Puzzleteil für diese Richtung hinzugefügt: Die Figur kann während der Videogenerierung in Echtzeit auf den Benutzer reagieren, Charaktere, Kleidung und Hintergrund können sich sofort ändern, und seine Raumvideoversion plant auch, stereoskopische Bilder mit Tiefenschärfe für VR-Geräte zu generieren.
Überblick über Vidu S2
Aus technischer Sicht versucht KI-Video, den Schritt von „Generieren eines Inhalts“ zu „Generieren eines Raums, der auf den Benutzer reagieren kann“ zu vollziehen.
Aber von der technischen Demonstration bis zum bahnbrechenden Fortschritt bei echten interaktiven Film- und Spielwerken gibt es noch eine ganze Reihe von Problemen in Bezug auf Erzählung, Produkt und Geschäft. Insbesondere wenn man dies weltweit betrachtet, hat diese Revolution wahrscheinlich gerade erst das Labor verlassen.
Von einem einzelnen Video zu einem reagierenden Raum
Die Technologien, die heute allgemein als „Weltmodell“ bezeichnet werden, umfassen tatsächlich mehrere sehr unterschiedliche Richtungen.
Googles Genie 3 kann erkundbare Umgebungen gemäß Textbeschreibungen generieren, Benutzer können die Bewegung der Figur steuern, und die Welt wird entsprechend der Aktion weiter generieren. Das für Benutzer zugängliche Project Genie ist jedoch noch ein Forschungsprototyp, und die einzelne Erlebniszeit beträgt nur etwa eine Minute.
Runways GWM Worlds 2 hingegen kann bereits kontinuierlich interaktive Videos mit Ton generieren und versucht, voreingestellte Filme, rundenbasierte interaktive Filme und Echtzeitspiele abzudecken. Runway gibt jedoch auch zu, dass vorab geplante Prompts immer noch stabiler sind, und die Fähigkeit des Modells, Langzeitgedächtnis, Raumstruktur und Beziehungen zwischen Objekten beizubehalten, ist nach wie vor begrenzt.
Das Vidu S2 von Shengshu Technology zeigt einen anderen Weg, der näher an Unterhaltungsanwendungen liegt.
Es beeilt sich nicht, eine gesamte offene Welt zu generieren, sondern lässt zuerst die Figur im Video in Echtzeit auftreten, reagieren und sich verändern. Seine VR-Raumvideofunktion ist besonders bemerkenswert: Wenn die Bilder für das linke und rechte Auge synchron generiert werden können, ist KI-Video nicht mehr nur ein auf dem Bildschirm angezeigtes Bild, sondern könnte zu einem immersiven Inhalt mit Raumgefühl werden.
Diese Funktion befindet sich jedoch noch in der Ankündigungsphase. Derzeit konzentrieren sich die öffentlichen Produkte hauptsächlich auf virtuelle Menschen und Echtzeit-Videobearbeitung. Es ist offensichtlich zu früh, es direkt als eine ausgereifte VR-Welt zu bezeichnen.
Auf der Seite, die näher an Spielen liegt, erforschen Odyssey und Decart auch steuerbare generative Umgebungen. World Labs legt den Schwerpunkt auf dreidimensionale Räume, die nachhaltig bearbeitet werden können. Einige Forschungseinrichtungen wenden Weltmodelle auf Roboter und autonomes Fahren an, damit KI Objekte, Handlungen und deren Folgen verstehen kann.
Atlas von World Labs
Das Kapital ist bereits schnell eingeströmt.
Die Bewertung von World Labs erreicht mehrere Milliarden Dollar; Odyssey und Decart haben nacheinander große Finanzierungsrunden erhalten... Dennoch stehen alle Unternehmen derzeit vor sehr ähnlichen Problemen: Die Generierungsgeschwindigkeit steigt, aber die Konsistenz der Welt wird nicht gleichzeitig gelöst.
Nachdem eine Tür geöffnet wurde, kann es beim Umdrehen bereits ein anderes Zimmer sein; die Figur kann sofort antworten, erinnert sich aber möglicherweise nicht an das, was vor zehn Minuten passiert ist; das Modell kann mehrere Minuten lang kontinuierlich Bilder generieren, kann aber nicht die Handlung, Regeln und Kausalitäten unterstützen, die für einen zweistündigen Film oder ein Dutzend Stunden lang dauerndes Spiel erforderlich sind.
Daher kann das heutige Weltmodell zwar den ersten Eindruck erwecken, „mitten in einer Welt zu sein“, aber es kann noch keine echte Welt stabil aufrechterhalten.
Das ist auch der Punkt, an dem viele Konzepte von „KI-interaktiven Film- und Spielwerken“ im Inland am leichtesten verwechselt werden.
Das interaktive KI-Film- und Spielwerk „Unter dem Stadttor von Peking“
KI-generierte Kunstmaterialien, frei sprechende NPCs, verzweigte Handlungen, Echtzeit-Videobearbeitung und durch Weltmodelle generierte Umgebungen gehören ursprünglich zu Fähigkeiten auf verschiedenen Ebenen. Sie in einem einzigen Produkt zu verpacken, bedeutet nicht, dass die Grenze zwischen interaktiven Filmen und Spielen bereits durchbrochen wurde.
Eine Figur, die chatten kann, ist nicht gleichbedeutend mit einer Figur, die Gedächtnis und Motive hat; ein Bild, das verändert werden kann, bedeutet auch nicht, dass der Benutzer das Recht hat, frei zu handeln.
Wer ist für das Erzählen der Geschichte verantwortlich, nachdem die Generierung funktioniert?
Das ist auch das Problem, das am leichtesten übersehen wird, wenn man über Echtzeit-Interaktionsinhalte spricht: Technische Demonstrationen werden schnell beeindruckend, aber Produkte, die von Benutzern langfristig konsumiert werden können, sind nicht gleichzeitig erschienen.
Derzeit konzentrieren sich die reiferen Erkundungen auf dem ausländischen Markt immer noch auf traditionelle Inhaltsstrukturen.
Netflix bringt narrative Spiele auf den Fernseher und macht das Mobiltelefon zum Controller; Roblox nutzt KI, um die Schwelle für Benutzer zur Erstellung von Spielen zu senken; Fables Showrunner erlaubt es dem Publikum, Serien zu generieren, umzuschreiben und fortzusetzen; Das von Disney und Epic gemeinsam aufgebaute Unterhaltungsuniversum basiert ebenfalls auf ausgereiften Engines, vorhandenen IPs und kontinuierlichem Betrieb.
Das narrative Spiel von Netflix „Love is Blind“
Sie alle erhöhen die Interaktivität von Inhalten, beeilen sich aber nicht, die gesamte Kontrolle an große KI-Modelle zu übergeben.
Der Grund ist nicht kompliziert: Was das Publikum wirklich braucht, sind nicht unendlich veränderliche Bilder, sondern Figuren, Konflikte und Geschichten, die es wert sind, erlebt zu werden.
Wenn jede Wahl eine neue Szene generieren kann, ist es für Schöpfer umso schwieriger, den Rhythmus zu kontrollieren; wenn die Figur jede Frage beantworten kann, kann die Persönlichkeit der Figur schnell zusammenbrechen; wenn die Welt keine Grenzen hat, wissen Benutzer oft nicht, was sie tun sollen.
Traditionelle Filme und Fernsehwerke bestimmen durch Schnitt, was das Publikum sieht, Spiele teilen den Spielern durch Regeln mit, was sie tun können, aber generative Inhalte haben vorläufig noch keine entsprechende Ordnung gefunden.
Tatsächlich hat Netflix in den fast zehn Jahren nach „Black Mirror: Bandersnatch“ nicht viel in interaktive Filminhalte investiert. Schließlich können Benutzer, wenn sie eine stärkere Interaktion vor dem Fernseher oder auf dem Mobiltelefon wünschen, direkt Spiele spielen.
Plakat von „Black Mirror: Bandersnatch“
Im Vergleich dazu sind einige sogenannte „KI-interaktive Film- und Spielwerke“ im Inland eher wie ein Bündel mehrerer beliebter Konzepte, aber im Wesentlichen handelt es sich immer noch um ein raffinierteres Galgame, und selbst die Vertriebskanäle konzentrieren sich hauptsächlich auf Steam. KI-generierte Kunstmaterialien, frei sprechende NPCs, verzweigte Handlungen, Echtzeit-Videobearbeitung und durch Weltmodelle generierte Umgebungen gehören ursprünglich zu Fähigkeiten auf verschiedenen Ebenen. Dass sie gleichzeitig in einem Produkt auftauchen, bedeutet nicht, dass die Grenze zwischen interaktiven Filmen und Spielen verschwunden ist.
Ein NPC, der chatten kann, ist nicht gleichbedeutend mit einem NPC, der Gedächtnis und Motive hat; ein Bild, das sich in Echtzeit verändern kann, bedeutet auch nicht, dass der Benutzer frei erkunden kann. Diese Fähigkeiten im Voraus als „nächste Generation von Film- und Spielwerken“ zu bezeichnen, erinnert ein wenig an das Metaversum von damals – das Produkt ist noch nicht fertiggestellt, aber das Verkaufsbüro hat bereits eröffnet.
Apropos Metaversum: Der von ByteDance gemeldete Weltmodellplan macht PICO wieder interessant. Nach der vorherigen Geschäftskontraktion hat ByteDance die XR-Forschung und -Entwicklung nicht vollständig eingestellt, neue Systeme, selbst entwickelte Chips und neue Generation von Geräten werden weiter vorangetrieben.
PICO CLI 0.5.0
Wenn das Weltmodell schließlich in PICO integriert wird, könnte es tatsächlich das langjährigste schwierige Problem der VR-Branche im Bereich der Inhaltsversorgung lindern.
Aus dieser Perspektive glaubt Zhang Yiming möglicherweise mehr an das „Metaversum“ als Mark Zuckerberg heute.
Zuckerberg ist damit beschäftigt, Ressourcen auf KI-Brillen zu verlagern, um virtuelle Informationen über die Realität zu legen; Zhang Yiming scheint bereit zu sein, KI zu nutzen, um Head-Mounted Displays wiederzubeleben und direkt eine Welt zu generieren, die betreten werden kann. Einer hofft, dass das Metaversum aus der virtuellen Welt in die reale Welt tritt, der andere möchte die Benutzer immer noch in die virtuelle Welt einladen.
Natürlich ist PICO nur einer der potenziellen Ausgänge und sollte nicht die Hauptrolle des Weltmodells selbst einnehmen. Selbst wenn die Echtzeit-Generierungsgeschwindigkeit ausreicht, um in Head-Mounted Displays verwendet zu werden, werden Schwindel, Verzögerung, Raumkonsistenz, Inhaltssicherheit und Berechnungskosten gleichzeitig auftreten. VR wird die Probleme von interaktiven Film- und Spielwerken nicht automatisch lösen, sondern jeden Fehler, den das Modell macht, direkt vor die Augen der Benutzer vergrößern.
PICO 4
In den nächsten Jahren werden die realistischeren Produkte höchstwahrscheinlich eine gemischte Form sein: Drehbuchautoren und Designer sind für die Weltanschauung, Figuren und Schlüsselhandlungen verantwortlich, traditionelle Engines erhalten Regeln, Raum und Zustand aufrecht, und KI ist für die Generierung von Dialogen, Aufführungen, Übergangsszenen und lokalen Verzweigungen zuständig.
Es könnte freier sein als heutige Spiele und unvorhersehbarer als traditionelle interaktive Filme, aber es ist noch weit entfernt von einer Welt, die langfristig Erinnerungen behält, stabil läuft und kontinuierlich Geschichten erzählt.
Weltmodelle geben Bildern zum ersten Mal die Fähigkeit, sofort auf Benutzer zu reagieren, was natürlich ein echter technischer Fortschritt ist. Was interaktive Film- und Spielwerke jedoch lösen müssen, ist nie nur, die Welt in Bewegung zu versetzen, sondern auch zu verstehen, warum diese Welt es wert ist, betreten zu werden.