Die Erstellung von Filmen mittels KI ist weitaus schwieriger als angenommen.

KI-Filme sind wirklich da.

Die kürzlich abgeschlossene Massenfilm-Blumenpreis-Verleihung hat erstmals eine eigene Kategorie für AIGC-Bildmaterial eingerichtet und innerhalb eines Monats 2038 Einreichungen erhalten. Werke wie Seltsame Märchen: Papierklingen durchqueren die Ödnis und Blutiges Dachen-Insel sind nacheinander mit offizieller Genehmigung auf den Streaming-Plattformen iQiyi, Youku und Tencent Video erschienen. Der von Bona Film Group produzierte Film Sanxingdui: Zukünftige Vergangenheit hat die offizielle Vorführgenehmigung erhalten und wartet nur auf einen geeigneten Zeitpunkt für den Kinostart. Im Ausland ist Hell Grind gerade von der Vorführung in Cannes zurückgekehrt, und das Team wird einige Monate später einen neuen 114-minütigen Film vorstellen. Nolans Odyssee ist gerade weltweit in die Kinos gekommen, während die KI-Version Odysseus: Untergang bereits fertiggestellt wurde.

Seltsame Märchen: Papierklingen durchqueren die Ödnis, Blutiges Dachen-Insel, Sanxingdui: Zukünftige Vergangenheit, Hell Grind

Hinter dieser Hype stellen die meisten Menschen sich KI-Filme jedoch viel zu einfach vor: Sie lassen sich keineswegs nur durch die Eingabe einiger weniger Prompts fertigstellen, und ihre Komplexität steht der von traditionellen Realfilmen mit echten Schauspielern in nichts nach.

„Die Preise für die Nutzung von Modellen haben sich um mehr als das 20-fache erhöht“, sagte Li Muyang, dessen Werk Inception Agent in der Langfilmkategorie der AIGC-Filmsektion des Beijing International Film Festivals eingereicht wurde, gegenüber „Deep Echo“. Für einzelne Kreative werden die Herstellungskosten zunehmend unerschwinglich.

Liu Haiyang, der KI-Regisseur von Seltsame Märchen: Papierklingen durchqueren die Ödnis, erklärte, dass die KI nicht die von ihm gewünschten Standards erreicht: Die Darstellung von Schauspielerleistungen, Spezialeffekten und Actionszenen wirkt noch steif, und man muss auf die nächste Aktualisierung des Modells warten.

Yang Liang, ein Regisseur, der bereits mehrere KI-Filme wie Geständnis, Hallo, Großer Kopf und Orangefarbene Mandarine geschaffen hat, fügte hinzu, dass die KI-Generierung für jeden Menschen unterschiedliche Ergebnisse liefert – die Schwierigkeit, die visuelle Einheit des gesamten Werks bei der Zusammenarbeit im Team zu wahren, bereitet ihm nach wie vor Kopfzerbrechen.

Ein weiterer Praktiker, der derzeit an KI-Inhalten für Realfilme arbeitet, erwähnte zudem, dass die Fähigkeiten aktueller Modelle klare Grenzen haben. Die Kombination von echten Schauspielern und KI lässt sich kaum gut umsetzen: Wenn echte Schauspieler in KI-Szenen platziert werden, treten unkontrollierbare Veränderungen ihrer Darstellung auf.

Offensichtlich kann KI zwar „Filme drehen“, ist aber noch lange nicht auf dem Niveau, um sie „gut zu drehen“.

Drei Unsicherheiten bei KI-Filmen: Unkontrollierbare Kosten, unbestimmte Produktionsdauer, veraltende Erfahrung

„Das Ziehen von KI-Ergebnissen ist zu einer Bluttransfusion geworden.“

Li Muyang, der Schöpfer von Inception Agent, beschrieb seine aktuellen Erfahrungen bei der Herstellung von KI-Filmen gegenüber „Deep Echo“ auf diese Weise.

Er erinnerte sich, dass die Generierungskosten für 15-Sekunden-Videos bei der Nutzung von Sora im vergangenen Jahr nur wenige Cent betrugen. „Damals machte es uns nichts aus: Das Generieren von Ergebnissen fühlte sich wie ein Spiel-Lotterie an – ein Treffer war gut, aber ein Misserfolg war normal.“ Mit der stetigen Aktualisierung gängiger Videomodelle sind die Preise jedoch deutlich gestiegen. Insbesondere nach der Veröffentlichung des neuesten Seedance2.5 liegt der Preis für 720p-15-Sekunden-Videos bereits bei 39 Yuan, was 2 Yuan pro Sekunde entspricht. „Ein einziger Klick kostet so viel wie ein Mittagessen. Derzeit können wir nur das kostengünstigere Modell MiniMax H3 als Ersatz verwenden, um die Kosten einigermaßen unter Kontrolle zu halten.“

Laut den Daten eines Forschungsberichts, den die Orient Securities im Mai dieses Jahres veröffentlicht hat, liegen die Preise von HappyHorse-1.0 und Keling 3.0 bei etwa 1,63 Yuan pro Sekunde bzw. 1,52 Yuan pro Sekunde (berechnet anhand des API-Preises für die Generierung eines einminütigen Videos). In weniger als einem Jahr sind die Preise fast aller gängigen Modelle auf ein neues Niveau gestiegen. Für einzelne Kreative ohne Unterstützung durch Unternehmen oder Teams ist der bisherige Ansatz, „gleichzeitig Ideen zu entwickeln, Inhalte zu generieren und Fehler auszuprobieren“, zunehmend unerschwinglich geworden.

Inception Agent

Die Preise steigen immer weiter, aber die Erfolgsrate steigt nicht im gleichen Maße an.

Die Schöpfer des KI-Langfilms Hell Grind, der bei den diesjährigen Filmfestspielen von Cannes gezeigt wurde, veranschaulichen das Kernproblem des „Ziehens von Ergebnissen“ anhand echter Daten: Allein für die ersten 22 Minuten des Werks wurden 10701 Bilder und 16181 Videoclips generiert, von denen am Ende nur 253 geeignete Aufnahmen in den fertigen Film aufgenommen wurden. Der Prompt für eine einzelne Szene kann sogar bis zu 3000 Wörter lang sein, und hinter jeder endgültig ausgewählten Aufnahme können mehr als 60 fehlgeschlagene Versuche stecken.

Die Unsicherheit beim Generieren von Ergebnissen führt direkt zu unkontrollierbaren Kosten. Kreative können nicht wie bei traditionellen Filmen vor Drehbeginn das Produktionsbudget anhand von Drehbuch, Storyboards und Drehzeit relativ genau abschätzen. Wenn man besonderen Wert auf hohe Qualität und perfekte Details legt, können die Kosten „keine Obergrenze“ haben, und das Projekt kann mitten in der Produktion aufgrund stetig steigender Rechnungen für Rechenleistung die finanziellen Möglichkeiten übersteigen.

Wenn diese Unsicherheit auf Langfilme mit Hunderten oder Tausenden von Aufnahmen ausgeweitet wird, tritt das Problem der inkonsistenten Bilddarstellung zutage.

Die Details der Gesichtsform jeder Figur in einem Langfilm, die Falten auf einer Kleidung und sogar die relative Position einer Lampe in einer Innenraumszene müssen zwischen verschiedenen Aufnahmen stabil bleiben. KI-generierte Bilder neigen jedoch leicht zu Abweichungen, die die Zuschauer schnell aus der Geschichte reißen. Der typische „KI-Eindruck“ mag bei Kurzfilmen noch tolerierbar sein, wirkt aber bei Langfilmen besonders störend.

Liu Haiyang, der KI-Regisseur von Seltsame Märchen: Papierklingen durchqueren die Ödnis, hat diese Erfahrung aus erster Hand gemacht. Er erwähnt, dass eine der größten Schwierigkeiten bei der Erstellung von Langfilmen mit KI derzeit die „räumliche Konsistenz in Szenen mit mehreren Personen“ ist: Wenn man beispielsweise eine gewöhnliche Szene generiert, in der drei Personen in einer Kneipe einander gegenüber sitzen und chatten, kann sich die Position der Personen zueinander bereits nach wenigen Sekunden verändern.

Seltsame Märchen: Papierklingen durchqueren die Ödnis

Regisseur Yang Liang weist auf ähnliche Probleme hin. Im Vergleich dazu lassen sich Außenraumszenen noch eher tolerieren, da die natürliche Umgebung nicht viele eindeutige räumliche Referenzpunkte hat – kleine Veränderungen zwischen den Aufnahmen werden von den Zuschauern nicht unbedingt sofort bemerkt. In Innenräumen hingegen gibt es klare Referenzen für die Gebäudestruktur, die Position von Türen und Fenstern, die Raumausrichtung und die Position der Figuren, sodass jede Abweichung in einem einzelnen Frame von den Zuschauern übermäßig wahrgenommen wird.

Orangefarbene Mandarine

Um diese Inkonsistenzen zu beheben, vervielfacht sich der Arbeitsaufwand bei der Nachbearbeitung. Kreative müssen viel Zeit darauf verwenden, die Gesichtsmerkmale der Figuren, Kleidungsdetails, Lichtrichtung und sogar die Position von Requisiten zwischen verschiedenen Aufnahmen abzugleichen. Sobald Abweichungen festgestellt werden, muss man entweder zurückgehen, um neue Ergebnisse zu generieren, oder die Bilder Frame für Frame manuell in der Nachbearbeitung korrigieren. Dieser Arbeitsschritt macht die Produktionsdauer noch unvorhersehbarer.

Was noch frustrierender ist: Selbst wenn Kreative es endlich geschafft haben, ein bestimmtes Modell zu „beherrschen“, verschwindet ihre gesamte gesammelte Erfahrung mit der nächsten Aktualisierung des Modells.

Jede Modellaktualisierung kann dazu führen, dass die zuvor erlernten Prompt-Techniken, Parametererfahrungen und gesamte Arbeitsabläufe der Kreativen nutzlos werden, und die Produktionsdauer verlängert sich entsprechend. Kreative können nicht vorhersehen, ob sie genau auf den Zeitpunkt einer großen Verbesserung des Modells stoßen. Sollte dies jedoch der Fall sein, stehen sie vor einem Dilemma: Bei der Verwendung der alten Version wirken Segmente mit veralteter visueller Effekte störend; bei der Umstellung auf die neue Version fallen nicht nur zusätzliche Kosten an, sondern die gesamte Arbeit muss teilweise neu erstellt werden.

Li Muyang erwähnt, dass sein fertiger Film Inception Agent Aufnahmen aus mehreren Generationen von Produkten enthält, von den frühen Versionen von Keling über Sora bis hin zum späteren Seedance. „Es ist im Grunde eine Kombination aus vielen verschiedenen Arten von Aufnahmen“, sodass viele Segmente Unterschiede in Klarheit und Detailgenauigkeit aufweisen. Die Mischung von Materialien aus verschiedenen Versionen beeinträchtigt direkt die allgemeine Flüssigkeit und das Seherlebnis des Films. Für Li Muyang wäre es jedoch mit einem massiven Kostenanstieg verbunden, alle zuvor gesammelten Videomaterialien neu zu generieren – und es ist unmöglich vorherzusagen, wie stark die Kosten steigen würden.

Dies ist wahrscheinlich der widersprüchlichste Aspekt von KI-Filmen derzeit: KI wird mit der Erwartung verbunden, die „Produktivität zu befreien“, aber diese Produktivität ist in der aktuellen Phase weder stabil noch günstig. Sie senkt die Hürden für die Umsetzung von Ideen, aber die harte Wahrscheinlichkeit des erfolgreichen Generierens und die Rechnungen für Rechenleistung heben die Industrialisierung echter KI-Langfilme auf ein neues Schwierigkeitsniveau.

Die größte Sicherheit liegt nach wie vor beim „Menschen“

Wenn sich die drei Unsicherheiten von KI-Filmen überlagern, ist das Einzige, was sicher ist, dass man sich auf den „Menschen“ verlassen muss.

Zunächst sind es die einzelnen Kreativen, die mit ihrer langjährig gesammelten Nutzungserfahrung das „Wesen“ verschiedener KI-Tools erforschen.

Li Muyang sammelt Erfahrungen durch zahlreiche Tests, baut sich seinen eigenen Prompt-Werkzeugsatz und Skill-Plug-Ins auf und versucht, den ursprünglich von Wahrscheinlichkeit abhängigen Generierungsprozess zu wiederverwendbaren persönlichen Arbeitsabläufen zu machen. Diese Erfahrung lässt sich nicht schnell erlernen – nur durch ausreichend eigene Versuche kann man wissen, unter welchen Bedingungen ein bestimmtes Modell leicht Fehler macht, welche Prompt-Struktur eher zu relativ stabilen Ergebnissen führt und wie man mehrere Modelle kombiniert, um die Erfolgsrate zu erhöhen.

Ähnliche Vorgehensweisen sind in der Gemeinschaft der KI-Kreativen weit verbreitet. Viele von ihnen verbringen viel Zeit damit, Prompts und Modelleigenschaften zu erforschen, und nutzen sogar spezielle KI-Tools zum Erstellen von Prompt-Vorlagen. Im Grunde verfolgen sie alle dasselbe Ziel: die Distanz zwischen „Was ich will“ und „Was das Modell liefern kann“ so weit wie möglich zu verringern.

Geteilte Prompt-Vorlagen auf Xiaohongshu

Zweitens wird bei der Entwicklung von der individuellen zur professionellen Teamarbeit das Modell der Zusammenarbeit zwischen „traditionellem Regisseur + KI-Regisseur“ zu einer praktikablen Lösung.

„Kreative dürfen sich nicht von den zufällig generierten ‚guten Bildern‘ des Modells leiten lassen“, sagte Yang Liang. Modelle sind hervorragend darin, verschiedene „Spezialeffekte“ zu liefern, aber Kreative müssen klar wissen, was sie ausdrücken wollen, und dann aus diesen Möglichkeiten auswählen. Wenn man nur die Kompositionen, Lichtverhältnisse, Figuren und Aktionen akzeptiert, die das Modell am leichtesten generieren kann, und ständig bewährte visuelle Muster wiederholt, werden die Werke zwangsläufig austauschbar.

Das Modell liefert die Möglichkeiten, der Mensch entscheidet, welche davon wert sind, behalten zu werden. Je besser die KI generieren kann, desto mehr müssen die Kreativen wissen, was nicht generiert werden soll. Dies erfordert, dass Kreative sowohl über die künstlerische Ästhetik des traditionellen Films als auch über die Fähigkeiten zur Anwendung von KI-Technologien verfügen.

Seltsame Märchen: Papierklingen durchqueren die Ödnis nutzt genau dieses Kooperationsmodell aus „traditionellem Regisseur + KI-Regisseur“. Der erste übernimmt die künstlerische Ausdrucksweise und die Anleitung der Schauspielerleistung, der zweite ist dafür verantwortlich, die Kreativität in ausführbare Anweisungen für das Modell umzusetzen. Diese Arbeitsteilung erstreckt sich auf das gesamte Team: Unter der Koordination der beiden Regisseure teilt sich das Team natürlich in zwei