GPT-6 bester Partner = ByteDance Seedance

GPT-6 ist plötzlich bei ByteDance Seedance angestellt worden???

Und zwar hat es gleich mehrere Rollen übernommen —

Geschichten schreiben, Szenen aufbauen, Charaktere platzieren, Kamerapositionen festlegen, Storyboards erstellen, Videos generieren, Aufnahmen schneiden …

Gut, gut, in diesem Fall übernimmt GPT-6 die Regie, Seedance 2.5 liefert das fertige Video.

Auf den ersten Blick sehen zwei Anime-Charaktere in einer japanischen Gasse einander mit gezogenem Schwert gegenüber und kämpfen.

Die Kamera streift mal über die Dächer, mal rast sie nah an den Figuren vorbei. Die Charaktere gehen von der Konfrontation über den Sprint bis zum Nahkampf, und alle aufeinanderfolgenden Aufnahmen bleiben im selben Szenario.

In der heutigen KI-Videobranche würde das fertige Ergebnis einen wahrscheinlich nicht sofort vom Stuhl hauen (doge).

Schaut man sich aber die Aufgabe an, die Higgsfield an Astra übergeben hat:

Erfinde eine Schwertkampf-Geschichte, erstelle die Vorvisualisierung in Blender, generiere die Aufnahmen mit Seedance 2.5, schneide anschließend das Material zur Endversion zusammen und behalte dabei die Konsistenz von Charakteren und Szenen bei.

Das heißt: Der Mensch gibt nur eine allgemeine Anforderung vor, alles weitere vom Briefing bis zum finalen Export erledigt GPT-6 Astra komplett selbst auf dem Desktop.

Nein, auf der GPT-6-Präsentation hat es noch Leiterplatten in KiCad gezeichnet und Häuser in Blender gebaut —

Erst zwei Tage später haben die Netznutzer es schon kurzerhand in ein Filmatelier eingeteilt…

GPT-6 führt Regie, Seedance setzt die Handlung um

Der gesamte Implementierungspfad ähnelt stark einer KI-Version eines Animationsfilmteams.

Nachdem GPT-6 Astra die Aufgabe erhalten hat, muss es zunächst von Grund auf eine umsetzbare Geschichte entwickeln.

Wer gegen wen kämpft, warum gekämpft wird, wo der Kampf stattfindet, wie die Handlung abläuft und wie viele Aufnahmen benötigt werden — all das muss zuerst geklärt werden.

Sobald die Geschichte steht, öffnet es Blender.

Entsprechend der Handlung baut es zunächst eine vereinfachte 3D-Szene mit Straßen, Häusern, Figuren und Requisiten auf, platziert dann die beiden Charaktere darin und legt ihre Positionen und Bewegungsrouten in verschiedenen Aufnahmen fest.

In dieser Phase wird die sogenannte Previs (Filmvorvisualisierung) durchgeführt.

Nach diesem gesamten Ablauf wurde die gesamte Kampfszene bereits in Blender mit 3D-Modellen durchprobiert.

Anschließend erzeugt GPT-6 Astra anhand der Vorvisualisierungsbilder die Referenzrahmen für die verschiedenen Aufnahmen und übergibt die Charakterabbildungen, Szenenbilder und Aktionsreferenzen an Seedance 2.5.

An diesem Punkt tritt ByteDances Seedance offiziell in das Team ein.

Es wandelt die statischen Referenzrahmen und die grobe Vorvisualisierung in echte Videos mit Charakterbewegungen, Kamerabewegungen und Anime-Atmosphäre um.

Natürlich ist Astra nach Abschluss der Generierung noch nicht fertig.

Es zieht alle von Seedance generierten Materialstücke in ein Schnittwerkzeug, wählt die Aufnahmen aus, ordnet die Zeitleiste an, fügt die vollständige Version zusammen und exportiert am Ende das fertige Video.

Genauer gesagt hat GPT-6 mehrere Werkzeuge und Modelle zu einem temporären Filmatelier zusammengestellt:

GPT-6 Astra schreibt die Geschichte, bedient Blender zur Durchführung der Vorvisualisierung, ruft anschließend Seedance 2.5 zur Generierung der offiziellen Aufnahmen auf und kehrt zum Desktop zurück, um den Schnitt und den Export abzuschließen.

Der Mensch wartet drauf nur auf das fertige Video…

Vergessen wir vorerst das AGI-Thema, Seedance 2.5 meistert diese Aufgabe wirklich sehr zuverlässig.

Anschließend haben Netznutzer dieses Verfahren auch auf Konohagakure angewendet.

Astra erstellt zunächst die 3D-Blockout-Szene, also ein vereinfachtes Modell, das nur die Gebäudestrukturen, Figurenpositionen und groben räumlichen Beziehungen enthält.

Dann richtet es in Blender im Voraus 6 Kameras ein und legt für jede der 6 Aufnahmen fest, wie sie gefilmt wird.

Sobald die Aufnahmen festgelegt sind, wird für jeden Schnittpunkt ein Bild exportiert.

Diese Bilder werden anschließend an GPT Image 2 zur Verfeinerung übergeben, das die groben 3D-Modelle in Schlüsselbilder im Stil von Naruto umwandelt.

Zum Schluss kommt Seedance 2.5 zum Einsatz, und ein 30 Sekunden langes Fan-Video über Konohagakure mit 6 Aufnahmen ist fertiggestellt.

Die Animationsprojekte sind noch nicht abgeschlossen, da haben GPT-6 und Seedance sich bereits den chinesischen Kurzserien zugewandt.

Das Verfahren ist diesmal noch abstrakter: Mit einem Satz wird eine 30-teilige chinesische Kurzserie in eine US-amerikanische Version umgewandelt.

In dem Vergleichsvideo werden die Haupthandlung und der Rhythmus der Aufnahmen weitgehend übernommen, aber Charaktere, Szenen, Sprache und kultureller Hintergrund werden vollständig ausgetauscht.

Die Gesichter der chinesischen KI-Schauspieler werden durch Gesichter US-amerikanischer KI-Schauspieler ersetzt, die ursprünglichen Räume, Straßen und Kleidungen werden neu generiert, während Bildkomposition und Charakterbewegungen möglichst dem Original folgen.

GPT-6, Fable 5.1 und Gemini 3.8 suchen alle Seedance zur gemeinsamen Videoproduktion auf

Und nicht nur GPT-6 sucht Seedance zur Zusammenarbeit auf.

In den letzten Tagen haben GPT-6 Astra, Fable 5.1 und Gemini 3.8 Flash abwechselnd Prompts geschrieben und diese dann einheitlich an Seedance 2.5 zur Videogenerierung übergeben.

Gut, gut, Seedance reagiert direkt: Kamera läuft!!!

Derselbe Briefing gelangt an verschiedene Modelle, und dabei entstehen tatsächlich drei völlig unterschiedliche Ergebnisse.

Einige Versionen legen den Fokus auf die Charakterbewegungen, die Kamera folgt dem Ereignis und rast schnell voran; andere betonen stärker Komposition, Licht und Atmosphäre, sodass das Ganze wie ein durchgeplantes Storyboard wirkt; weitere führen die Aufgabe streng nacheinander aus und liefern vollständige Informationen, wirken aber weniger wie von einem Regisseur gestaltet.

GPT-6 Astra und Fable 5.1 wurden auch zu mehreren aufeinanderfolgenden Tests herangezogen, bei denen weiterhin Seedance 2.5 zum Einsatz kam.

Zum Beispiel handgezeichnete japanische Geistergeschichten:

Oder Tuschezeichnungen-Animationen:

\n

In der heutigen KI-Videobranche würde das fertige Ergebnis einen wahrscheinlich nicht sofort vom Stuhl hauen (doge).

\n

Schaut man sich aber die Aufgabe an, die Higgsfield an Astra übergeben hat:

\n

\n

Erfinde eine Schwertkampf-Geschichte, erstelle die Vorvisualisierung in Blender, generiere die Aufnahmen mit Seedance 2.5, schneide anschließend das Material zur Endversion zusammen und behalte dabei die Konsistenz von Charakteren und Szenen bei.

\n

\n

Das heißt: Der Mensch gibt nur eine allgemeine Anforderung vor, alles weitere vom Briefing bis zum finalen Export erledigt GPT-6 Astra komplett selbst auf dem Desktop.

\n

Nein, auf der GPT-6-Präsentation hat es noch Leiterplatten in KiCad gezeichnet und Häuser in Blender gebaut —

\n

Erst zwei Tage später haben die Netznutzer es schon kurzerhand in ein Filmatelier eingeteilt…

\n

GPT-6 führt Regie, Seedance setzt die Handlung um

\n

Der gesamte Implementierungspfad ähnelt stark einer KI-Version eines Animationsfilmteams.

\n

Nachdem GPT-6 Astra die Aufgabe erhalten hat, muss es zunächst von Grund auf eine umsetzbare Geschichte entwickeln.

\n

Wer gegen wen kämpft, warum gekämpft wird, wo der Kampf stattfindet, wie die Handlung abläuft und wie viele Aufnahmen benötigt werden — all das muss zuerst geklärt werden.

\n

Sobald die Geschichte steht, öffnet es Blender.

\n

Entsprechend der Handlung baut es zunächst eine vereinfachte 3D-Szene mit Straßen, Häusern, Figuren und Requisiten auf, platziert dann die beiden Charaktere darin und legt ihre Positionen und Bewegungsrouten in verschiedenen Aufnahmen fest.

\n

In dieser Phase wird die sogenannte Previs (Filmvorvisualisierung) durchgeführt.

\n

Nach diesem gesamten Ablauf wurde die gesamte Kampfszene bereits in Blender mit 3D-Modellen durchprobiert.

\n

Anschließend erzeugt GPT-6 Astra anhand der Vorvisualisierungsbilder die Referenzrahmen für die verschiedenen Aufnahmen und übergibt die Charakterabbildungen, Szenenbilder und Aktionsreferenzen an Seedance 2.5.

\n

An diesem Punkt tritt ByteDances Seedance offiziell in das Team ein.

\n

\n

Es wandelt die statischen Referenzrahmen und die grobe Vorvisualisierung in echte Videos mit Charakterbewegungen, Kamerabewegungen und Anime-Atmosphäre um.

\n

Natürlich ist Astra nach Abschluss der Generierung noch nicht fertig.

\n

Es zieht alle von Seedance generierten Materialstücke in ein Schnittwerkzeug, wählt die Aufnahmen aus, ordnet die Zeitleiste an, fügt die vollständige Version zusammen und exportiert am Ende das fertige Video.

\n

Genauer gesagt hat GPT-6 mehrere Werkzeuge und Modelle zu einem temporären Filmatelier zusammengestellt:

\n

GPT-6 Astra schreibt die Geschichte, bedient Blender zur Durchführung der Vorvisualisierung, ruft anschließend Seedance 2.5 zur Generierung der offiziellen Aufnahmen auf und kehrt zum Desktop zurück, um den Schnitt und den Export abzuschließen.

\n

Der Mensch wartet drauf nur auf das fertige Video…

\n

Vergessen wir vorerst das AGI-Thema, Seedance 2.5 meistert diese Aufgabe wirklich sehr zuverlässig.

\n

Anschließend haben Netznutzer dieses Verfahren auch auf Konohagakure angewendet.

\n

Astra erstellt zunächst die 3D-Blockout-Szene, also ein vereinfachtes Modell, das nur die Gebäudestrukturen, Figurenpositionen und groben räumlichen Beziehungen enthält.

\n

Dann richtet es in Blender im Voraus 6 Kameras ein und legt für jede der 6 Aufnahmen fest, wie sie gefilmt wird.

\n

Sobald die Aufnahmen festgelegt sind, wird für jeden Schnittpunkt ein Bild exportiert.

\n

Diese Bilder werden anschließend an GPT Image 2 zur Verfeinerung übergeben, das die groben 3D-Modelle in Schlüsselbilder im Stil von Naruto umwandelt.

\n

Zum Schluss kommt Seedance 2.5 zum Einsatz, und ein 30 Sekunden langes Fan-Video über Konohagakure mit 6 Aufnahmen ist fertiggestellt.

\n

\n

Die Animationsprojekte sind noch nicht abgeschlossen, da haben GPT-6 und Seedance sich bereits den chinesischen Kurzserien zugewandt.

\n

Das Verfahren ist diesmal noch abstrakter: Mit einem Satz wird eine 30-teilige chinesische Kurzserie in eine US-amerikanische Version umgewandelt.

\n

\n

In dem Vergleichsvideo werden die Haupthandlung und der Rhythmus der Aufnahmen weitgehend übernommen, aber Charaktere, Szenen, Sprache und kultureller Hintergrund werden vollständig ausgetauscht.

\n

Die Gesichter der chinesischen KI-Schauspieler werden durch Gesichter US-amerikanischer KI-Schauspieler ersetzt, die ursprünglichen Räume, Straßen und Kleidungen werden neu generiert, während Bildkomposition und Charakterbewegungen möglichst dem Original folgen.

\n

\n

GPT-6, Fable 5.1 und Gemini 3.8 suchen alle Seedance zur gemeinsamen Videoproduktion auf

\n

Und nicht nur GPT-6 sucht Seedance zur Zusammenarbeit auf.

\n

In den letzten Tagen haben GPT-6 Astra, Fable 5.1 und Gemini 3.8 Flash abwechselnd Prompts geschrieben und diese dann einheitlich an Seedance 2.5 zur Videogenerierung übergeben.

\n

Gut, gut, Seedance reagiert direkt: Kamera läuft!!!

\n

Derselbe Briefing gelangt an verschiedene Modelle, und dabei entstehen tatsächlich drei völlig unterschiedliche Ergebnisse.

\n

Einige Versionen legen den Fokus auf die Charakterbewegungen, die Kamera folgt dem Ereignis und rast schnell voran; andere betonen stärker Komposition, Licht und Atmosphäre, sodass das Ganze wie ein durchgeplantes Storyboard wirkt; weitere führen die Aufgabe streng nacheinander aus und liefern vollständige Informationen, wirken aber weniger wie von einem Regisseur gestaltet.

\n

\n

GPT-6 Astra und Fable 5.1 wurden auch zu mehreren aufeinanderfolgenden Tests herangezogen, bei denen weiterhin Seedance 2.5 zum Einsatz kam.

\n

Zum Beispiel handgezeichnete japanische Geistergeschichten:

\n

\n

Oder Tuschezeichnungen-Animationen:

\n