Fable 5.2 für die Videogenerierung ist ebenfalls ein großer Hit. Mit nur einem Satz lassen sich 3D-Kurzfilme erzeugen, wobei Modellierung, Kameraführung und Rendering vollständig übernommen werden.
Gestern hat Anthropic offiziell Claude Fable 5.2 und Claude Mythos 5.2 vorgestellt. Neben den beeindruckenden Fähigkeiten bei der Programmierung, der wissenschaftlichen Forschung und der Robotersteuerung verdient auch die Fähigkeit von Claude zur Videogenerierung eine gesonderte Erwähnung.
Nach der Veröffentlichung des neuen Modells hat der Entwickler Riley Brown auf X einen 3D-Kurzfilm mit dem Titel „The Edge“ veröffentlicht.
https://x.com/rileybrown/status/2119902109709537708
Die Szene dreht sich um einen Arbeitstisch. Das MacBook auf dem Tisch schaltet den Bildschirm ein, Clawd, das Hummer-Maskottchen von Claude, bewegt sich in der Szene, die Tastaturtasten, der Bildschirminhalt und das Umgebungslicht wirken zusammen. Die Kamera wechselt ständig, der Himmel außerhalb des Fensters wandelt sich von Dämmerung zu Nacht und schließlich zum Sonnenaufgang.
Dieser Kurzfilm umfasst 13 Einstellungen und hat eine Laufzeit von etwa 59 Sekunden.
Riley gab an, dass er Fable 5.2 während eines Livestreams nur eine einzige Prompt übermittelt hat. Daraufhin hat das Modell selbstständig Blender-Code geschrieben, Modelle für Tisch, Laptop, Leuchte und Figur erstellt, Kamerabewegungen festgelegt und Animationen für die Objekte hinzugefügt.
Nach Abschluss der Modellierung und Animation hat Fable 10 GPUs auf RunPod für die 4K-Renderung aufgerufen, was 52 Minuten gedauert hat. Die von Riley veröffentlichte Kosten für die Cloud-Renderung betragen 5,75 US-Dollar. Das Modell hat zudem die Farbkorrektur des Bildes und die Erstellung des Titels durchgeführt und mithilfe von ElevenLabs die Musik und Soundeffekte generiert.
Ein anderer Entwickler, Peter Yang, hat mit Fable 5.2 einen 20 Sekunden langen Werbespot für eine Herbstreise zum Fushimi Inari-Taisha in Kyoto, Japan, erstellt. Das gesamte Video wurde per Code aufgebaut und enthält Musik.
https://x.com/petergyang/status/2119886560992854431
Tatsächlich war die Videogenerierung von Opus bereits im September ein großer Hit
Am 14. September hat der Entwickler Kevin Ngo eine Animation vorgeführt, die von Claude Opus 5 Frame für Frame über JavaScript gezeichnet wurde.
https://x.com/kevin_t_ngo/status/2099477219877978289
Anschließend haben einige Entwickler diesen Risograph-Siebdruckstil mit Claude Code nachgebildet, etwa 3500 Zeilen Canvas 2D-Code generiert, 26 Illustrationsszenen in einer einzigen HTML-Datei realisiert und WebAudio zur Synthese von Musik verwendet.
Am 22. September veröffentlichte Anthropic Opus 5.5 und trieb diese kreative Welle weiter voran.
Am Tag der Veröffentlichung teilte der Reddit-Nutzer AzorAhai1TK einen etwa eine Minute langen surrealen Horror-Kurzfilm. Seine Anfrage an Claude war recht offen: Er sollte ein Video über einen gewöhnlichen Werktag mit unheimlicher Atmosphäre erstellen, wobei sowohl Bild als auch Audio programmatisch erstellt werden, und das Modell konnte die spezifischen Tools selbst auswählen.
Nach Angaben des Autors hat Opus 5.5 im Extra-High-Inferenzmodus 45 Minuten für die Erstellung einschließlich der endgültigen Renderung benötigt. Die Toolchain umfasste NumPy, SciPy, Cairo, Piper TTS und FFmpeg.
In den folgenden Tagen tauchten nach und nach komplexere Werke auf.
Am 24. September zeigte ein Reddit-Nutzer ein Kampfvideo im Retro-Stil des SNES-Konsolenspiels. Opus 5.5 steuerte mehrere Agenten, die jeweils für Figur, Szene, Musik und Kampfanimation zuständig waren. Der Autor gab an, dass er keine vorgefertigten Materialien bereitgestellt habe, bestätigte aber in den Kommentaren, dass der Erstellungsprozess zwei bis drei Überarbeitungen umfasste.
Zur gleichen Zeit veröffentlichte der X-Nutzer @IterIntellectus eine 2 Minuten und 16 Sekunden lange Animation zur Geschichte der westlichen Zivilisation, die historische Phasen wie das antike Griechenland, Rom, die Renaissance und die Industrielle Revolution mit gold-schwarzen Linien und dynamischen Grafiken verbindet.
https://x.com/IterIntellectus/status/2103212539895017864
Dieses Video erreichte etwa 24 Stunden nach der Veröffentlichung 5,8 Millionen Aufrufe, später überschritt die gesamte Wiedergabezahl 15 Millionen, und der Autor gab an, dass er nur eine einzige Prompt verwendet habe.
Das Ausmaß dieser Welle ist ebenfalls beträchtlich. Der Index für Werke von Drittanbietern, Claude Video, erfasst derzeit 1276 Videos, die von Erstellern mit Opus 5.5 erstellt wurden, mit 1007 beteiligten Autoren, von denen 457 mit öffentlichen Prompts versehen sind. Die von dieser Website erfasste gesamte Aufrufzahl auf X beträgt etwa 78,9 Millionen.
https://claudevideo.org/
Wie erstellt Claude eigentlich Videos?
Claude kann auf Anforderungen in natürlicher Sprache basierend Animationen in HTML, CSS, JavaScript, SVG oder Canvas schreiben, auch 3D-Szenen mit Three.js aufbauen oder Blender für Modellierung und Renderung aufrufen.
Wenn ein Nutzer beispielsweise einen 15-sekündigen Produktwerbespot erstellen möchte, kann Claude zuerst die Einstellungen und die Zeitachse planen und anschließend Code schreiben, der Text, Grafiken, Kamera und Überblendeffekte steuert. Das Programm berechnet das Bild jedes Frames zeitbezogen und exportiert schließlich MP4 über Browseraufzeichnung, Render-Engine oder FFmpeg.
Wenn komplexe 3D-Szenen erforderlich sind, kann Claude auch Blender-Python-Skripte schreiben, automatisch Modelle erstellen, Materialien festlegen, Beleuchtung und Kamera einrichten und anschließend die GPU für die Renderung aufrufen.
Dieser Prozess hängt hauptsächlich von den Fähigkeiten des Modells bei Programmierung, räumlichem Schlussfolgern, Aufgabenplanung und Toolaufruf ab. Die Bilder entstehen durch Programmberechnung und Renderung, was einen deutlichen technischen Unterschied zu den Generierungsverfahren von Videomodellen wie Veo oder Runway darstellt.
Die Code-gesteuerte Videogenerierung hat auch eigene Vorteile.
Die Position von Texten, Zahlen und Grafiken kann präzise gesteuert werden; Szenen und Animationszeitachsen können wiederholt überarbeitet werden; Oberflächenelemente, technische Schemata und dynamische Diagramme in Produktdemonstrationen können alle mit strukturiertem Code generiert werden.
Zuvor hat Remotion auch ein Claude Code-Plugin eingeführt, mit dem Entwickler Videoprojekte per natürlicher Sprache erstellen und bearbeiten können. Am 8. Oktober hat Anthropic zudem offiziell die Beta-Version von Claude Motion vorgestellt, die die Erstellung von Animationen aus Texten, Diagrammen und Grafiken und den Export als MP4 unterstützt und für Team- und Enterprise-Nutzer zugänglich ist.
Derzeit konzentrieren sich die ausgereiftesten Anwendungen der Code-gesteuerten Videogenerierung von Claude auf dynamische Grafiken, Informationsvisualisierung, Produktpräsentation, technische Popularisierung und stilisierte 3D-Animationen. Bei hochrealistischen Figuren, komplexen natürlichen Bewegungen und fortlaufenden filmischen Einstellungen haben professionelle generative Videomodelle nach wie vor ihre jeweiligen Vorteile.
Nach der Veröffentlichung von Fable 5.2 hat seine Fähigkeit zur Robotersteuerung auch Diskussionen unter mehreren Forschern von Anthropic ausgelöst. Sie haben in sozialen Medien angegeben, dass die „bittere Lektion“ im Bereich der Robotik möglicherweise bereits eingetroffen ist.
Von Opus 5.5 im September bis zum heutigen Fable 5.2 wird die Videogenerierung von Claude ständig weiter beachtet. Werden spezialisierte Videogenerierungsmodelle in Zukunft auch ihre eigene „bittere Lektion“ erleben? Was denken Sie darüber?