1600 Codezeilen erzeugen ein Unterwasser-Manhattan, Fable 5 hat Karpathy total fasziniert

【Einleitung】Fable 5 ist wieder online. Gostev von Arena.ai hat in einem Video 63 3D-Welten auf einmal erzeugt – fast alle auf Anhieb. Nach dem Ansehen des Videos war selbst Karpathy, der gerade dem Vortrainierungsteam von Anthropic beigetreten ist, total überrascht.

Ein Bär steht am Flussufer und packt einen aufspringenden Lachs mit dem Maul.

Der Fisch wehrt sich verzweifelt in seinem Maul.

Diese Szene hat Andrej Karpathy total verblüfft.

Nachdem er diese 3D-Videos gesehen hat, schrieb er in seinem Tweet:

Das ist unglaublich. Ich hatte nicht erwartet, dass das Modell so wunderbare, reichhaltige und spielbare Welten erzeugen kann.

Er hat auch ein neues Wort geprägt: fablemaxxing.

Das ist wunderschön, das ist Top-Fablemaxxing! Bei jeder neuen Modellstufe gibt es etwas völlig Neues, das einen qualitativen Sprung macht und überrascht.

Karpathy ist im Mai dieses Jahres zu Anthropic gewechselt und dem Vortrainierungsteam beigetreten.

Im Juni wurde Fable 5 erstmals veröffentlicht, aber drei Tage später wurde es von den US-Exportkontrollen gestoppt und am 1. Juli wieder freigegeben. Der Videoautor ist Peter Gostev von der AI-Bewertungsplattform Arena.ai.

Er hat mit Fable 5 auf einmal 63 schwierige 3D-Generationen ausgeführt – fast alle basieren auf Three.js, und die meisten wurden auf Anhieb erstellt.

Vor etwas mehr als einem Monat war es fast unmöglich, dass die KI auf Anhieb eine begehbare 3D-Welt erzeugt. Jetzt kann Fable 5 auf einmal 63 davon erstellen.

Daher konnte Gostev im Video nicht umhin, zu sagen: Sogar die Leute im Labor haben noch nicht vollständig verstanden, was es alles kann.

1600 Codezeilen – eine lebendige Unterwasser-Manhattan

Zuerst über das eindrucksvollste Werk im Video.

Ganz Manhattan liegt unter Wasser. Der Central Park, die Wolkenkratzer, die Straßentexturen – die Details sind so reichhaltig, dass es kaum zu glauben ist.

Gostev hat sich den Code angesehen: 1600 Zeilen. Genau diese 1600 Zeilen stützen eine lebendige Unterwasserstadt.

Das von Fable 5 erzeugte Manhattan zeigt die gesamte Insel von Battery bis Inwood, Zehntausende von Gebäuden mit eigenen Konturen, alle gestützt von 1600 Codezeilen. (Quelle: Video von Peter Gostev)

Gostev hat insgesamt 63 solcher Welten erstellt, unterteilt in 6 große Themenbereiche.

In den riesigen 3D-Welten sind Istanbul, das die Ufer von Europa und Asien verbindet, London mit Veränderungen über 2000 Jahre, die majestätischen Pyramiden, der Vulkanausbruch von Pompeji und die Golden Gate Bridge mit durchfahrenden Autos nacheinander aufgebaut worden;

Istanbul, das von Fable 5 auf Anhieb erzeugt wurde, erstreckt sich über Europa und Asien und stapelt sich bis ins Meer. (Quelle: Video von Peter Gostev)

Das von Fable 5 erzeugte essbare Königreich – eine Schokoladenfabrik aus Süßigkeiten. (Quelle: Video von Peter Gostev)

Zu den spielbaren Szenen gehören Parkour auf Dächern von New York, ein Physikspielplatz, wo man die ganze Stadt auseinandernehmen kann, und ein Flugsimulator mit vollständigem Armaturenbrett.

Das Unglaublichste ist, in berühmte Gemälde einzutauchen. Van Goghs Sternenhimmel und Monets Seerosen werden zu begehbaren 3D-Welten.

Es gibt auch unmögliche Perspektiven: Eine Ameise von einem Millimeter Höhe betrachtet den Garten im Regen und sieht sofort einen Goldberg.

Fable 5 senkt die Perspektive auf einen Millimeter Höhe – Grashalme wachsen zu hohen Bergen. (Quelle: Video von Peter Gostev)

Zu den Naturwundern gehören die Niagarafälle, Wälder mit synchron blinkenden Glühwürmchen – und die Szene mit dem Bären, der den Lachs fängt, die Karpathy so beeindruckt hat, gehört zu dieser Kategorie.

Schließlich gibt es Elemente und das Universum: Das geteilte Rote Meer, eine entstehende Vulkaninsel und ein Weltraumaufzug, der in die Wolken ragt.

Das von Fable 5 erzeugte Rote Meer ist in der Mitte geteilt – Menschen können zwischen zwei Wasserwänden hindurchgehen. (Quelle: Video von Peter Gostev)

Für Gostev ist die Schönheit einer einzelnen Szene nie die Schwierigkeit. Die Herausforderung liegt darin, ob das Modell eine riesige Menge an Elementen gleichzeitig steuern und sie miteinander in Einklang bringen kann.

Schwächere Modelle machen oft die ersten 80% gut, aber die letzten 20% gehen total daneben – die anschließende Debug-Zeit ist sogar noch länger.

Du kannst kein Gemälde abschreiben – es muss es zuerst verstehen

Wenn das Erzeugen von Städten noch logisch nachvollziehbar ist, dann sind die folgenden Gemälde die Werke, bei denen Gostev mehrmals "unglaublich" sagte.

Van Goghs "Sternenhimmel".

Du kannst dieses Gemälde nicht einfach abschreiben – die Leinwand ist voller dicker Farbschichten, die Pinselstriche bilden Wirbel.

Fable 5 macht es so: Es baut den Sternenhimmel in 3D-Raum mit einzelnen unabhängigen Linien neu auf, dann kannst du hineinfliegen und zwischen den Wirbeln hindurchgehen.

Fable 5 teilt Van Goghs "Sternenhimmel" in dreidimensionale Linien auf, baut es im 3D-Raum neu auf und lässt dich zwischen den wirbelnden Sternen und Wirbeln fliegen. (Quelle: Video von Peter Gostev)

Monets Seerosen und Katsushika Hokusais Welle wurden ebenfalls zu begehbaren Welten "geöffnet".

Für Gostev ist Fable dieses Mal besonders gut darin, Dinge klar zu erklären – es kann zeigen und gleichzeitig erklären, wie etwas funktioniert. Diese Erklärungskraft hatte er nicht erwartet.

Natürlich entstehen diese Welten nicht mit nur einem Satz.

Gostev hat dem Modell lange, detaillierte Spezifikationsdokumente gegeben. Die meisten Fälle wurden auf Anhieb erstellt, einige wenige wurden ein- bis zweimal nachjustiert.

Der eigentliche Unterschied liegt darin: Früher brauchte man mehr als zehn Durchgänge, um etwas zu erzeugen – jetzt kann eine einzelne HTML-Datei die meisten Ergebnisse auf Anhieb liefern.

Hinter der Magie gibt es auch Schwächen

Gostev gibt zu, dass er diese Fälle ausgewählt hat. Die Gesamtzahl der erzeugten Werke ist etwa 20% höher als die gezeigten – die mit offensichtlichen Bugs wurden entfernt, um diese 63 Werke zu erhalten.

Spiele sind seine Schwäche.

Er gibt zu, dass man diese wenigen spielbaren Szenen "nach 30 Sekunden langweilig findet". Eine Version des Römischen Reichs fand er zu cartoonartig.

Noch subtiler ist, dass er meint, das Modell sei manchmal faul und verstecke sein Potenzial – man muss es wiederholt auffordern, ehrgeiziger zu sein, damit es sein wahres Können zeigt.

Als Fable 5 online ging, hat es auf der eigenen Agent Arena-Liste von Arena.ai mit dem größten Vorsprung aller Zeiten den ersten Platz belegt.

Laut Arena.ai misst diese Liste die Fähigkeit des Modells, Aufgaben in Millionen von echten Szenarien tatsächlich zu erledigen.

Diese Erkundung hat gerade erst begonnen

Kehren wir zurück zur Szene mit dem Bären, der den Lachs fängt.

Was Karpathy verwirrt, ist: Der Fisch wehrt sich, wenn er gepackt wird – ein Detail, das niemand verlangt hat. Wie weiß ein großes Sprachmodell, das nur aus dem Internet lernt, davon?

Und wie übersetzt es dieses Verständnis in xyz-Koordinaten, Netze, Transformationen, Animationen, Effekte, Interaktionen und sogar kleine Geschichten?

Diese Frage geht über "kann die KI gut malen" hinaus – sie führt zu der Frage: Wie viel versteht es wirklich?

Karpathy sagte auch staunend: Wenn man noch ein bis drei Modellstufen hinzufügt, kann man sich gar nicht vorstellen, was man erzeugen kann.

Gostev staunt auch über die schnelle Entwicklung der KI: "Lass dich nicht von Modellen vor einem halben Jahr einschränken. Vielleicht interessierst du dich nicht für 3D, aber es gibt bestimmt etwas, das alte Modelle nicht konnten – aber das heutige kann es. Probier es aus."

Sogar die Leute, die das Modell entwickelt haben, haben seine Grenzen noch nicht gefunden.

Diese Erkundung hat gerade erst begonnen.

Referenzen:

https://github.com/petergpt/3d-prompt-collection#prompt-01 

https://x.com/karpathy/status/2073505440479293773 

https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s 

Dieser Artikel stammt vom WeChat-Offiziellen Konto “New Zhiyuan”, Autor: ASI Offenbarung; Redakteur: Yuan Yu, veröffentlicht mit Genehmigung von 36Kr.