DLSS 5 hat die Grafikkarte an ihre Leistungsgrenze gebracht, doch NVIDIA erachtet dies als sehr wichtig.

Wer erinnert sich noch an den Besuch von Jensen Huang in Peking im Mai, an dem er innerhalb nur eines Tages zwei „Schocks“ erlebte: der eine war der traditionelle alte Pekinger Douzhi-Sojagetränk, der andere der übersteigerte Schönheitsfilter einer zufällig vorbeikommenden Tante.

Netzbild

Bald verbreitete sich dieses Bild in der Kreise von Spielern. Einige Spieler nutzten es, um die damalige Demonstrationswirkung von DLSS 5 zu verspotten, und verwendeten Begriffe wie „extremes Hautglätten“, „kosmetische Operation“ und „typischer KI-Geschmack“.

DLSS (auch scherzhaft als „Popeye“ bezeichnet) kann zunächst als eine Reihe von Spielgrafiktechnologien verstanden werden, die von NVIDIA entwickelt wurde. Die vorherigen Generationen von DLSS dienten hauptsächlich dazu, die Auflösung und die Bildrate von Spielen zu verbessern. DLSS 5 wurde weiter aktualisiert, um Licht und Schatten, Materialien und Szenen von Spielbildern per KI zu rendern und der Realität nahe zu kommen.

Haut, Licht und Schatten sowie Materialien werden von KI neu gerendert ｜ Digital Dreams

Am 3. September wurde DLSS 5 zusammen mit *NBA 2K27* offiziell veröffentlicht. Derzeit unterstützt die offizielle Version von NVIDIA nur Grafikkarten der RTX 50-Serie, aber die Spielergemeinde hat die Laufzeitbibliothek bereits modifiziert, sodass sie auch auf N-Grafikkarten der 30- und 40-Serie ausgeführt werden kann.

Neben den andauernden Diskussionen im Spielerkreis habe ich auch die Bedeutung dieser Technologie erkannt, die über das Spiel selbst hinausgeht.

Es sieht gut aus, aber warum sinkt die Bildrate?

Auf dem Markt gibt es viele Spiele mit hervorragendem Gameplay, deren Bildqualität aber sehr abschreckend wirkt.

Beispielsweise spiele ich kürzlich *Project Zomboid*: Charaktere, Häuser und Straßen sind in einer schrägen Draufsicht zusammengedrängt, das Licht ist sehr flach und hat keinerlei Dreidimensionalität.

Quelle: youtuber @Pukis

Aber nachdem DLSS 5 aktiviert wurde, ändert sich die gesamte Atmosphäre des Bildes. Schatten erscheinen an den Ecken der Wände, die Karosserie hat Reflexionen, und die Charaktere wirken nicht mehr wie direkt auf den Boden geklebt. Das ursprünglich etwas eintönige Bild bekommt einen düsteren Lichteffekt und sieht eher wie eine wirklich verlassene Kleinstadt am Ende der Welt aus.

Nach der Aktivierung von DLSS 5 merke ich erst, dass mir die Bildqualität dieses Spiels sehr wichtig ist! ｜ Pukis

Das ist die Bedeutung dieser Art von Grafiktechnologie: Sie verbessert das Raumgefühl und den Realitätsgrad von 3A-Spielen, die ohnehin schon gut aussehen. Auch Spiele, die nicht durch ihre Bildqualität überzeugen, erhalten eine dreidimensionalere Bildverarbeitung.

In der Spielergemeinde gibt es viele Modifikationstools. Beispielsweise können Spieler, die mit dem von DLSS 5 verarbeiteten Bild nicht zufrieden sind, eine weitere Verarbeitungsebene hinzufügen. Wenn DLSS 5 also drei Ebenen lang läuft, beginnen Haut und Boden im Spielbild zu glänzen, die Konturen der Charaktere verformen sich allmählich, und wenn sich das Bild bewegt, blinken Haare und Schatten ständig. Wenn sich das Bild bewegt, zeigen die Ecken des Tisches einen gekrümmten Effekt nach übermäßiger Bildbearbeitung.

Oben: Bild ohne aktiviertes DLSS 5; Unten: Bild nach vierfacher Verarbeitung ｜ selbst erstellt vom Autor

Meine Grafikkarte ist eine RTX 4070 Ti Super mit einem Marktpreis von etwa 6000 Yuan, die als Mittel- bis Oberklasse-Grafikkarte gilt. Bei der Verwendung von DLSS 5 ist ein deutlicher Rückgang der Bildrate aufgetreten – was zeigt, dass DLSS 5 meine Grafikkarte vollständig „auslasten“ kann.

Ohne Optimierung sinkt die Bildrate nach der Aktivierung von DLSS 5 stark ｜ Quelle: selbst erstellt vom Autor

DLSS 5 stellt die nächste Frage der Spielgrafiktechnologie auf: Die Entwicklung verschiebt sich von „ob das Spiel flüssig läuft“ zu „ob das Bild noch besser aussehen kann“.

Die vorherigen Generationen von DLSS halfen der Grafikkarte, „faul zu sein“. Mit „Superauflösung“ wird das Spiel in einer niedrigeren Auflösung gerendert, und dann nutzt die KI die Informationen des aktuellen Bildes und der vorherigen Frames, um es zu einer höheren Auflösung zu ergänzen. Mit „Frame-Generierung“ werden neue Übergangsframes zwischen zwei normal gerenderten Bildern berechnet. Beide Funktionen lösen den Widerspruch zwischen Klarheit, Bildrate und begrenzter Rechenleistung.

DLSS 5 hingegen ist offensichtlich eine ernsthafte Prüfung für die Rechenleistung.

DLSS 5 reproduziert den Schönheitseffekt von Habbo ｜ reelsgames18

Wie kann man Licht und Schatten des Bildes neu rendern? Nehmen wir zum Beispiel das Ohr einer Spielfigur: Im wirklichen Leben, wenn starkes Licht von hinten auf eine Person scheint, dringt ein Teil des Lichts in die Haut ein und verteilt sich darin, sodass der Rand des Ohrs leicht rötlich warm leuchtet.

Herkömmliche Spiele können diesen Effekt auch erzielen, aber Künstler müssen das Hautmaterial im Voraus erstellen, Techniker müssen die Regeln für die Lichtaufnahme schreiben, und dann berechnet der Renderer dies Frame für Frame.

DLSS 5 (NVIDIA nennt den Kern dieses Algorithmus „3D-gesteuerte neuronale Rendering“) nutzt die beim Training erlernten physikalischen Gesetze, um vorherzusagen, wie die Lichtdurchlässigkeit und Helligkeit aussehen, wenn ein Lichtstrahl auf das Ohr einer Spielfigur fällt.

Quelle: TheAIGRID

Ein vorab zu lösendes Problem besteht darin, dass der Algorithmus Haut, Haare, Stoffe, Pflanzen und andere Objekte im Spiel verstehen muss. Dann generiert er auf Basis physikalischer Gesetze natürlichere Reflexionen, realistische Hauttexturen von Charakteren und eine Umgebung mit Schichtung.

Der Teil, der noch mehr Rechenleistung verbraucht, liegt darin: Bei der KI-Bildgenerierung haben die Benutzer Geduld, mehr als zehn Sekunden zu warten. Aber beim Spielen von Spielen kann man nicht warten.

Ein Spiel muss 60 Bilder pro Sekunde aufrechterhalten, sodass für jedes Bild nur etwa 16,7 Millisekunden zur Verfügung stehen.

Um die Verarbeitungszeit extrem zu komprimieren, muss die Spiel-Engine die grundlegende Renderarbeit erledigen und sie dann an DLSS 5 übergeben, um die Aufgabe „realistische Effekte“ abzuschließen.

3D-gesteuerte neuronale Rendering-Technologie ｜ NVIDIA

Dann komprimiert NVIDIA die mehrstufige Berechnung, die normalerweise für die Bildgenerierung durch das Modell erforderlich ist, zu einem einzigen Generierungsschritt (dafür wurde ein „einstufiges Diffusionsmodell im Pixelraum“ entwickelt).

Leistung desselben Modells bei unterschiedlicher Generierungsintensität ｜ NVIDIA

Um Abweichungen bei den Generierungsergebnissen zu vermeiden – dass fortlaufende Bilder plötzlich hell oder dunkel werden oder sich sogar verformen – übergibt die Spiel-Engine im vorherigen Schritt die „Bewegungsvektoren“, die beispielsweise aus Bewegungsrichtung, Entfernung und Flugbahn einer Hand bestehen, gemeinsam an DLSS 5.

Bei 4K und 60 Bildern pro Sekunde hat jedes Bild fast 8,3 Millionen Pixel, was der Verarbeitung von fast 500 Millionen Pixeln pro Sekunde entspricht. Nach dem Rendern wird das Bild an DLSS 5 zur neuronalen Verarbeitung übergeben, und alle Arbeiten müssen innerhalb von 16,7 Millisekunden pro Frame abgeschlossen sein. Trotz der Komprimierung wird die Rechenleistung der Grafikkarte stark belastet.

Die praktische Messung von PC Gamer hat diese Kosten schnell berechnet: In *NBA 2K27* erreichte die RTX 5080 bei Ausführung in nativer 4K-Auflösung eine durchschnittliche Bildrate von ursprünglich 183 Bildern pro Sekunde; nach der Aktivierung von DLSS 5 blieben nur noch 49 Bilder pro Sekunde übrig, was einem Rückgang von 73 % entspricht.

Grob umgerechnet entsprechen 183 Bilder pro Sekunde etwa 5,5 Millisekunden pro Frame, 49 Bilder pro Sekunde etwa 20,4 Millisekunden pro Frame. Nach der Aktivierung von DLSS 5 dauert der gesamte Renderprozess also durchschnittlich fast 15 Millisekunden länger pro Frame, was fast der Zeit entspricht, die für das Rendern des gesamten Bildes mit 60 Bildern pro Sekunde benötigt wird.

Die Spieler stehen vor dem Dilemma, dass die Hardware nicht mit den neuen Technologien Schritt halten kann. NVIDIA muss sich in Zukunft auch bemühen, beide auszugleichen. Aber die von DLSS 5 gezeigte neuronale Rendering-Methode hat ein großes Potenzial, um Echtzeit und Steuerbarkeit der generativen Rendering zu erreichen. Diese Methode kann viele Anwendungsfälle haben und viele Branchen verändern.

NVIDIAs Ambition: Die digitale Welt der Realität näher bringen

In der Vergangenheit folgte die Art und Weise, wie Spiel-Engines 3D-Welten aufbauten, dem Prinzip, dass Entwickler zuerst die Regeln schreiben und sie dann an die Grafikkarte zum Rendern übergeben. Generative KI geht einen anderen Weg: Sie muss beurteilen, „wie sollte dieses Ding in der realen Welt aussehen?“

Aufnahme einiger Szenen in einem virtuellen Filmstudio ｜ disguise

Das virtuelle Filmstudio in der Filmindustrie ist ein anschauliches Anwendungsbeispiel. Heutzutage werden in vielen Filmen virtuelle Szenen direkt auf riesige LED-Bildschirme projiziert, Schauspieler stehen vor den Bildschirmen, um zu drehen, und Regisseure können Kameraposition und Beleuchtung vor Ort anpassen. Aber um komplexe Materialien wie Haut, Rauch, Glas und Metall ausreichend realistisch zu gestalten, muss man immer noch auf das Nachbearbeitungs-Rendering zurückgreifen. Wenn Technologien wie DLSS 5 in virtuelle Filmstudios Einzug halten, wird das Bild, das Regisseure im virtuellen Studio sehen, dem Bild, das wir im Kino sehen, viel nä