Jensen Huang hat quelloffene KI-Modelle eingeführt und sie den Entwicklern kostenlos zugänglich gemacht.

Weniger als drei Wochen nachdem Jensen Huang seine öffentliche Unterstützung für Open-Source-Modelle angekündigt hat, hat NVIDIA konkrete Maßnahmen ergriffen.

Am 11. August Ortszeit in den USA veröffentlichte NVIDIA das Open-Source-Modell Nemotron 3.5 Lightning und stellte gleichzeitig die Open-Source-Modell-Routing-Bibliothek NeMo Switchyard vor.

Nemotron 3.5 Lightning ist ein Mixed-Experten-Modell mit 30 Milliarden Parametern, das auf langlaufende Agenten ausgerichtet ist und hauptsächlich hochfrequente Aufgaben wie Code-Prüfung, Tool-Aufruf, Überwachung von Sicherheitswarnungen und Fragen zur Rechnungsstellung übernimmt. NeMo Switchyard hingegen ist für die Modellauswahl zuständig und leitet Aufgaben zwischen verschiedenen Modellen entsprechend den Anforderungen der Aufgabe weiter.

Unternehmen können dieses Nemotron-Modell kostenlos herunterladen, verwenden und modifizieren, ohne eine Lizenz von NVIDIA zu benötigen oder Gebühren zu zahlen.

NVIDIA gibt an, dass die Ausgabegeschwindigkeit von Nemotron 3.5 Lightning bis zum Vierfachen der vergleichbarer Modelle erreichen kann und die Abschlussgeschwindigkeit von Agentenaufgaben um 30 % gesteigert wird. Interne Tests von NeMo Switchyard zeigen, dass unter Beibehaltung der Genauigkeit auf Spitzenniveau die Aufgabenkosten auf fast ein Drittel des Preises sinken können, der bei ausschließlicher Verwendung von Opus 4.8 anfällt.

01 Spezialisiert auf hochfrequente Aufgaben für Agenten

Der KI-Wettbewerb der letzten Jahre drehte sich um die Modellgröße, heute legt das Zeitalter der Agenten mehr Wert auf die Effizienz von Modellen bei der Ausführung spezifischer Aufgaben. Nemotron 3.5 Lightning ist genau das Modell, das NVIDIA für diese Anforderung entwickelt hat.

In komplexen Agentensystemen können stärkere Inferenzmodelle für die Aufgabenplanung verantwortlich sein, während Nemotron 3.5 Lightning eine große Anzahl wiederholender, ausführender Arbeiten übernimmt. Dadurch lässt sich die Anzahl der Aufrufe großer Modelle reduzieren und gleichzeitig die Betriebskosten senken.

NVIDIA hat diesen Ansatz in Tests mit seinem selbst entwickelten Benchmark für Agentenaufgaben PinchBench validiert.

Die Tests zeigen, dass Nemotron 3.5 Lightning bei Übereinstimmung mit der Genauigkeit von Qwen 3.6-35B Aufgaben etwa 30 % schneller abschließt; bei ähnlicher Abschlusszeit liegt seine Genauigkeit über der von Gemma 4-26B.

Nemotron 3.5 Lightning ist das schnellste Modell seiner Klasse mit Genauigkeit auf Spitzenniveau

Aus Sicht der allgemeinen Fähigkeiten ist Nemotron 3.5 Lightning jedoch nicht das derzeit leistungsstärkste Modell. Aus dem Intelligence Index des Drittanbieter-Bewertungsinstituts Artificial Analysis geht hervor, dass Nemotron 3.5 Lightning 9 Bewertungsbereiche abdeckt und 24 Punkte erreicht, was dem Niveau von gpt-oss-120b entspricht, aber unter dem einiger größerer Modelle liegt.

Nemotron 3.5 Lightning ist speziell für hochfrequente Agentenaufgaben angepasst

NVIDIA legt mehr Wert auf die Effizienz und Nutzbarkeit dieses Modells bei realen Arbeitslasten. Derzeit testen bereits mehrere Unternehmen die Anwendung von Nemotron 3.5 Lightning in ihren spezifischen Geschäftsprozessen.

Crowd Strike setzt Nemotron 3.5 Lightning bereits für die Cybersicherheit ein, Harvey und Trajectory für Rechtsdienstleistungen, CodeRabbit und Baseten für die Code-Prüfung, LilaSciences für Aufgaben in Physik und Biowissenschaften, während FastinoLabs es für Arbeitslasten in der Softwareentwicklung, im Finanzwesen und im Gesundheitswesen anpasst.

Das unternehmensspezifisch angepasste Nemotron 3.5 Lightning erreicht eine sehr hohe Genauigkeit bei spezialisierten Agentenaufgaben

Unternehmen können das Modell zudem weiter an ihre eigenen Daten anpassen. Der Test von CodeRabbit liefert ein entsprechendes Beispiel. Laut NVIDIA hat das Unternehmen mit dem standardmäßigen NeMoAuto-Modellrezept innerhalb eines Zyklus von etwa zwei Stunden und Kosten von 85 US-Dollar einen funktionsfähigen Router-Agenten erstellt.

Nemotron 3.5 Lightning unterstützt zudem mehrere Bereitstellungsformen: Es kann auf NVIDIA RTX PCs, DGX Spark, DGX Station und Jetson ausgeführt werden und lässt sich auf RTX PRO Workstations, Rechenzentren und die Cloud erweitern.

NVIDIA gibt an, dass das Unternehmen Trainingsdaten und Technologien im Rahmen der geltenden Lizenzbestimmungen veröffentlichen wird, gleichzeitig wird das Datensatz Nemotron-RL-Agentic-Terminal-Pivot veröffentlicht, um die Fähigkeiten von Codierungsagenten weiter zu trainieren.

02 Ein „Dispatcher“ für KI-Modelle

Wenn Unternehmen immer mehr Modelle besitzen, stellt sich eine neue Frage: Wie wählt man das passende Modell aus?

Verschiedene Phasen eines Agenten stellen unterschiedliche Anforderungen an Modelle: Komplexe Aufgaben erfordern stärkere Inferenzfähigkeiten, einfache Aufgaben legen mehr Wert auf Geschwindigkeit und Kosten. Die ausschließliche Verwendung großer Modelle ist zu teuer, die ausschließliche Verwendung kleiner Modelle kann das Ergebnis beeinträchtigen.

Genau für dieses Problem wurde NeMo Switchyard entwickelt.

Es handelt sich um eine Open-Source-Modell-Routing-Bibliothek, die entsprechend den Aufgabenanforderungen zwischen verschiedenen Modellen auswählen kann. Entwickler können Strategien nach Genauigkeit, Latenz und Kosten festlegen und die Routing-Logik an ihre eigenen Geschäftsprozesse anpassen.

Kari Briski, Vice President of Enterprise Generative AI Software bei NVIDIA, erklärt, dass Switchyard Modelle dynamisch nach dem aktuellen Zustand des Agenten auswählen kann, bevor eine Aufgabe gestartet wird, wird nicht im Voraus festgelegt, welches Modell welche Art von Aufgabe verarbeitet.

Zudem werden die Token-Kosten in den Auswahlprozess einbezogen. Briski erläutert, dass Switchyard die Anzahl der Token bewerten kann, die bei der Ausführung einer Aufgabe durch verschiedene Modelle voraussichtlich anfallen, und auf Grundlage dieser Vorhersage das geeignetere Modell auswählt.

Kostenvergleich bei intelligenter Routing verschiedener Modelle durch Switchyard

Die von NVIDIA veröffentlichten Unternehmensergebnisse zeigen, dass LangChain bei 145 mehrstufigen DeepAgents-Aufgaben nur 7 % der Aufrufe an Spitzenmodelle weiterleitet, wodurch die Kosten bei einer um 6 % reduzierten Genauigkeit um 74 % sinken.

Ramp erreicht in RampSWE-Bench eine Leistung, die der von Spitzenmodellen entspricht, und senkt gleichzeitig die Kosten um 58 % sowie die Laufzeit um 33 %. Cognition hat Switchyard in DevinDesktop integriert und berichtet, dass die durchschnittlichen Kosten um 28 % niedriger liegen als bei ausschließlicher Verwendung eines einzelnen Spitzenmodells.

Boomi erreicht bei 5 Routing-Fähigkeitstests eine 100%ige Domänen-Routing-Genauigkeit und leitet 59 % des Datenverkehrs an feinabgestimmte Modelle weiter, die 5-mal schneller sind, wodurch die Latenz in nachfolgenden Runden um 21 % sinkt. Erste Tests von Classmethod zeigen, dass die Kosten bei Beibehaltung der Qualität um 27 % reduziert werden.

Diese Ergebnisse deuten darauf hin, dass sich der Schwerpunkt des Wettbewerbs bei der Nutzung von KI durch Unternehmen in Zukunft möglicherweise von „das stärkste Modell besitzen“ zu „mehrere Modelle verwalten“ verlagert.

03 Das nächste größere Open-Source-Großmodell ist bereits in Arbeit

Gleichzeitig zur Veröffentlichung des Modells mit 30 Milliarden Parametern und des Modell-Routing-Tools treibt NVIDIA auch das größere Open-Source-Modellprojekt Nemotron 4 voran.

Wie das Technikmedien The Information unter Berufung auf mit der Angelegenheit vertraute Personen berichtet, gehen Mitarbeiter, die am Nemotron-Projekt beteiligt sind, davon aus, dass das größte Nemotron 4-Modell mindestens 1 Billion Parameter haben wird, also etwa das Doppelte des derzeit größten NVIDIA-Modells Nemotron 3 Ultra.

Nemotron 4 befindet sich jedoch noch in der Entwicklungsphase, die genauen Spezifikationen und das Veröffentlichungsdatum sind noch nicht festgelegt, und das endgültige Training ist noch nicht abgeschlossen. Beteiligte Mitarbeiter geben an, dass groß angelegte Trainingsläufe mehrere Monate dauern können.

Aus der Gesamtperspektive seines Aufbaus betrachtet, konzentriert sich NVIDIA jedoch nicht nur darauf, ein größeres Modell zu veröffentlichen.

In den letzten Jahren drehte sich der Kernwettbewerb der KI-Industrie hauptsächlich um die Modelle selbst. Unternehmen benötigten stärkere Basismodelle, größere Trainingsumfänge und höhere Benchmark-Ergebnisse.

NVIDIA versucht gerade, ein weiteres System aufzubauen. Dieses System umfasst nicht nur Modelle, sondern auch Trainingsdaten, Bewertungstools, Entwicklungsframeworks und Rechenressourcen.

Im Rahmen des Nemotron-Projekts erweitert NVIDIA die Zusammenarbeit mit externen Unternehmen und Forschungseinrichtungen. Unternehmen wie Reflection, Cursor, Thinking Machines und Mistral beteiligen sich an der Bereitstellung von Trainingsdaten, Bewertungsunterstützung und Modellentwurfserfahrungen. Prime Intellect hat zudem eine große Anzahl von Simulationsumgebungen beigesteuert, um die Fähigkeiten des Modelltrainings zu verbessern.

Gleichzeitig erhöht NVIDIA kontinuierlich die Recheninvestitionen für die KI-Forschung und -Entwicklung. Bis April dieses Jahres hat sich das Volumen seiner mehrjährigen Cloud-Service-Verpflichtungen auf 28 Milliarden US-Dollar ausgeweitet, die bis Anfang 2031 reichen.

Die ausstehenden mehrjährigen Ausgabevereinbarungen für Cloud-Services von NVIDIA sind im vergangenen Jahr stark angestiegen

Diese Ressourcen werden nicht alle für das Nemotron-Training verwendet, aber sie zeigen, dass NVIDIA im Voraus Infrastruktur für die nächste Phase des KI-Wettbewerbs aufbaut.

Im Gegensatz zu Unternehmen wie OpenAI und Anthropic, die sich hauptsächlich auf die „Entwicklung des stärksten Modells“ konzentrieren, möchte NVIDIA eher eine Plattform werden, die Modelle, Tools, Rechenkapazität und das Entwicklerökosystem miteinander verbindet.

Der Wandel vom Chiphersteller zum Anbieter von KI-Infrastruktur ist die Rollenentwicklung, die NVIDIA vorantreibt.

04 Verstärktes Engagement für Open Source, nicht nur um Modelle zu entwickeln

Die Entscheidung von NVIDIA, Open Source voranzutreiben, ist keine einfache Teilnahme am Wettbewerb um Großmodelle, sondern ergibt sich daraus, dass sich die Wettbewerbsregeln in der KI-Industrie gerade verändern.

In den letzten Jahren lag der Fokus der Branche auf der Frage „wer das stärkste Modell besitzt“. Unternehmen wie OpenAI und Anthropic verbessern kontinuierlich die Fähigkeiten ihrer Spitzenmodelle, der Wettbewerb dreht sich um Parametergröße, Inferenzfähigkeiten und Benchmark-Ergebnisse. Wer ein leistungsstärkeres Modell trainieren kann, verfügt in der Regel über einen größeren Markteinfluss.

Aber da Unternehmen beginnen, KI in großem Umfang einzusetzen, tauchen neue Probleme auf.

In der Praxis muss ein KI-Agent normalerweise mehrere Schritte ausführen: Aufgaben verstehen, Tools aufrufen, Informationen verarbeiten, Ergebnisse prüfen und Aktionen durchführen. Nicht alle diese Schritte erfordern das leistungsstärkste Modell. Komplexe Inferenzaufgaben erfordern möglicherweise Spitzenmodelle, während eine große Anzahl wiederholender Ausführungsaufgaben besser für kleinere Modelle geeignet ist, die schneller und kostengünstiger sind.

Daher könnte sich der Schwerpunkt des zukünftigen KI-Wettbewerbs von „wer das stärkste Modell besitzt“ zu „wer mehrere Modelle effizienter zusammenarbeiten lassen kann“ verlagern. Das ist auch der Grund, warum NVIDIA Open-Source-Modelle und Modell-Routing-Tools vorantreibt.

Ende Juli hat Jensen Huang, CEO von NVIDIA, erstmals öffentlich seine Unterstützung für Open-Source-Modelle zum Ausdruck gebracht. Er erklärte, dass Open-Source-Modelle Unternehmen dabei helfen können, ihre eigene KI-Zukunft besser zu kontrollieren, gleichzeitig den Wettbewerb fördern und die Kosten senken.

In einem anschließenden Interview mit Axios sagte er: „Kostenlose KI sollte gut für Hardware und Chips sein.“

Für NVIDIA liegt der Kernwert von Open Source nicht darin, dass Nemotron alle kommerziellen Modelle ersetzt. Viel wichtiger ist es, mehr Unternehmen in die Lage zu versetzen, KI-Modelle zu erhalten, zu modifizieren und bereitzustellen, wodurch mehr Unternehmen in die Phase der KI-Entwicklung und -Anwendung eintreten.

Je breiter Unternehmen KI einsetzen, desto größer wird die Nachfrage nach Rechenressourcen für Training, Inferenz und Bereitstellung.

Kari Briski, Vice President of Enterprise Generative AI Software bei NVIDIA, erklärt, dass NVIDIA in Nemotron investiert, weil das Unternehmen davon überzeugt ist, dass jedes Unternehmen und jedes Land leicht zugängliche Open-Source-Spitzenmodelle benötigt, um die