Warum werden Grafikkarten immer teurer? Der Vice President von NVIDIA: Hört auf zu streiten, Moores Gesetz ist schon längst vollständig tot.

Um 2005 herum war KI in der Wissenschaft noch ein unbeliebtes, obskures Wort. Um die kalten Schultern von Kollegen zu vermeiden, mussten Forschende ihre Arbeit als „maschinelles Lernen“ verpacken – ein Begriff, der objektiver klang. 2008 ging der frisch graduierte Bryan Catanzaro mit einer Arbeit über Deep Learning auf GPUs zur ICML, einer der weltweit führenden akademischen Konferenzen. Die Wissenschaftler im Publikum fragten ihn mit kühler Miene: „Wir diskutieren hier nur anspruchsvolle Mathematik – was willst du mit einer Grafikkarte, die eigentlich für Spiele ist, hier?“

Das war ein kaltes Zeitalter für die „Künstliche Intelligenz“ – nur wenige glaubten, dass die klobigen, wärmenden Grafikkarten irgendeine Verbindung zum menschlichen Gehirn haben könnten.

Um Gleichgesinnte zu finden, verließ Bryan 2014 seinen Arbeitsplatz und trat dem gerade neu gegründeten KI-Labor von Baidu im Silicon Valley bei. Dort traf er Andrew Ng und den jungen Dario Amodei, der damals noch Bioinformatik forschte und später Anthropic gründete. Was Bryan an dieser Erfahrung am meisten beeindruckte, waren die extrem klugen und fleißigen chinesischen Kollegen: Sie veröffentlichten ihre entwickelten Technologien nicht nur mit einer äußerst offenen Einstellung uneingeschränkt als Open Source, sondern trieben die Implementierung von Algorithmen mit einer fast instinktiven Intuition voran.

Diese zweieinhalbjährige Erfahrung bei Baidu prägte Bryans Respekt vor grundlegenden Technologien und Open-Source-Zusammenarbeit nachhaltig. Als er heute, viele Jahre später, die westliche Mainstream-Meinung hörte, die chinesische KI verspottet, sie würde nur „verpacken und von geschlossenen Modellen durch Distillation kopieren“, widersprach er direkt: „Das ist reine Voreingenommenheit – China ist auf dem Gebiet der Offenheit der Open-Source-Zusammenarbeit längst weltweit führend.“

Heute ist Bryan zurück bei NVIDIA und arbeitet als Vizepräsident für angewandte Deep-Learning-Forschung. In diesem neuen Podcast, der mit Matt Turck aufgenommen wurde, sprach der Branchenveteran aus den Anfangszeiten über die hohen Rechenkosten von großen Modellen, das technologische Überleben nach dem Ende des Mooreschen Gesetzes und warum er überzeugt ist: „Ein Motor ohne Räder kommt nirgendwo hin“:

Die ständige Verspottung chinesischer KI als nur „Hülle und Plagiat“ ist eine arrogante Voreingenommenheit. Im Verständnis und der Praxis der „Open-Source-Zusammenarbeit“ ist China tatsächlich bereits an der Spitze der Welt.

Erwarte keine baldige Preissenkung von Grafikkarten – das Mooresche Gesetz ist aus wirtschaftlicher Sicht längst tot. Heute werden Transistoren immer kleiner, aber ihre Herstellungskosten steigen exponentiell an. Die Zeit, in der man einfach durch Verkleinerung von Chipdesigns Gewinne erzielte, ist vorbei. Heute müssen Beschleunigungen durch „extreme gemeinsame Gestaltung“ von Algorithmen, Software bis hin zur Chipfertigung hart erarbeitet werden.

Die ständige Hype um die technologische Singularität ist eine falsche und einseitige Sichtweise. Intelligenz ist hochdimensional und kontextabhängig – die Intelligenzdimensionen, die ein erfolgreicher Unternehmens-CEO braucht, unterscheiden sich völlig von denen eines Olympiateilnehmers in Mathematik.

Modellvorausbildung im 4-Bit-Format führt sehr leicht dazu, dass das Modell auseinanderläuft (divergiert). Bei der tatsächlichen Ausbildung kann es bei einem kleinen Fehler passieren, dass das Modell nicht konvergiert und komplett aus dem Ruder läuft – wodurch eine Rechenrechnung von mehreren Millionen Dollar komplett verloren geht.

Open Source ist sicherer als Closed Source – Sonnenschein und Vielfalt sind die besten Desinfektionsmittel. In Sicherheitsfragen ist es extrem gefährlich, wenn wenige Großkonzerne das Monopol haben und oben eine Mauer bauen, um zu definieren, „welche Gedanken sicher sind und welche nicht“. Die Unterstützung der Vielfalt von Gedanken und die gemeinsame Beteiligung der gesamten Gesellschaft an der Bewertung und Selbstkorrektur von Technologien ist ein Sicherheitsweg, der sich in der Praxis der menschlichen Gesellschaft über Jahrhunderte bewährt hat.

Moderator: Brian, ich freue mich sehr auf dieses Gespräch. Dieses Jahr scheint das Jahr des Open Source zu sein. Gerade habt ihr NVIDIA das Nemotron 3 Ultra veröffentlicht – das ist ein wichtiger Meilenstein und das derzeit beste Open-Source-Gewichtsmodell in den USA, veröffentlicht vor wenigen Tagen.

Und ganz kürzlich wurde auch GLM 5.2 veröffentlicht – auch das ist ein wichtiger Meilenstein. Es sieht so aus, als würde der Rhythmus im Bereich der offenen Künstlichen Intelligenz schneller werden. Das scheint ein guter Einstieg zu sein. Wie bewertest du die Phase, in der wir uns derzeit befinden, und wie groß ist derzeit die Lücke zwischen Closed-Source- und Open-Source-Modellen?

Brian Catanzaro: Es ist wirklich ermutigend, dass so viel Arbeit in offene KI-Technologien fließt, denn wir wissen, dass offene Technologien es den Menschen ermöglichen, wirklich zu innovieren. Das Internet ist ein hervorragendes Beispiel dafür.

Es gab ja auch schon ein geschlossenes Internet. Erinnerst du dich noch an Dienste wie America Online oder Prodigy? Beide waren gut. Aber das offene Internet ist ebenso großartig, weil so viele verschiedene Unternehmen diese offene Technologie nutzen können, um ihre Geschäftsmodelle völlig zu verändern.

Die Art und Weise, wie das Internet im Einzelhandel eingesetzt wird, unterscheidet sich völlig von seiner Anwendung im Gesundheitswesen oder in der Fertigung. Aber alle diese Branchen wurden durch das Internet völlig verändert.

Ich bin überzeugt, dass Künstliche Intelligenz ebenfalls eine transformative Technologie ist, die auf sehr vielfältige Weise angewendet werden muss. Deshalb halte ich offene KI-Technologien für grundlegend. Es ist wirklich ermutigend, dass weiterhin Einrichtungen aus der ganzen Welt in offene KI-Technologien investieren und sie weiterentwickeln. Ich hoffe, dass dieser Trend anhält.

Moderator: Wie viel liegt Open Source derzeit hinter Closed Source zurück? In den letzten Jahren ist der Trend, dass sich die Lücke ständig verkleinert. Glaubst du, dass Open Source kurz vor dem Anschluss ist, oder heben Closed-Source-Modelle ständig die Messlatte höher?

Brian Catanzaro: Ich finde, diese Frage ist vielleicht etwas verlockend, weil es interessant ist, es als Wettbewerb darzustellen. Aber ich denke eigentlich, dass die gesamte KI-Community rasant voranschreitet.

Wenn du die Fortschritte der KI betrachtest – egal ob bei offenen oder geschlossenen Modellen – allein in den letzten drei Monaten sind die Fortschritte atemberaubend. Wenn du also in einem Bereich arbeitest, der so schnell wächst, ist das wichtiger als die Lücke zwischen einzelnen Modellen. Denn die wichtigste Frage ist: Wie entwickelt sich KI als Gebiet weiter?

Moderator: Was ist deiner Meinung nach der Antrieb, dass offene KI ständig voranschreitet? Ist es die Community? Stehen große Unternehmen wie NVIDIA dahinter? Oder ist es der globale Wettbewerb mit China? Was treibt die Entwicklung von offener KI voran?

Brian Catanzaro: Ich denke, es gibt viele Faktoren, die die Entwicklung von offener KI vorantreiben. Erstens ist es die Nachfrage selbst. Es gibt eine große Anzahl von Einrichtungen, die KI anpassen und tief in ihre Arbeitsabläufe integrieren wollen – und diese Integration erfordert tatsächlich offene KI-Technologien. Die Nachfrage ist also definitiv vorhanden.

Ich denke auch, dass dies per se die beste Art ist, Technologie zu entwickeln. Seit Jahrzehnten sehen wir, dass Technologien, die in einem offenen Umfeld entwickelt werden, schneller wachsen, weil wir voneinander lernen können.

In einer Zeit, in der die Entwicklung und Umsetzung von KI das aufregendste technologische Ereignis ist, das wir in unserem Leben gesehen haben – was sollten Informatiker*innen sonst mehr tun, als KI stärker zu machen? Wenn die Zusammenarbeit als Gemeinschaft der beste Weg ist, das zu erreichen, treibt das die gesamte Gemeinschaft automatisch zur offenen Technologieentwicklung an.

Moderator: Ich möchte eine vielleicht etwas kritische Frage stellen: Zumindest ein Teil der Community bezweifelt, dass das Open-Source-Ökosystem (nicht NVIDIA, sondern generell) nur deshalb so schnell voranschreitet, weil es Modelle von geschlossenen Systemen destillieren kann. Heute lehnen Einrichtungen wie Anthropic und Fable Five diese Destillation ab. Glaubst du, dass der Fortschritt von offener KI dadurch langsamer werden oder beeinträchtigt werden könnte?

Brian Catanzaro: Aus meiner Sicht steht außer Frage: Wenn die gesamte Technologiegemeinschaft enorme Investitionen in die transformative Technologie unserer Zeit tätigt, wird der Fortschritt enorm sein. Und diese Technik wird nie von wenigen Menschen kontrolliert werden, weil diese Branche einfach nicht so funktioniert.

Wir machen unsere beste Arbeit und erzielen die größte Wirkung meist dann, wenn wir unabhängig denken und die Technologie auf unsere eigene Art anwenden können.

Also ich mag die geschlossenen APIs von Anthropic oder anderen Einrichtungen sehr. Ich halte sie für hervorragend und bewundere die Arbeit dieser Labore zutiefst. Aber sie sind nicht die einzigen Labore auf der Welt. Es gibt viele weitere Labore auf der ganzen Welt und viele Menschen mit tollen Ideen. Es ist nicht so, dass nur wenige Labore alle guten Ideen monopolisieren – das stimmt einfach nicht. Die Menschheit funktioniert nie so. Es gibt viele kluge Menschen auf diesem Planeten.

Außerdem liegt der Community diese Technologie natürlich sehr am Herzen – sie ist ja so transformativ und hat so tiefe Auswirkungen auf alle Bereiche, dass natürlich viele Menschen teilhaben wollen. Deshalb glaube ich, dass wir mit der Zeit sehen werden, dass die gemeinschaftsorientierte Entwicklung und Implementierung von KI weiter wachsen und sich durchsetzen wird – weil das einfach die Art ist, wie die Menschheit als Spezies seit jeher Dinge baut.

Chinesische Kollegen sind auf dem Gebiet der Open-Source-Zusammenarbeit seit langem an der Spitze

Moderator: Gilt diese Logik deiner Meinung nach auch weltweit? Insbesondere in Bezug auf China gibt es die Meinung: Ja, es gibt viele kluge Menschen mit guten Ideen auf der ganzen Welt, aber viele Fortschritte chinesischer Modelle stammen direkt von geschlossenen Modellen, sogar durch Destillation. Ist das nur ein Thema, das Medien für Aufmerksamkeit erzeugen, oder bist du als führender KI-Forscher auch von originellen Ideen aus China beeindruckt?

Brian Catanzaro: Es ist vielleicht etwas ungewöhnlich, aber ich habe tatsächlich etwa zweieinhalb Jahre für ein chinesisches Unternehmen gearbeitet. Ich habe bei Baidu gearbeitet, im KI-Labor im Silicon Valley, zusammen mit Andrew Ng und Dario Amodei. Wir haben alle für ein chinesisches Unternehmen gearbeitet und ich habe selbst gesehen, wie klug, fleißig, kreativ und innovativ die Kollegen aus anderen Baidu-Teams sind – diese Erfahrung hat mich mein Leben lang begleitet. Die Behauptung, alle Erfolge anderer Länder seien nur „Kopien“, ist völlig falsch.

Lernen wir voneinander? Natürlich, natürlich lernen wir voneinander. Aber ich muss sagen: Die chinesische KI-Community hat ihre Ergebnisse immer offen gehalten, was eigentlich eine sehr gute Sache für die ganze Welt ist. Das hat es vielen Unternehmen ermöglicht, Dinge zu bauen, die sie ohne diese Gemeinschaft nie hätten fertigstellen können, und ich glaube, dass es den technischen Fortschritt im gesamten KI-Ökosystem vorantreibt. Deshalb bin ich den Beiträgen unserer chinesischen Kollegen über die Jahre sehr dankbar. Und ich möchte diese Gelegenheit nutzen, um andere KI-Labore außerhalb Chinas zu ermutigen, diesen offenen Geist ebenfalls zu leben.

Ich war damals sehr begeistert, als OpenAI das GPT-OSS-Modell veröffentlicht hat, und natürlich hat Google tolle Arbeit mit Gemma geleistet – es ist wirklich ermutigend, das zu sehen. Und wir bei NVIDIA treiben Nemotron voran.

Deshalb denke ich, dass der Rest der Welt die Chance hat, zu China aufzuschließen – vorausgesetzt, wir verstehen den Vorteil, gemeinsam als Gemeinschaft KI-Technologie zu bauen – ehrlich gesagt ist China in diesem Bereich seit langem an der Spitze.

Moderator: Okay. Welche Gründe haben Kunden heute, Open-Source-Modelle zu nutzen? Worin liegen eure grundlegenden Vorteile?

Brian Catanzaro: Jedes Unternehmen baut auf einem „Geheimnis“ auf. Dieses Geheimnis betrifft nicht nur geistiges Eigentum, sondern die gesamte Plattform des Unternehmens – wie es mit Problemen und Kunden umgeht, wie es über die Lösungen denkt, die die Kunden brauchen. Künstliche Intelligenz ist extrem datenabhängig. Je wertvoller die eingegebenen Daten sind, desto wertvoller ist die endgültige Lösung.

Heute muss jedes Unternehmen, wenn es darüber nachdenkt, wie es KI einsetzt, auch darüber nachdenken, was das für die Geschäftsgeheimnisse des Unternehmens bedeutet. In vielen Fällen müssen einige Daten aufgrund von Geschäftsgeheimnissen, Geschäftsmodellen oder sogar gesetzlichen Vorschriften extrem sorgfältig behandelt werden. In solchen Fällen ist es viel besser, wenn du es selbst klären und umsetzen kannst, als es anderen zu überlassen.

Wenn du darüber nachdenkst, wie KI integriert wird, wie sie mit Kunden interagiert, welche Schutzmaßnahmen es braucht – jedes Unternehmen hat ein spezifisches Verständnis für seine Kunden und was diese wirklich brauchen. Das Tolle an offener KI ist, dass diese Individualisierung möglich ist.

Unternehmen können es selbst klären und etwas bauen, das wirklich für sie sinnvoll ist. Ich habe gleich zu Beginn dieses Gesprächs das Internet erwähnt, dass die Einsatzweise des Internet in verschiedenen Branchen so unterschiedlich ist. Heute, da KI die Arbeits- und Lebensweise der Menschen in der gesamten Wirtschaft verändert, ist der Bedarf an dieser Individualisierung ebenso groß. Das stimuliert die Nachfrage nach offenen KI-Technologien enorm.

Moderator: Gut. Bevor wir tiefer auf Nemotron eingehen, möchte ich ein paar Minuten über deinen Werdegang und deinen Hintergrund sprechen. Wie bist du da hingekommen, wo du heute bist, auch mit der Erfahrung bei Baidu?

Brian Catanzaro: Ich bin 2008 zu NVIDIA gekommen. Damals war ich noch Doktorand und habe versucht, parallele Berechnungen für KI zu entwickeln. Ich war schon