OpenAI hat den "Gott der CUDA-Kerne" verloren

Heute verbreitet sich ein vor zwei Tagen veröffentlichter Tweet viral, dessen Inhalt nur aus fünf Wörtern besteht: Scott Gray hat OpenAI verlassen.

Der berühmte Ingenieur, der den Titel „Gott der CUDA-Kerne, der weltweit stärkste GPU-Programmierer“ trägt, ist ein weiteres Schwergewichtstalent, das OpenAI in diesem Jahr verloren hat. Obwohl er selbst keinen Tweet zur Bestätigung veröffentlicht hat und seine LinkedIn-Seite noch nicht aktualisiert wurde, hat er seine persönliche Beschreibung auf 𝕏 und Bluesky von „GPU Geek at @OpenAI“ in „Ehemaliger GPU-Enthusiast bei @OpenAI“ geändert und zusätzlich den Satz hinzugefügt: „Derzeit bin ich unabhängig und erforsche einige neurowissenschaftlich inspirierte KI-Methoden“.

Ein Ingenieur, der zehn Jahre bei OpenAI gearbeitet hat, hat seinen Abschied mit einer einzigen Zeile in seiner Profilbeschreibung bekanntgegeben.

Es ist ein merkwürdiger Zufall: Genau vor zehn Jahren, am 16. August, veröffentlichte OpenAI einen Blogbeitrag mit dem Titel „Team update“, in dem die fünf neu eingetretenen Vollzeitmitarbeiter des Monats vorgestellt wurden. Auf der Liste standen Dario Amodei, Filip Wolski, Jack Clark, Scott Gray und Zain Shah.

https://openai.com/index/team-update-august/

Zehn Jahre später ist Dario heute CEO von Anthropic, Jack Clark ist für Politik bei Anthropic zuständig, und Scott Gray hat OpenAI als „ehemalig“ markiert.

Bisher hat OpenAI keine Erklärung zum Abgang von Scott Gray abgegeben, und Gray selbst hat keine ausführliche Erklärung veröffentlicht. Alle derzeit verfügbaren Berichte beziehen sich auf die Änderung seiner Profilbeschreibung in sozialen Medien und einen anschließenden Leak-Beitrag, der sich auf X verbreitet hat. Es gibt keine öffentlichen Informationen über das genaue Austrittsdatum, seine zukünftige Tätigkeit oder ob er bereits ein neues Unternehmen gegründet hat.

Erwähnenswert ist ein weiteres Detail auf seinem Konto: Der letzte originale Tweet von Gray auf 𝕏 stammt vom 20. November 2023, der nur einen Satz enthält: „OpenAI ist nichts ohne seine Mitarbeiter“. Das war der dritte Tag, nachdem Sam Altman vom Vorstand entlassen wurde, und mehr als 700 Mitarbeiter haben eine gemeinsame Erklärung unterzeichnet, um den Rücktritt des Vorstands zu fordern. Dieser Satz wurde damals im gesamten Unternehmen wiederholt kopiert und eingefügt, was als eine kollektive Loyalitätsbekundung gilt. Danach hat er zwar einige Tweets beantwortet (die Antworten wurden aber nach Februar 2025 eingestellt), aber keine neuen originalen Tweets mehr veröffentlicht.

Scott Gray Profil

Wir haben bereits einen Artikel veröffentlicht, der Scott Gray ausführlich vorstellt, mit dem Titel „Gott der CUDA-Kerne, der weltweit stärkste GPU-Programmierer? Wer ist dieser verborgene Meister hinter OpenAI“. Hier fassen wir die wichtigsten Punkte noch einmal kurz zusammen.

Sein Ruhm stammt aus der Zeit bei Nervana Systems. Damals stützten sich die meisten Entwickler auf die offiziellen Bibliotheken von NVIDIA wie CUDA C/C++, cuBLAS und cuDNN. Mehrere Schichten von Softwareabstraktionen verdeckten die Hardwaredetails und bildeten gleichzeitig eine Leistungsgrenze. Gray kam zu dem Schluss, dass diese Abstraktionsschichten umgangen werden müssen, also entwickelte er maxas, einen Assembler für die Maxwell-Architektur, mit dem Entwickler direkt SASS-Maschinencode schreiben, Register manuell zuweisen, Speicherlatenz verwalten und die Befehlspipeline steuern können.

Um zu beweisen, dass dieser Weg funktioniert, hat er mit maxas einen SGEMM-Kern von Hand geschrieben. Auf dem GM204-GPU erreichte dieser Kern 98 % des theoretischen Spitzenwerts der Hardware und war 4,8 % schneller als die offizielle, quelloffene, ebenfalls von Experten handgeschriebene cuBLAS von NVIDIA. Das anschließende maxDNN übertrug dieselbe Methodik auf Faltungsoperationen: Auf allen Faltungsschichten von AlexNet erreichte es stabil eine Recheneffizienz von 93 % bis 95 %, während die Effizienz von cuDNN zur selben Zeit stark zwischen 32 % und 57 % schwankte.

Das ist die methodische Grundlage für alle seine späteren Arbeiten: Er akzeptiert keine vorgegebene Leistungsgrenze durch Abstraktionsschichten.

In dem OpenAI-Team-Update vom August 2016 gab es nur zwei technische Bewertungen für ihn: Er habe sich zuvor bei Nervana auf die Optimierung der Leistung tiefer neuronaler Netze auf GPUs konzentriert, und seine Assembler-Optimierungen für dichte lineare Algebra und Faltungen seien „bis heute die schnellsten“. Im selben Absatz wurde auch erwähnt, dass er, wenn er nicht programmiert, normalerweise die neuesten Forschungsergebnisse in der Neurowissenschaft und verwandten Bereichen liest.

Es scheint, dass seine neue Richtung „neurowissenschaftlich inspirierte KI-Methoden“ zehn Jahre später eigentlich zu seinem unveränderten langjährigen Interesse zurückkehrt.

Nach seinem Eintritt bei OpenAI wechselte seine Rolle vom „Optimierer“ zum „Ermöglicher“. Im Jahr 2017 veröffentlichte er zusammen mit Alec Radford und Durk Kingma die block-spärlichen GPU-Kerne. Im Gegensatz zu unstrukturierter Spärlichkeit, bei der einzelne Gewichte entfernt werden, teilt die Block-Spärlichkeit die Gewichtsmatrix in Blöcke fester Größe auf und setzt ganze Blöcke auf Null. Spezielle Kerne überspringen die Null-Blöcke vollständig bei der Berechnung, sodass sie um mehrere Größenordnungen schneller sein können als cuBLAS für dichte Matrizen oder cuSPARSE für allgemeine spärliche Matrizen. Diese Kerne wurden damals quelloffen und haben direkt eine Reihe nachfolgender Arbeiten zu spärlicher Aufmerksamkeit hervorgebracht.

Schematische Darstellung der OpenAI-Block-Spärkerne, https://cdn.openai.com/blocksparse/blocksparsepaper.pdf

Entlang dieser Linie waren die Autoren des Werks „Generating Long Sequences with Sparse Transformers“ aus dem Jahr 2019 Rewon Child, Scott Gray, Alec Radford und Ilya Sutskever – sie haben die Zeit- und Speicherkosten der Aufmerksamkeit von O(n²) auf O(n√n) gesenkt, und das Papier listet explizit den „schnellen Aufmerksamkeitstrainingskern“ als einen der drei Hauptbeiträge auf.

Später tauchte sein Name in der Autorenliste von GPT-3, dem Papier „Scaling Laws for Neural Language Models“, der Autorenliste von DALL·E und dem technischen Bericht von OpenAI Five auf.

In dieser Zeit erhielt er auch den Titel „Gott der CUDA-Kerne“. Das war im September 2025, als der ehemalige OpenAI-Mitarbeiter Rohan Pandey auf 𝕏 postete, dass im Unternehmen wahrscheinlich nur eine Person für die CUDA-Kerne auf der Inferenzseite zuständig sei. Die Kollegen nannten seinen Aufmerksamkeitskern „the Bob kernel“, der täglich Billionen Mal auf Hunderttausenden von GPUs ausgeführt wird. Nachdem der Post viral wurde, wurde in den Kommentaren allgemein vermutet, dass „Bob“ Scott Gray ist.

Der zugehörige Post erwähnte auch: Auf der Welt gibt es wahrscheinlich weniger als hundert Menschen, die Hochleistungs-CUDA-Kerne für den Trainingsprozess (insbesondere für die Rückwärtsausbreitung) schreiben können. Denn diese Fähigkeit erfordert gleichzeitig Kenntnisse in paralleler Berechnungstheorie, GPU-Hardwarearchitektur und Deep-Learning-Algorithmen, während die meisten Praktiker nur auf der Anwendungsebene oder der Ebene der Inferenzoptimierung tätig sind.

Und jetzt hat Scott Gray OpenAI verlassen.

Im Jahr 2026 hat OpenAI bereits viele Mitarbeiter verloren

OpenAI hat in diesem Jahr viele Talente verloren. Nach einer Zusammenstellung des 𝕏-Bloggers Chubby haben 12 hochrangige Führungskräfte OpenAI in diesem Jahr verlassen, die die Bereiche Betrieb, Geschäft, Produkt, Forschung, Sicherheit, Ethik und Hardware abdecken.

Vor einigen Tagen kündigte Brad Lightcap, der acht Jahre bei OpenAI gearbeitet hat und früher CFO und COO war, auf 𝕏 seinen Abgang an und sagte, er wolle „etwas Neues beginnen“; zwei Tage später gab Denise Dresser, die erst im Dezember letzten Jahres zur Chief Revenue Officer ernannt wurde, ihren Abgang bekannt, und wurde von Dali Rajic, dem ehemaligen Präsidenten und COO von Wiz, abgelöst.

In den Bereichen Geschäft und Produkt nahm Fidji Simo, CEO des Anwendungsgeschäfts, im April aus gesundheitlichen Gründen Urlaub und trat im Juli von seiner Vollzeitstelle zurück, um zu einem Teilzeitberater zu werden; die ehemalige CMO Kate Rouch trat im April aus Behandlungsgründen zurück; der CTO des Unternehmensgeschäfts Srinivas Narayanan kündigte im selben Monat seinen Abgang an. Auf der Forschungs- und Produktseite kündigten Kevin Weil, der für OpenAI for Science verantwortlich war, und Bill Peebles, der Leiter von Sora, am selben Tag im April ihren Abgang an. Weil arbeitet derzeit an einem KI-Wissenschafts-Startup; Barret Zoph kehrte im Januar dieses Jahres von Thinking Machines Lab zu OpenAI zurück, um den Vertrieb von Unternehmens-KI zu leiten, und verließ das Unternehmen im Juni erneut, ohne dass das Unternehmen Gründe dafür angab.

Drei Mitarbeiter in den Bereichen Sicherheit und Ethik verließen das Unternehmen alle im Juli: Johannes Heidecke, Leiter der Sicherheitssysteme, verließ das Unternehmen im Zuge der Umstrukturierung des Sicherheitsteams, und seine Zuständigkeit wurde in die Forschungsabteilung unter der Leitung von Mia Glaese integriert; der Chef-Futurologe Joshua Achiam verließ das Unternehmen nach fast neun