Sam Altman nennt ihn ausdrücklich: Er ist der wichtigste Forscher im KI-Sektor, aber fast niemand kennt ihn.

In dem neuesten Interview gab Sam Altman eine seltene Bewertung ab:

„Er ist wahrscheinlich der wichtigste, aber wenig bekannte Forscher in der Geschichte der KI.“

Diese Person ist Alec Radford, der wahre Vater von GPT.

Sie haben vielleicht noch nie von ihm gehört, aber Sie haben mit hoher Wahrscheinlichkeit Dinge verwendet, die er erfunden hat.

Bei GPT-1, GPT-2, CLIP und Whisper war er jeweils der Erstautor der entsprechenden Veröffentlichungen.

Darüber hinaus war er an einer Reihe zentraler Arbeiten wie GPT-3, DALL·E, dem Scaling Law, GPT-4 und GPT-4o beteiligt.

Es ist merkwürdig, dass eine Person, deren Lebenslauf fast jeden entscheidenden Wendepunkt der großen Modelle begleitet, keinen Doktortitel besitzt und nur selten Interviews gibt.

Als ChatGPT weltweit populär wurde, war er im Rampenlicht kaum zu sehen.

Wenn man jedoch die KI-Veröffentlichungen der letzten zehn Jahre durchgeht, stellt sich ein noch merkwürdigeres Phänomen heraus:

Immer wenn ein Modell eine bisher nicht vorhandene allgemeine Fähigkeit zu erlangen beginnt, taucht der Name von Alec Radford oft bereits im Voraus in der Autorenliste auf.

Der wahre Aufstieg von OpenAI begann mit der Einstellung von Alec

In der neuesten Folge der Sendung „Invest Like The Best“ fragte der Moderator Sam Altman:

„Wer ist der wichtigste heimliche Held, den Sie auf dem Weg dieses Unternehmens am meisten schätzen?“

Sam Altman antwortete ohne zu zögern: Alec Radford.

Die Arbeiten, die Alec geleistet hat, entwickelten sich später tatsächlich zur GPT-Serie.

Darüber hinaus inspirierte und leitete er ständig die Menschen um ihn herum, um die Forschung in Richtungen zu lenken, die sich später als äußerst wichtig erwiesen.

Auch das Magazin „Wired“ traf eine gewichtige Feststellung:

Der Aufstieg von OpenAI begann wirklich, als es den damals noch unbekannten Alec Radford einstellte.

Im Jahr 2016 trat Alec OpenAI bei. Er war erst 23 Jahre alt.

Zu dieser Zeit war er noch ein junger Kerl, der mitten in der Nacht Pizza mit Ananas und Zwiebeln aß und mit seinen Kommilitonen an Kaggle-Wettbewerben teilnahm. In seinem Wohnheim in Boston gründete er ein kleines KI-Unternehmen namens Indico.

Nachdem er die Einladung zur Teilnahme an OpenAI angenommen hatte, hielt Alec diese Arbeit nicht für besonders wichtig, sondern fand sie eher „ein bisschen wie ein Studium an der Graduiertenschule“.

Es gab keinen zu großen kurzfristigen Druck und keine Produkte, die sofort fertiggestellt werden mussten. Er konnte frei nach einem Problem suchen, auf das damals noch niemand eine Antwort wusste: Was kann ein Sprachmodell eigentlich alles?

Sein erster Versuch bestand darin, ein Sprachmodell mit 2 Milliarden Kommentaren auf Reddit zu trainieren. Die Datenmenge war nicht klein, aber das Ergebnis war kaum brauchbar.

Dieses Experiment scheiterte, genau wie viele andere frühe Erkundungen von OpenAI.

Aber OpenAI ließ ihn weitermachen. Der damalige CTO Greg Brockman erinnerte sich:

„Wir dachten damals einfach, dass Alec sehr talentiert ist, also ließen wir ihn das tun, was er wollte.“

So konnte der junge Mann seine Experimente fortsetzen. Doch bald stieß er an die Grenzen der unzureichenden Rechenleistung von OpenAI.

Da größere Experimente nicht durchgeführt werden konnten, schränkte Alec den Umfang ein. Er sammelte etwa 100 Millionen Produktbewertungen von Amazon und ließ das Modell eine einfache, fast langweilige Aufgabe erledigen: Das nächste Zeichen basierend auf dem vorherigen Text vorhersagen.

Dabei trat ein unerwartetes Phänomen auf.

Obwohl niemand dem Modell beigebracht hat, was eine positive Bewertung und was eine negative Bewertung ist, bildete sich im Inneren des Modells ein Neuron, das die positive und negative Stimmung der Bewertungen aktiv unterscheiden konnte.

Wenn man es in eine Richtung einstellte, erzeugte das Modell eher positive Bewertungen; wenn man es in die andere Richtung einstellte, fing es an, negative Kommentare zu Produkten zu schreiben.

OpenAI nannte es später „überwachungsfreies Stimmungsneuron“.

Dieses Experiment lieferte erstmals die Antwort, nach der Alec wirklich suchte:

Wenn ein Modell aufgefordert wird, Vorhersageaufgaben mit genügend großen Datenmengen zu erledigen, kann es möglicherweise selbst Fähigkeiten erlernen, die im Trainingziel nie explizit festgelegt wurden.

Ilya Sutskever ermutigte ihn auch, über die Amazon-Bewertungen hinauszugehen und das Modell Texte mit größerem Umfang und vielfältigerem Inhalt lernen zu lassen, sogar das gesamte Internet.

Das Problem war, dass die Verarbeitung so riesiger Datenmengen mit der damaligen neuronalen Netzwerkarchitektur Jahre dauern würde.

Aber bald hatte OpenAI Glück. Denn im Jahr 2017 erschien das bahnbrechende Papier von Google mit dem Titel „Attention Is All You Need“, das den Fortschritt der KI veränderte.

Ilya erkannte sofort das Potenzial der Transformer-Architektur. Seine erste Reaktion war: „Das ist genau das, worauf wir gewartet haben!“

Alec schloss die Transformer-Architektur sofort an seine vorherige Experimentierreihe an. Er nutzte den BooksCorpus-Datensatz, der mehr als 7000 noch nicht offiziell veröffentlichte englische Bücher umfasste, mit Themen von Liebesgeschichten über Abenteuer bis hin zu Fantasy.

Im Gegensatz zu Datensätzen, bei denen viele Sätze zerlegt sind, behalten Bücher lange zusammenhängende Erzählungen bei, was es dem Modell erleichtert, die langfristigen Beziehungen zwischen Kontextteilen zu erlernen.

Er verwendete den Transformer nicht wie Google für maschinelle Übersetzung, sondern ließ ihn das nächste wahrscheinlichste Wort vorhersagen.

Das Modell reagierte: Ein Wort nach dem anderen, wieder ein Wort – jedes neue Wort wurde aus den verborgenen Mustern in diesen siebentausend Büchern abgeleitet.

Für Alec war „der Fortschritt, der in diesen zwei Wochen erzielt wurde, größer als der der letzten zwei Jahre zusammen“. Diese Experimentreihe bildete schließlich die Grundlage für das Vortraining von GPT-1.

Er und seine Kollegen begannen, über eine Richtung namens „Big Transformer“ zu sprechen: Statt dem Modell mehr ausgeklügelte Regeln zu geben, vergrößere man einfach das Modell, die Datenmenge und die Rechenkapazität, um zu sehen, welche weiteren Fähigkeiten es erlernen kann.

Im Jahr 2018 erhielt diese Richtung einen offiziellen Namen:

Generative Pre-trained Transformer, kurz GPT.

Das erste GPT-Papier hatte insgesamt vier Autoren, und der erste Autor war Alec Radford.

GPT-1 erregte nicht sofort weltweites Aufsehen, aber es brachte OpenAI etwas viel Wichtigeres: Eine klare Richtung.

Nachdem Alec den Durchbruch erzielt hatte, traf das Management von OpenAI eine Reihe wichtiger Entscheidungen. Sie begannen, die Forschungsressourcen von verstreuten Projekten wie Robotik zu bündeln und sie auf die Sprachmodelle zu konzentrieren.

Anstatt komplexe neue Architekturen zu entwerfen, war das Team eher bereit, mehr Daten zu sammeln und mehr Rechenleistung einzusetzen, um die Methoden weiter zu skalieren, die bereits Potenzial gezeigt hatten.

Ein Jahr später wurde GPT-2 veröffentlicht.

Die Anzahl seiner Parameter stieg von 117 Millionen bei GPT-1 auf 1,5 Milliarden, und die Trainingsdaten wurden von mehr als 7000 Büchern auf etwa 8 Millionen Webseiten erweitert.

Das GPT-2-Papier hatte 6 Autoren, Alec stand immer noch an erster Stelle und war gemeinsamer Erstautor mit Jeffrey Wu.

Dieses Mal musste das Modell nicht mehr für jede Aufgabe neu trainiert werden. Nur durch die Vorhersage des nächsten Worts konnte es bereits Übersetzungen, Frage-Antwort-Aufgaben und Zusammenfassungen versuchen und sogar bei mehreren Null-Shot-Tests gute Ergebnisse erzielen.

Anfang 2020 fasste OpenAI diese Beziehung in dem Papier „Scaling Laws for Neural Language Models“ zusammen.

Alec war ebenfalls unter den 10 Autoren. Die Urteile, die zuvor durch wiederholte Experimente gesammelt wurden, begannen nun als vorhersehbare mathematische Regeln formuliert zu werden.

Im Mai desselben Jahres vergrößerte OpenAI das Modell weiter auf 175 Milliarden Parameter und schuf GPT-3.

Zu diesem Zeitpunkt war die Anzahl der Autoren des Papiers von 4 bei GPT-1 auf 31 gestiegen.

Der erste Autor wurde Tom Brown, Alec stand an 29. Stelle, nur vor Ilya Sutskever und Dario Amodei.

Die Änderung der Position in der Autorenliste deutete auch auf die Veränderung der Natur des GPT-Projekts hin.

Es war nicht mehr das kleine Experiment, das von Alec und wenigen anderen geleitet wurde, sondern ein großes Projekt, bei dem OpenAI Forschung, Ingenieurwesen und Rechenleistung gemeinsam einsetzte.

Die Richtung, die Alec zuerst vorangetrieben hatte, war bereits zur wichtigsten technischen Strategie des Unternehmens geworden.

Aber gerade als GPT begann, der Öffentlichkeit bekannt zu werden und große Auswirkungen zu zeigen, lenkte Alec seinen Blick bereits auf andere Bereiche.

Über die Sprache hinaus traf er auch bei Bildern und Sprache die richtigen Entscheidungen

Nach der Veröffentlichung von GPT-3 kehrte Alec zu seinem alten Fachgebiet zurück: Bildverarbeitung.

Noch bevor er OpenAI beitrat, war sein einflussreichstes Werk DCGAN.

Zusammen mit Luke Metz und Soumith Chintala führte er Faltungsnetzwerke in GAN ein und löste das Problem, dass solche Modelle nur schwer stabil trainiert werden konnten.

Sie fanden auch heraus, dass das Modell beim Erlernen der Generierung von Bildern von Schlafzimmern selbst visuelle Repräsentationen von Betten, Fenstern und der Struktur von Szenen bildet.

Die Intuition, die später immer wieder in Alecs Forschungen auftauchte, nahm zu dieser Zeit bereits Gestalt an:

Solange eine ausreichend allgemeine Trainingsaufgabe gefunden wird, kann das Modell während der Erledigung der Aufgabe selbst weitere Fähigkeiten erlernen.

Eigentlich gibt es dazu noch eine kleine Anekdote.

Im Jahr