Das wahre Trumpf von OpenAI ist nicht Ilya. Gerade jetzt hat Altman selten diese beiden Personen gedankt.

Im öffentlichen Bewusstsein besteht die Geschichte von OpenAI nur noch aus ein paar berühmten Namen. Doch wirklich die Wunder geschehen lassen, sind oft jene, die nicht im Rampenlicht stehen. Jakub Pachocki und Szymon Sidor – dieses aus einer polnischen High School stammende Duo – hat es dank ihrer mehrjährigen Harmonie immer wieder geschafft, das Unmögliche möglich zu machen. Von der Dota AI über GPT-4 bis hin zu den Durchbrüchen in der Inferenz sind sie in fast allen Kernbereichen von OpenAI präsent.

Gerade jetzt hat Sam Altman in einem Blog-Eintrag selten offen zwei Personen genannt und bedankt: Jakub Pachocki und Szymon Sidor.

Er schrieb: „OpenAI hat noch kein Problem gehabt, das sie nicht lösen konnten.“

Diese beiden Personen sind fast nie in der Öffentlichkeit aufgetaucht, sind aber die ungesehenen Macher hinter der Dota AI, GPT-4 und den Durchbrüchen in der Inferenz.

Sam Altmans kurze Worte deuten eigentlich darauf hin: Die Wunder von OpenAI sind nicht nur auf Unternehmensebene ein Erfolg, sondern hängen auch von der Entschlossenheit einiger Schlüsselpersonen ab.

Von Dota bis GPT-4: Wie wurde das „Unmögliche“ möglich?

Wenn man sich die Entwicklungsgeschichte von OpenAI anschaut, gibt es einige Momente, die die gesamte Branche erschüttert haben.

2019 gewann die AI gegen die Weltmeister von Dota 2. Einige Jahre später hat GPT-4 erstmals das Gefühl vermittelt, dass große Modelle tatsächlich über „Inferenzfähigkeiten“ verfügen.

Diese Errungenschaften schienen damals alle wie „unmögliche Aufgaben“.

Damals war es in der Branche allgemein anerkannt, dass es schwierig sei, Reinforcement Learning zu skalieren, und komplexe Spiele noch weiter entfernt waren.

Aber OpenAI hat sich entschieden, sich diesen Herausforderungen zu stellen. Schließlich hat OpenAI Five durch massives Selbstspiel die Grenzen von Technologie und Rechenleistung gebrochen und bewiesen, dass Reinforcement Learning in komplexen Umgebungen auf Weltklasse-Niveau gebracht werden kann.

Das 2019 von OpenAI veröffentlichte Paper über Reinforcement Learning in Dota 2. Auf der Autorenliste finden sich die Namen von Jakub Pachocki und Szymon Sidor.

Die Grundlage für diesen Sieg war das verteilte Trainingssystem namens Rapid.

Jakub Pachocki und Szymon Sidor waren die Schlüsselpersonen hinter diesem System. Sie haben die Idee des „massiven Trainings bis ins Extrem“ von der Theorie in die Praxis umgesetzt, was OpenAI Five möglich gemacht hat und auch die Grundlage für die nachfolgende GPT-Modell-Trainings gelegt hat.

Für Jakub war dies auch eine wissenschaftliche Experimente. In einem Interview mit der Time Magazine sagte er direkt:

Obwohl es nur Mathematik zu sein scheint, ist es eigentlich eher eine Naturwissenschaft. Wir versuchen, dieses Phänomen zu verstehen.

Heute können Sie mit dem Modell sprechen, aber es ist nur ein Assistent, der ständig geleitet werden muss. Ich denke, dass dies die Hauptveränderung in der Zukunft sein wird.

Diese Worte entlarven nicht nur die kalte Vorstellung von Technologie, sondern geben auch einen Einblick in seine Vision für die zukünftige KI: Die KI soll ein „ständig denkender Wissenschaftler“ werden, der Probleme selbständig bearbeiten und wissenschaftliche Entdeckungen vorantreiben kann.

Von Dota bis GPT-4 ist dieser Weg nicht durch Hype gegangen. Was ihn wirklich unterstützt hat, ist die Geduld bei der Grundstruktur und im Engineering.

Jakub und Szymon sind nicht die Hauptakteure auf der Bühne, sondern die unscheinbaren Helden, die die Wunder möglich machen.

Jakubs Aufstieg: Vom Wettbewerbsgenie zum Chefwissenschaftler

Jakub Pachockis Karriere hat fast im Takt mit der Entwicklung von OpenAI verlaufen.

Während das Unternehmen ständig die Grenzen des Möglichen herausfordert, hat er selbst auch immer wieder neue Rekorde aufgestellt und seinen Namen in die wichtigsten Meilensteine der KI-Geschichte geschrieben.

Jakub, der in Gdansk, Polen, geboren wurde, war schon als Kind ein Programmiergenie.

Während seiner High School-Zeit hat er Wettbewerbe wie die IOI, ACM-ICPC und Google Code Jam dominiert und gewann 2012 sogar den Weltmeistertitel bei Google Code Jam.

Nach Ansicht der polnischen Medien ist er „einer der klügsten Köpfe, die aus diesem Land hervorgegangen sind“.

Später studierte er an der Universität Warschau und anschließend absolvierte er seinen Doktor an der Carnegie Mellon University in den Vereinigten Staaten. Sein Forschungsgebiet war Theoretische Informatik und Algorithmenoptimierung.

Außerhalb seiner akademischen Karriere hat er auch an Institutionen wie Harvard und Berkeley geforscht.

2017 trat Jakub OpenAI bei und wurde schnell zu einem der wichtigsten Mitarbeiter.

Er hat die Algorithmenforschung und die Infrastrukturentwicklung von OpenAI Five geleitet und so die skalierbare Trainings von Reinforcement Learning realisiert. Dies hat auch die Grundlage für die nachfolgende GPT-Modell-Trainings gelegt.

Einige Jahre später übernahm er auch eine zentrale Rolle bei der Vorhersage von GPT-4 und half dem Team, Durchbrüche in der Inferenzfähigkeit zu erzielen.

Im Mai 2024 wurde Jakub nach dem Verlassen von Ilya Sutskever offiziell zum Chefwissenschaftler ernannt.

Sam Altman hat ihn als „einen der größten Köpfe dieser Generation“ bezeichnet, und die Außenwelt geht davon aus, dass er die wissenschaftliche Richtung von OpenAI in der nächsten Phase repräsentiert.

Screenshot aus einer Bericht von Benzinga News: Jakub Pachocki übernimmt die Position des Chefwissenschaftlers von OpenAI.

Jakub selbst ist bei seiner Beschreibung der Zukunft eher nüchtern.

In einem Interview mit der Time Magazine sprach er über die Bedeutung der Entwicklung von „Inferenzmodellen“:

Heute können Sie mit dem Modell sprechen, aber es ist immer noch nur ein Assistent, der geleitet werden muss.

Ich denke, dass die Hauptveränderung in der Zukunft darin liegen wird, dass die KI in der Lage sein wird, mehrere Stunden oder sogar Tage lang autonom zu arbeiten.

Von seinem Aufstieg vom jungen Genie auf dem Wettbewerbsfeld bis hin zum Chefwissenschaftler, der die weltweit führende Forschung leitet, hat Jakub keine Lücken in seiner Laufbahn.

Er ist sowohl ein Technologiegenie als auch ein Mann, der es als Normalität ansieht, die Grenzen des Möglichen zu erweitern.

Szymons diskretes Profil: Der unermüdliche Praktiker

Wenn Jakub der Navigator ist, der die Richtung vorgibt, dann ist Szymon der Ingenieur, der das Schiff stabil hält und die Reise reibungslos macht.

Wie Jakub kommt auch Szymon aus Polen. Sie waren in der High School Mitschüler und haben zusammen an Programmierwettbewerben teilgenommen. Bereits damals haben sie eine enge Beziehung und Harmonie aufgebaut.

Später hat Szymon an der Universität von Cambridge und an der Massachusetts Institute of Technology studiert. Sein Forschungsgebiet war Maschinelles Lernen und Informatik.

Nach seinem Abschluss hat er an Unternehmen wie Google und Dropbox gearbeitet und so reiche Erfahrungen in der Feineinstellung von Massensystemen gesammelt.

2016 trat Szymon OpenAI bei und wurde einer der ersten Forschungsingenieure.

Szymon bleibt immer sehr diskret, aber seine Beiträge sind überall zu spüren:

Von der verteilten Trainings von Reinforcement Learning über die Vorhersage von GPT-4 bis hin zur aktuellen Iteration des Reasoning-Modells kann man ihn immer wieder beim Feintuning sehen.

In einem Podcast wurde er gefragt, ob OpenAI die besten Feintuner der Welt hat. Szymon hat nur gelächelt und geantwortet: „Ich werde keine Namen nennen.“

Screenshot aus einem Bericht von BI: Das Interviewfragment „No names“ enthüllt den Kampf um KI-Talente.

Diese Haltung ist sowohl bescheiden als auch eine typische Ingenieur-Art, die Dinge zu tun.

Innerhalb von OpenAI ist er oft der Letzte, der das Labor verlässt.

Jakub hat auch einmal gesagt, dass viele seiner Ideen nur auf Papier geblieben wären, wenn Szymon sie nicht in die Praxis umgesetzt hätte.

In Sam Altmans Dankes-Blog-Eintrag steht endlich Szymons Name neben Jakubs.

Er hat keine aufwendigen Titel und mag es nicht, in der Öffentlichkeit zu sprechen. Aber hinter jedem „Wunder“ von OpenAI findet man seine Spuren.

Das Goldene Duo: Ein Paar in der Forschungsgeschichte

In der Geschichte der Technologie gibt es immer wieder einige Paare, die erwähnt werden: Watson und Crick, die die Doppelhelix der DNA entdeckten, und Brin und Page, die Google gründete.

Für OpenAI werden auch die Namen von Jakub Pachocki und Szymon Sidor langsam in diese Liste aufgenommen.

Die beiden waren in der High School Mitschüler und haben zusammen an Algorithmen gearbeitet. Später sind sie nacheinander in die amerikanische Wissenschaft gegangen und schließlich in OpenAI wieder zusammengekommen.

Links ist Szymon, rechts ist Jakub.

Diese mehrjährige Partnerschaft hat dazu geführt, dass sie in Forschung und Engineering perfekt aufeinander abgestimmt sind.

Jakub ist eher auf Strategie und Theorie ausgerichtet. Er ist der Kernwissenschaftler hinter der Skalierung von Reinforcement Learning, der Vorhersage von GPT-4 und der Forschung an Inferenzmodellen.

Szymon hingegen ist stärker auf die praktische Umsetzung ausgerichtet und spielt eine Schlüsselrolle bei der verteilten Trainingsinfrastruktur, der Feineinstellung und Optimierung.