Er hat persönlich o1 und o3 entwickelt, doch plötzlich verkündete er: Die Menschheit kann für immer in den Ruhestand gehen.

Hast du das schon gehört?

Die guten Zeiten für menschliche Forscher sind höchstens noch zwei Jahre vorbei.

Zwei Jahre später wird die KI-Forschung durch Menschen genauso sein wie das Schachspielen durch Menschen heute.

Du kannst natürlich noch weiter spielen, aber niemand wird sich überhaupt darum kümmern, wie gut du spielst.

Das ist die neueste provokante These von Jerry Tworek, dem ehemaligen leitenden Ingenieur für Inferenzmodelle bei OpenAI.

Er kam 2019 zu OpenAI und blieb dort sieben Jahre. Als das verstärkende Lernen damals überhaupt nicht skaliert werden konnte, war er derjenige, der es unerbittlich vorantrieb. Die beiden mächtigen Modelle o1 und o3 wurden von seinem Team persönlich entwickelt.

„Wir wollen AGI bauen.“ Das war die gesamte Roadmap, die Ilya bei der Vollversammlung im Jahr 2019 vorstellte, als er gerade zu OpenAI kam. Sieben Jahre später hat er sein eigenes Unternehmen gegründet.

Was noch beunruhigender ist: Er ist nicht der Einzige, der das sagt. Der beliebteste interne Witz unter KI-Forschern lautet derzeit so –

Wir haben nur noch wenige Arbeitstage übrig. Mach weiter, solange du noch arbeiten kannst, und wenn wir fertig sind, gehen wir alle gemeinsam in den Ruhestand.

Alle erzählen diesen schwarzen Humor immer wieder. Aber jeder, der diesen Witz erzählt, weiß es ganz genau in seinem Herzen.

Dieser Witz ist höchstwahrscheinlich die Realität.

Und das ist erst der Anfang. Während des gesamten Interviews hat er eine scharfe Aussage nach der anderen gemacht:

• Agenten sind tatsächlich kreativ, aber das ist eine extrem minderwertige, massenhaft aufgebaute Kreativität. Ihre Ideen sind vielfältig, aber im Allgemeinen auch sehr schlecht.
• Weltweit gibt es vielleicht nur 30 bis 50 Menschen, die ein Spitzenmodell vollständig von der Schulung bis zur Bereitstellung beherrschen. Alle anderen helfen ihnen nur bei der Arbeit.
• Die Annahme, dass Transformer die optimale Lösung sind, ist fast unwahrscheinlich.
• Während seiner sieben Jahre bei OpenAI hat man nur drei bis vier Mal ernsthaft versucht, die zugrunde liegende Architektur zu ersetzen.
• Die Voraussetzung, dass die Welt nur funktioniert, wenn wir arbeiten, ist von Anfang an nicht gültig.

Unten finden Sie die überarbeitete Version, viel Spaß beim Lesen.

Die Hälfte der Arbeit wird bereits nicht mehr von Menschen erledigt

Die Zahl zwei Jahre hat nichts mit Benchmarks oder Rechenleistung zu tun.

Er zählt, wie viel Arbeit in der Forschung noch von Menschen erledigt wird.

Und diese Arbeit ist längst in zwei Teile geteilt worden.

Der eine Teil besteht darin, Ideen zu entwickeln und klar zu entscheiden, wohin man gehen soll. Der andere Teil ist die Ausführung: die Ideen in lauffähigen Code umzuwandeln und die Daten zurückzuholen.

Und der Teil der Ausführung wird bereits weitgehend von Agenten übernommen.

Tworek gründete im April dieses Jahres ein Unternehmen namens Core Automation mit dem Slogan, das weltweit automatisierteste KI-Labor zu bauen.

Dort wurde der vollständige Zyklus eines Experiments direkt von einem Monat auf einen Tag reduziert. Die Effizienz hat sich um das Dreißigfache verbessert!

Aber der Teil der Ideenentwicklung kann von Agenten vorläufig noch nicht übernommen werden. Der Grund ist –

Sie gehören definitiv zu den Arten mit hoher Kreativität.

Aber sie verschwenden ihre Kreativität auf eine extrem minderwertige, massenhaft aufgebaute Weise. Ihre Ideen sind zwar vielfältig, aber im Allgemeinen auch sehr schlecht.

Weltweit gibt es nur 30 bis 50 Menschen

So gesehen scheint der Teil der Ideenentwicklung noch stabil zu sein.

Aber es gibt ohnehin nur noch wenige Menschen, die wirklich gute Ideen entwickeln können.

Während des Interviews verriet der Moderator, dass ein interner Forscher von OpenAI ihm offen gesagt hat –

Weltweit gibt es vielleicht nur 30 bis 50 Menschen, die wirklich von Anfang bis Ende verstehen, wie man ein Spitzenmodell trainiert und bereitstellt.

Alle anderen helfen diesen Dutzenden von Spitzenkräften bei der Arbeit, einschließlich der meisten festangestellten Mitarbeiter in dem berühmtesten Unternehmen der Branche.

Tworek hat das nicht bestritten.

Er ist auch der Meinung, dass jedes Spitzenteam so funktioniert: Ein paar wenige Menschen legen die Richtung fest, und hinter ihnen läuft eine ganze, brummende Ausführungsmaschine.

Um zu verstehen, wie begehrt diese Dutzenden von Menschen sind, reicht es, sich seine eigene Einstellungsliste anzusehen.

Rohan Anil, Mitbegründer von Core Automation, kommt von Anthropic und arbeitete früher bei Google DeepMind.

Anmol Gulati, der an Gemini bei DeepMind gearbeitet hat, wurde ebenfalls abgeworben. Sogar Julia Villagra, die ehemalige Personalchefin von OpenAI, ist zu ihm gegangen.

Alle Labore suchen Personal aus demselben Pool. Und dieser Pool hat nur ein paar Dutzend Talente insgesamt.

Daher hat die Zahl zwei Jahre nichts mit der gesamten Menschheit zu tun.

Sie bezieht sich darauf, wie lange diese Dutzenden von Menschen noch durchhalten können.

In sieben Jahren wurde die Architektur nur drei bis vier Mal ernsthaft geändert

Wenn es nur noch ein paar Dutzend Menschen gibt, was ist dann die letzte Barriere vor der KI-Entwicklung?

Tworeks Antwort lautet nur ein Wort: Transformer.

Seiner Meinung nach ist es fast unwahrscheinlich, dass dies die optimale Lösung ist.

Erstens kann das Modell nach der Bereitstellung nicht weiter lernen. Egal wie viel du mit ihm redest, er wird nicht stärker, und im nächsten Gespräch ist er immer noch derselbe. Das Kontextfenster reicht auch nicht aus: Er sagte, dass er nach etwa zwanzig Minuten Arbeit mit Codex die Daten einmal komprimieren muss.

Zweitens: Wenn man versucht, dies durch kontinuierliches Fine-Tuning auszugleichen, stellt man fest, dass es nicht nur extrem ineffizient ist, sondern auch zu katastrophalem Vergessen führt – man lernt Neues und vergisst das Alte.

Daher besteht der größte Teil der Arbeit, die die Branche in den letzten Jahren rund um Transformer geleistet hat, im Wesentlichen darin, es billiger zu machen. Nur wenige Menschen versuchen wirklich, es leistungsfähiger zu machen.

Und was Tworek wirklich will, liegt nicht in der Architektur selbst.

Er will Modelle, die zur Testzeit weiter lernen können, Modelle, die ständig aus Benutzerinteraktionen und Benutzerdaten wachsen können. Die Änderung der Architektur ist nur ein Mittel, um dieses Ziel zu erreichen.

Jeder in der Branche versteht diese Wahrheit. Aber nach all den Jahren steht Transformer immer noch stabil da – warum?

Der Grund dahinter ist so einfach, dass es fast lächerlich ist: Es wurde fast nie ernsthaft versucht, es zu ersetzen.

In seinen sieben Jahren bei OpenAI gab es nur drei bis vier Mal echte ernsthafte Versuche, die zugrunde liegende Architektur zu ersetzen.

Der Ablauf ist so:

Der Forscher schreibt zuerst ein kleines Validierungsexperiment, das mindestens drei Monate läuft. Erst wenn das Ergebnis vielversprechend aussieht, wagt man es, es zu skalieren.

Und das sogenannte Skalieren bedeutet, dass man mit Überzeugungskraft etwa zehn Personen überzeugen muss, die über die Ressourcen verfügen. Dann investieren diese zehn Personen drei bis sechs Monate in dein Projekt, das wie ein bodenloses Loch aussieht.

Am Ende wird dein Projekt entweder von der bereits riesigen Dynamik von Transformer zerschlagen, oder teilweise absorbiert und zu einem kleinen Teil von Transformer selbst.

Sieben Jahre, drei bis vier Versuche. Das ist die gesamte Innovationskapazität der weltweit stärksten KI-Labore im Bereich der Architektur.

„Jare, nutze diese Rechenleistung“

Er selbst ist bei OpenAI einmal auf genau dieselbe Sackgasse gestoßen. Und was ihn daraus befreit hat, war nur ein Satz.

Damals zeigten diese halb toten Experimente ein kleines „Lebenszeichen“. Es war nicht gut, aber es gab endlich einen Anhaltspunkt.

Genau in diesem Moment kam Jakub Pachocki, der später zum Chefwissenschaftler von OpenAI wurde, zu ihm.

„Jare, all diese GPUs gehören dir. Schau mal, ob du die Ergebnisse in deiner Hand noch größer und stärker machen kannst.“

„Jetzt hast du diese GPUs in deiner Hand.“ Als er diesen Satz wiederholte, hatte o1 noch keinen Namen.

Dieser Satz holte ihn aus einem Paradox heraus –

Du musst zuerst Ergebnisse vorweisen, um die Berechtigung zu bekommen, Rechenleistung zu beantragen.

Aber du brauchst zuerst diese Rechenleistung, um die Ergebnisse zu erzielen.

Tworek sagte, dass die meisten Spitzenrichtungen in diesem Paradox stecken. Die geheimen Kämpfe in den Laboren um die Rechenleistung laufen letztendlich nur darum, einen Ausweg zu finden.

Und der Ausweg ist manchmal nur ein kleines bisschen Vertrauen von der Führungsebene.

Solange jemand von oben sagt, dass er hofft, dass du eine anständige Rechenleistung bekommst, um es voll auszuprobieren, reicht das völlig aus.

Sobald das Tor geöffnet ist, kann man es nicht mehr stoppen.

Das verstärkende Lernen hat ab diesem Punkt mehrere Größenordnungen überschritten.

Dann kam o1 auf den Markt, und der Weg der Inferenzmodelle, der von vielen für tot erklärt worden war, wurde von ihm zum Erfolg geführt.

100.000 Dollar entsprechen der Leistung eines Experten

Dieses Mal muss er nicht mehr darauf warten, dass jemand ihm die Erlaubnis gibt.

Der teuerste Teil der gesamten Kette ist es, abstrakte Ideen in lauffähigen Code umzuwandeln. Und genau das ist die Aufgabe, die heutige Agenten am besten erledigen.

Beispielsweise hat Core Automation diese Methode verwendet, um den Kernel einer GPU zu optimieren.

Genauer gesagt haben sie einen QR-Zerlegungskernel an einen Programmieragenten übergeben, der vier Wochen lang gelaufen ist und etwa 100.000 Dollar an Kosten verbraucht hat. Am Ende wurde die Geschwindigkeit dieses Kernels auf das 60-fache des ursprünglichen Werts gesteigert.

Diese Aufgabe gehört zum Bereich der Low-Level-Leistungsoptimierung, bei der man Zeile für Zeile manuell an Matrixoperationen auf Grafikkarten arbeitet, um sie schneller zu machen. Normalerweise wird dies nur von sehr wenigen Experten erledigt.

Und solche Experten gibt es weltweit nur sehr wenige.

Jetzt kann man die gleiche Leistung für 100.000 Dollar erzielen. Man braucht niemanden zu überzeugen, und man braucht keine drei bis sechs Monate mehr.

Die Hürde, die sieben Jahre lang unüberwindbar schien, wurde so einfach überwunden.

Was können wir danach noch tun?

Selbst die