Sam Altman Stanford-Interview 2024: Wie eine einzelne Person mit KI die Arbeit eines 100-köpfigen Teams bewältigen kann

Altman spricht über Skaleneffekte im KI-Zeitalter und die neuen Chancen, bei denen eine Person die Leistung von hundert Menschen erreichen kann

In einem Systemdesign-Kurs an der Stanford University sprach Sam Altman, CEO von OpenAI, über eine laufende Veränderung: Solange man die angemessenen Kosten für Tokens tragen kann, kann eine einzelne Person die Arbeit erledigen, die früher ein hundertköpfiges Elite-Ingenieurteam bewältigen musste. Das war früher in den Optionen von Startups völlig undenkbar, ist aber heute Realität geworden. Er sprach auch über die Magie der „Skalierung“, wie ChatGPT und Codex von Nutzern „entdeckt“ wurden, dass KI zu einem neuen Versorgungsunternehmen wie Strom wird und warum die Wette auf das Scheitern der Skalierung von LLMs derzeit die am meisten irreführende Entscheidung ist.

Im Folgenden das vollständige Transkript der Rede von Sam Altman:

1. Eine einzelne Person mit angemessenen Token-Kosten kann die Arbeit eines hundertköpfigen Teams erledigen

Heute gilt: Solange man bereit ist, angemessene Kosten für Tokens aufzuwenden, kann eine einzelne Person die Aufgaben erledigen, die früher ein sehr hervorragendes hundertköpfiges Ingenieurteam in einem Startup bewältigen konnte. Das war früher völlig unmöglich und lag überhaupt nicht im Optionenbereich von Startups; heute ist es Realität geworden.

Daher sind die Ambitionen, die man verfolgen kann, die Geschwindigkeit, die man erreichen kann, und die Anzahl der Dinge, die man gleichzeitig vorantreiben kann, völlig anders. Das ist keine graduelle Veränderung, sondern der Optionenbereich selbst hat sich verändert.

Ich weiß nicht, warum die folgende Beobachtung zutrifft, und ich habe keine Theorie, die mich zufriedenstellend erklärt, daher bin ich etwas nervös, wenn ich anderen empfehle, es genauso zu machen. Aus Erfahrung trifft sie aber tatsächlich zu: Alle interessantesten Dinge, die ich in meiner Karriere beobachtet habe, hängen mit emergenten Eigenschaften zusammen, die durch Skalierung entstehen.

Wenn etwas in kleinem Maßstab bereits auf interessante Weise funktioniert und man es auf ein nie dagewesenes Niveau bringen kann, ist das in den meisten Fällen eine gute Idee, und die meisten Menschen tun es bei weitem nicht genug. Das gilt für die Skalierungsgesetze von KI-Modellen, für die Zusammenbringung mehrerer kluger Köpfe zur Bearbeitung eines Problems, aber auch für die Größe von Unternehmen und Volkswirtschaften.

Das habe ich wirklich bei YC gelernt. Damals sagten alle, YC sei zu groß und solle verkleinert werden, es sei am besten, nur 10 Unternehmen pro Batch zu investieren. Viele sehr kluge Leute haben das gesagt. Das war verlockend, weil der Arbeitsaufwand viel geringer gewesen wäre. Aber ein großer Teil der Magie von YC stammt aus dem Netzwerkeffekt innerhalb des Batches, einer emergenten Eigenschaft, die nur bei entsprechender Größe auftritt. Vorher hat niemand in gleicher Weise in großem Umfang in Startups investiert, also hat das auch niemand entdeckt.

2. Die Schwierigkeit der Skalierung: Dinge gehen auf unvorhersehbare Weise kaputt

Die Menschen skalieren selten, und ein Grund dafür ist: Mit zunehmender Größe gehen Dinge auf immer schnellere und unvorhersehbarere Weise kaputt. Wenn man etwas wirklich groß machen will, hat es immer kleine Mängel. Und es werden immer sehr kluge Leute dir sagen: Sei nicht zu ehrgeizig, mach es nicht zu groß, versuche es lieber kleiner.

Daher ist Skalierung im Wesentlichen ein Systemdesign-Problem. Nehmen wir als Beispiel die Skalierung unserer KI-Modelle: Damals gehörten zu den zu beantwortenden Fragen: Ist das technisch überhaupt machbar? Niemand hat jemals versucht, Trainingsvorgänge auf 10.000 oder 100.000 GPUs auszuführen, das erfordert eine große Anzahl von Ingenieurtalenten; Wie löst man den Kapitalbedarf? Wo liegt das Geschäftsmodell? Wie kann man dieses Risiko tragen? Auch die Forscher würden sagen: Wenn es so viel Rechenleistung gibt, warum setzt man alles auf ein einziges Projekt? Warum verteilt man sie nicht auf mehrere Projekte?

Es ist sehr wichtig, diese Schwierigkeiten einzeln aufzuschlüsseln und nacheinander zu lösen. Das ist in fast allen Bereichen der Skalierung eine allgemein anwendbare Methode.

3. Das am schwierigsten neu zu gestaltende für Menschen: Klare Ziele, klarer Plan, klare Entscheidungswege

Beim Skalieren ist das Schwierigste, was man neu gestalten muss, oft nicht die Technik, sondern der menschliche Teil. Welche Erfahrungen hast du mit der Organisation von Menschen in groß angelegten Systemen?

Meine Antwort lautet: Klare Ziele, ein klarer Plan, eine klare Erklärung, wie man dorthin gelangt, und klare Regeln, wie unterwegs Entscheidungen getroffen werden. Das ist sehr wichtig.

Zurück zu unserem Beispiel der Entscheidung, Deep Learning zu skalieren. Viele Leute sagten, das funktioniere nicht, es werde diese Probleme geben, wir bräuchten ein stärker diversifiziertes Portfolio. Aber sobald wir sagten: „Nein, wir setzen auf skaliertes Deep Learning. Das ist unsere Richtung. Wenn wir falschliegen, werden wir scheitern, aber genau das wollen wir tun. Aus folgenden Gründen glauben wir, wie die Welt aussehen wird, wenn wir das Ziel erreichen.“ Diese Klarheit an sich ist sehr kraftvoll.

Außerdem sind Menschen evolutionär nicht dafür ausgelegt, exponentielles Wachstum zu denken. Es fällt Menschen schwer, sich vorzustellen, dass die Skalierungsgesetze weiter exponentiell wachsen, die Einnahmen exponentiell steigen und Organisationen exponentiell steigende Komplexität bewältigen können. Nach meiner Erfahrung dauert es sehr lange, die Menschen wirklich ausgehend von ersten Grundprinzipien davon zu überzeugen, warum dies passieren wird.

4. ChatGPT wurde nicht geplant, sondern von Nutzern „entdeckt“

Wir haben GPT-3 entwickelt und mussten Geld verdienen, weil wir auf Computer im Wert von einer Milliarde oder mehreren Milliarden Dollar expandieren wollten. GPT-3 war ein cooler Demo, aber wir fanden kein Produkt, das darauf aufbaut. Wir haben einige Dinge ausprobiert, aber nichts hat funktioniert. Wir wussten, dass die Modelle besser werden, wollten aber auch so schnell wie möglich einen Einnahmemotor starten. Also sagten wir: Wenn wir kein Produkt erfinden können, machen wir zuerst eine API, in der Hoffnung, dass andere ein Produkt erfinden.

Im Sommer 2020 haben wir die GPT-3 API veröffentlicht. Anfangs gab es fast gar keine Zugriffe. Ungefähr einen Monat später hat sie sich, soweit wir wissen, zufällig auf Twitter viral verbreitet. Am selben Tag haben mehrere verschiedene Entwickler coole Dinge damit erstellt und veröffentlicht, andere fingen an, es auszuprobieren.

Aber wenn du zurück zu GPT-3 oder 3.5 gehst, wirst du schockiert sein, wie schlecht die damaligen Modelle im Vergleich zu der ausgelösten Begeisterung waren. Die Leute haben alle möglichen Dinge ausprobiert, und das einzige Geschäft, das auf nennenswerte Weise funktioniert hat, war das Schreiben von Texten. Das war nicht besonders gut und nicht besonders aufregend. Wir dachten damals: Wir müssen auf bessere Modelle warten.

Aber obwohl nur das Texteschreiben funktioniert hat, haben die Entwickler bereits gelernt, einen Prompt einzugeben und dann mit dem Modell zu chatten. Wir haben gesehen, dass viele Leute die API nicht für Geschäfte nutzen konnten, sondern ihren API-Schlüssel nur zum reinen Chatten verwendeten. Wir sagten: Die Leute wollen offensichtlich einen funktionierenden Chatbot.

Damals hatten wir bereits GPT-4, aber es gab noch ein fertiges Modell dazwischen namens 3.5. Wir haben auch eine neue Nach-Trainings-Methode gefunden, die das Modell besser dazu bringt, Anweisungen zu befolgen und einfacher zu chatten. Wir sagten: Die API ist vielleicht ein Geschäft mit einer jährlichen Laufrate von 10 bis 20 Millionen Dollar, aber es gibt etwas, das die Leute sehr mögen. Nach dem YC-Prinzip – schau, was die Nutzer mögen, und mach es dann – bauen wir einen Chatbot darum herum.

Als wir es veröffentlicht haben, dachten wir immer noch nicht, dass es so erfolgreich sein würde. Es war eher wie ein Forschungs-Demo, um andere davon zu überzeugen, Chat-Produkte zu bauen und die API zu kaufen. Stattdessen hat es sich wahnsinnig viral verbreitet.

Eine weitere Sache, die ich von YC gelernt habe, ist: Wenn etwas schnell zu wachsen beginnt und es noch nicht einmal gut genug ist, hast du im Grunde ein Produkt, das garantiert durch die Decke gehen wird. Fünf Tage lang ist der Datenverkehr angestiegen und wieder gefallen, alle sagten „Das ist nur ein Hype-Zyklus“; aber am nächsten Tag war der Spitzenwert höher, dann fiel er wieder, und die Leute sprachen wieder von Hype. Am vierten oder fünften Tag wusste ich: Wir wissen, wie es sich entwickeln wird, wir haben ein potenzielles Killerprodukt in der Hand.

Am fünften Tag haben wir alle zusammengerufen und gesagt: Das ist ein Notstand, aber ein guter Notstand. Wir müssen gleichzeitig ein Unternehmen und ein Produkt aufbauen. Dann folgten zwei Monate wilder Expansion. Über das Geschäftsmodell können wir später nachdenken, wir fangen an, Gebühren zu erheben, zumindest damit uns die Computerkosten nicht verbrennen. Das war offensichtlich keine langfristige Lösung, aber damals ging es erst einmal darum, es am Laufen zu halten.

5. Codex war eigentlich der Hauptplan: Programmieren ist die Art, wie Modelle die Welt kontrollieren

Vor ChatGPT war unser Plan tatsächlich, uns voll und ganz auf Code zu konzentrieren. Wir wussten, dass diese Modelle Code schreiben können, und wussten, dass das ein wertvoller Bereich sein wird. Aber unsere interne Überzeugung war damals: Programmieren ist die Art, wie Modelle Computer kontrollieren, Roboter sind die Art, wie Modelle die physische Welt kontrollieren. Wenn du ein ausreichend intelligentes Modell baust und ihm die Möglichkeit gibst, Code zu schreiben, Roboter zu steuern und deren Aktoren zu bedienen, kannst du die Intelligenz dazu bringen, Dinge in der realen Welt für dich zu erledigen.

Wir haben eine Weile gebraucht, um dorthin zu gelangen. Codex war schon Anfang dieses Jahres sehr gut geworden, aber Version 5.5 war der eigentliche Wendepunkt, die Leute fingen an, damit unglaubliche Dinge zu machen.

Die aktuelle Fähigkeitspipeline lautet grob: Vortraining, Mitteltraining, Nachtraining, dann RL und überwachte Feedbackschleifen. Ich denke, das ist tatsächlich die aktuelle Pipeline, aber ich erwarte, dass wir eine große Neufassung durchlaufen werden. Ich weiß nicht, wann oder genau wie das passieren wird, aber die Tatsache, dass es als eine „Pipeline“ existiert, ist an sich etwas seltsam, es fühlt sich nicht nach der optimalen Lösung an.

Was ist die optimale Lösung? Ich denke, das ist genau das Problem, das KI erforschen und lösen soll. Wir haben uns das Ziel gesetzt: Bis September dieses Jahres die Rechenleistung zu nutzen, die 500.000 A100-GPUs entspricht, als KI-Forschungs-Praktikant; bis März 2028 einen vollständigen, durchgängigen, sehr talentierten KI-Forscher zu besitzen, der völlig neue Architekturen selbst entdecken kann.

Daher werden wir mit der aktuellen Pipeline und Architektur wahrscheinlich die Grenze überschreiten: KI kann unglaubliche Arbeit leisten.

6. KI wird zu einem neuen Versorgungsunternehmen: Der Verkauf von „Intelligenz“ findet kaum Resonanz

Ich denke, wir schaffen eine neue Art von Versorgungsunternehmen. Das kommt nicht oft vor. Strom ist ein Versorgungsunternehmen, das Internet ist ein Versorgungsunternehmen, Wasser auch, es gibt nicht viele solche Dinge. Daher haben wir nicht viele fertige Metaphern oder Erfahrungen, die uns lehren, wie wir es der Welt erklären können.

Ich habe kürzlich untersucht, was passiert ist, als Strom zu einem Versorgungsunternehmen wurde. Die frühen Stromunternehmen haben keinen „Strom“ verkauft, weil niemand wusste, was Strom ist und warum er ihn wollen sollte. Strom klang beängstigend: Er kommt in dein Haus, kann dich töten, fühlt sich völlig anders an als die Welt davor. Vielleicht haben sie versucht, Strom zu verkaufen und zu vermarkten, aber es hat nicht funktioniert.

Später haben sie angefangen, etwas anderes zu verkaufen: Licht in der Nacht. Was du von uns bekommst, ist kein Strom, sondern Licht in der Nacht. Übrigens kann dasselbe Ding noch viele andere Dinge tun. Aber die Leute fragen: Warum sollte ich das wollen? Sie haben gesagt: Eines Tages wird es dir auch beim Waschen der Kleidung helfen. Die Leute sagten: Nein, das ist zu weit weg, das kann ich nicht akzeptieren.

Ich weiß nicht, was das entsprechende „Licht in der Nacht“ für KI ist. Aber selbst wenn wir völlig recht haben und Intelligenz zu einem neuen Versorgungsunternehmen wird, das jedes Unternehmen, jeder Kunde und jede Regierung anschließen muss, du eine Art OpenAI-Token-Abonnement hast, das an alles angeschlossen ist, ständig für dich läuft und alle möglichen erstaunlichen Dinge tut – zumindest im Moment halte ich die Analogie „Wir verkaufen Intelligenz“ für nicht den richtigen Weg, weil die Leute keine Resonanz darauf haben.

Wenn wir das neue Versorgungsunternehmen werden wollen, müssen wir einen Weg finden, der Welt zu erklären: Was bedeutet es eigentlich, eine solche intelligente Pipeline zu haben, mit der du alles machen kannst, was du willst.

Als Verbraucher, Unternehmen oder Einzelperson wirst du letztendlich auf einer Ebene denken, die näher an Tokens liegt oder sogar eine Ebene höher als Tokens ist. Du wirst dich nicht besonders darum kümmern, wo die Hardware steht, welche Chips es genau sind oder was die Stromversorgung übernimmt, all das wird abstrahiert. Was dich interessiert ist: Kann ich es in großem Umfang nutzen, wenn ich mit dem System interagiere? Ist es billig? Funktioniert es gut?

Im Moment ist es wie Tokens