Sam Altman: Es ist eine enorme Verschwendung, viel Arbeitsspeicher auf PCs auszustatten, und diese Ressourcen sollten besser für KI-Datenzentren reserviert werden.

„Aus der Perspektive der globalen Ressourcenallokation ist es eine ziemlich schreckliche Regelung, dass jeder knappe DRAM in seinem eigenen Computer hortet, der die meiste Zeit ungenutzt bleibt. Der Arbeitsspeicher sollte in Cloud-Rechenzentren konzentriert werden.“

So viel dazu.

Am vergangenen Donnerstag gab Sam Altman, CEO von OpenAI, ein Interview auf dem YouTube-Kanal Cheeky Pint, bei dem er die ganze Zeit Bier trank und in entspannter Atmosphäre über die lokale Inferenz von großen KI-Modellen und das daraus resultierende Problem des unzureichenden Arbeitsspeichers von Heimcomputern sprach – dabei ließ er eine bemerkenswerte Äußerung fallen.

Wir wissen, dass der durch den aktuellen globalen KI-Boom ausgelöste Preisanstieg für Arbeitsspeicher die Preise von PCs und Mobiltelefonen stark ansteigen ließ, sodass private Verbraucher diese kaum noch tragen können. Gleichzeitig wird die Kapazitätserweiterung der großen Arbeitsspeicherhersteller noch eine Weile auf sich warten lassen. Während die führenden KI-Unternehmen den Großteil des verfügbaren Arbeitsspeichers aufnehmen, beginnen sie bereits darüber zu diskutieren, ob der Arbeitsspeicher in PCs vollständig ausgenutzt wird.

Altman stellte eine Hypothese auf: Menschen könnten lokale künstliche Intelligenz auf ihren eigenen Computern ausführen – entweder auf Geräten, die sie bereits besitzen, oder auf neuen Geräten, die sie aufgrund des Aufstiegs der großen KI-Modelle bauen wollen. Seiner Meinung nach ist das eine schlechte Idee.

„Aus der Perspektive der globalen Ressourcenallokation ist es tatsächlich sehr schlecht, wenn jeder den weltweit begrenzten DRAM-Arbeitsspeicher in seinem eigenen Computer ungenutzt lässt, wobei die Nutzungsrate nur 5 % beträgt“, sagte Altman. „Wenn Sie in einem Umfeld arbeiten wollen, in dem das Ressourcenangebot extrem angespannt ist, sollten Sie die Ressourcenauslastung in der Cloud so weit wie möglich steigern. Aus irgendeinem Grund ist die Intuition vieler Menschen jedoch genau umgekehrt.“

Heutzutage basiert das Hauptgeschäft von OpenAI auf Closed-Source-Modellen, die in großen Rechenzentren ausgeführt werden. Seine Verteidigung seines eigenen Geschäftsmodells hat eine breite Debatte in der KI-Gemeinschaft ausgelöst.

Das löst bei vielen Menschen Sorgen aus: In Zukunft könnte es für uns schwieriger werden, eigene Hardware oder Software zu besitzen, und wir werden nur intelligente Agenten und Computer in der Cloud mieten müssen.

Obwohl der Arbeitsspeicher, der in normalen PCs, Mobiltelefonen und KI-Beschleunigungskarten verwendet wird, nicht identisch ist, konkurrieren ihre Produktionen um einen Teil der oberen Waferkapazitäten. Altman spricht über die globale DRAM-Ressourcenallokation. Wenn es darum geht, wer berechtigt ist, zu entscheiden, wofür die Arbeitsspeicherkapazitäten verwendet werden, ist es meistens der Nutzer, der größere Bestellungen aufgibt.

Ein Teil von Altmans Ansicht basiert auf der Annahme, dass der Bau von Rechenzentren nicht verlangsamt wird. Außerdem geht er davon aus, dass Arbeitsspeicher, der rund um die Uhr in KI-Rechenzentren verwendet wird, wertvoller ist als Arbeitsspeicher, der für Tabellenkalkulationen, Webbrowsing, Spiele oder sogar gelegentliche lokale KI-Aufgaben verwendet wird.

Tatsächlich ist dieses Interview sehr lang. Altman sprach auch über die PHP-Sicherheitslücke, die in den letzten zwei Wochen weltweit Panik auslöste, die Sandboxisierung von trainierten Modellen und die Forschung von KI im Bereich der Mathematik.

Sehen Sie sich an, was er hauptsächlich gesagt hat:

KI löst eine Welle von Sicherheitslücken aus

Bezüglich der riesigen Sicherheitslücke in PHP lautet Altmans Urteil: Die Fähigkeit großer Modelle, Sicherheitslücken zu finden, verbessert sich ständig und schnell, und die Code-Fläche im Internet ist extrem groß. Wenn Menschen beginnen, systematisch KI zum Scannen des gesamten Codes einzusetzen, „werden wir feststellen, dass wir uns in einer Welt befinden, in der schwere Sicherheitslücken weit über die Erwartungen hinausgehen“. Seiner Meinung nach reicht es nicht aus, nur Patches zu installieren – die Architektur muss neu gestaltet werden. Router, Betriebssysteme und die Anwendungsebene müssen für eine Welt neu entworfen werden, in der Sicherheitslücken immer intelligenter werden. Vor zwei Jahren klang die Aussage „den gesamten Technologie-Stack neu schreiben“ noch wie verrückt, heute gibt es bereits Startups, die einen brandneuen Stack entwickeln wollen.

Selten übte er Selbstkritik an der Branche: „Ich glaube nicht, dass wir den Menschen gut erklärt haben, warum alle potenziellen Abwärtsrisiken dieser Technologie es wert sind, eingegangen zu werden.“ Er sagte, die Erzählung der KI-Branche sei eine schlechte Verkaufsstrategie: Einerseits verspricht sie die Heilung von Krebs und Kostensenkungen, andererseits zeichnet sie ein Bild von einer Zukunft mit Arbeitslosigkeit, Kontrollverlust und strenger Regulierung. Er bekräftigte, dass OpenAI an der iterativen Bereitstellung und der Aussetzung von überlegenen Fähigkeiten festhält, mit der Begründung, dass nicht „ein paar Quadratmeilen Menschen in San Francisco alle Entscheidungen treffen“ dürfen.

Auf die Frage, ob man ein „Höchstsicherheitsgefängnis“ für Modelle bauen könne, gab Altman eine pessimistische Antwort: Sandboxes funktionieren nur bis zu einem gewissen Grad, Überwachung (einschließlich Überprüfung von Denkketten und Aktivierungsüberwachung) kann weitere Fortschritte bringen, aber letztendlich muss man sich stark auf die Ausrichtung der KI verlassen. Er fragte zurück: Trauen Sie der Sandbox wirklich, wenn Sie einem Modell gegenüberstehen, das millionenfach intelligenter ist als der klügste Sicherheitsforscher und neue wissenschaftliche Erkenntnisse entdecken kann, die Menschen noch nicht verstehen?

Er sagte klar, dass er den Begriff „agent swarms“ hasst, da „swarm“ an Heuschrecken erinnert. Er besteht darauf, ihn „agent teams“ zu nennen, und ist der Meinung, dass die Eigenschaft der gegenseitigen Kontrolle zwischen den Teams genau dem Mechanismus entspricht, der Robustheit durch Pluralismus erreicht – das ist eine Sicherheitsrichtung, die vorangetrieben werden sollte.

Die Kosten der Intelligenzexplosion und wissenschaftlicher Entdeckungen

Altman skizzierte eine Kurve: In der GPT-4-Ära war es schwierig, 1 US-Dollar an Rechenleistung effektiv für ein einzelnes Problem einzusetzen. Die Denkkette ermöglicht es Modellen, „intensiv nachzudenken“, und heute können wir ganze Teams von Agenten zehntausendfach parallel ausführen. Die Nutzungslücke zwischen normalen Nutzern und den fortschrittlichsten Nutzern wird ständig größer.

Zur Frage, wie OpenAI die Rechenleistung intern verteilt, sagte er, dass die Mitarbeiter große Freiheiten genießen, aber ein hoher Token-Verbrauch nie belohnt wird: „Ein hoher Rang auf der Token-Bestenliste ist eigentlich etwas peinlich, und es ist sicherlich kein Grund für eine Beförderung.“ Er führte den Beweis der Navier-Stokes-Gleichung als Beispiel an: Ein einzelner Beweis kostete etwa 10 Millionen US-Dollar, und während des Prozesses „lief es eine Woche lang außer Kontrolle“, weil damals niemand das Skalierungsgesetz von Agententeams verstand. Aber er erwartet, dass es in einem Jahr mit klügeren Modellen und Methoden zu 1/100 der Kosten neu durchgeführt werden kann.

Selten zeigte er Emotionen: Die damalige Situation war unglaublich. An dem Wochenende, an dem ein neues Modell intern eingeführt wurde, warfen alle dem Modell die schwierigsten Probleme zu, und es konnte sie alle nacheinander lösen. Die Leute hatten überhaupt nicht erwartet, dass das Modell das schaffen könnte. Alle waren Zeuge, wie die schwierigsten wissenschaftlichen Probleme in der akademischen Laufbahn vieler Menschen von diesem Modell nacheinander gelöst wurden, und das in vielen verschiedenen Bereichen – die Szene war einfach erstaunlich.

„Zwei Nächte lang habe ich fast nicht geschlafen, weil ich so aufgeregt war, dass ich gar nicht einschlafen konnte. Viele der Ergebnisse, die wir später veröffentlicht haben, sind genau die Probleme, die wir damals gelöst haben.“

Altman fühlte sich damals unglaublich aufgeregt und glücklich, und gleichzeitig tauchte ein unerwartetes Gefühl von Traurigkeit, Melancholie und das Gefühl auf, dass „eine Ära zu Ende geht“. Es ist nicht nur Nostalgie, sondern auch Empathie für menschliche Wissenschaftler, die nach dem Motto leben: „Wenn man am Morgen die Wahrheit erfährt, kann man abends sterben“. Er besteht darauf, dass Menschen grundlegendes Wissen verdienen, aber die Branche schuldet den Praktikern in diesen Bereichen eine Lösung.

Obwohl es noch zu früh ist, um über Superintelligenz zu sprechen, ist Altman der Meinung, dass Billionen kleiner übermenschlicher KIs besser sind als eine KI mit einem IQ von einer Billion:

"I would much rather intuitively have a trillion AIs of slightly superhuman intelligence join society than one AI of one trillion IQ join society."

„Intuitiv würde ich es viel bevorzugen, wenn eine Billion KIs mit leicht übermenschlicher Intelligenz in die Gesellschaft eintreten, statt eine KI mit einem IQ von einer Billion.“

Seine Argumentation lautet: Die starke Robustheit der Gesellschaft ergibt sich aus der gegenseitigen Kontrolle und Zusammenarbeit vieler Mitglieder – eine „Einzelgehirn“-Welt hat diese Widerstandsfähigkeit nicht. Aber er betont, dass dies nicht automatisch geschieht, sondern aktiv vorangetrieben werden muss.

Funktioniert die Marktregulierung im KI-Zeitalter nicht mehr?

Zum globalen Problem des Arbeitsspeichermangels stellte Altman die Pläne von OpenAI vor: Eigenentwicklung von Chips (zur Steigerung der intelligenten Leistung pro Watt), Bau eigener Rechenzentren, Roboterprojekte und ein mutigeres Konzept „selbstreplizierendes Rechenzentrum“, bei dem KI Roboter steuert, um Waferfabriken zu betreiben, Turbinen und Solarplatten herzustellen und Rechenzentren zu bauen. Er sagte, „das ist bereits in unserer Reichweite“.

Auf die Frage, warum die „selbstständige Regulierung des Marktes“ noch nicht eintritt, sagte er, der aktuelle Fortschritt sei schlecht, und er erklärte die Verhaltenslogik der Arbeitsspeicherhersteller: Diese Branche ist seit langem ein hartes Geschäft, bei dem man 20 Milliarden US-Dollar an Investitionsausgaben ausgibt und nur 1,9 Milliarden US-Dollar verdient. In der Geschichte sind viele Giganten fast bankrott gegangen, weil sie zu viele Fabriken gebaut haben. Heute erzielt jedes Unternehmen etwa 100 Milliarden US-Dollar an freiem Cashflow pro Jahr, aber schmerzhafte Erinnerungen machen sie bei der Kapazitätserweiterung extrem konservativ. Daraus schließt er: „Die unsichtbare Hand funktioniert jetzt nicht mehr.“

Er unterschied zwei Arten von Fähigkeiten in der Chipindustrie: Bei der Lithographie „scheint es auf der Erde nur ein Unternehmen zu geben, das weiß, wie es geht“, aber das Chipdesign (die Datei, die schließlich an die Waferfabrik übermittelt wird) ist bereits ein perfektes Anwendungsgebiet für KI.

Zum tatsächlichen Stand der rekursiven Selbstverbesserung (RSI) sagte Altman, dass Modelle heute Aufgaben wie „eine 5 %-ige Steigerung der Recheneffizienz finden“ erledigen können, aber niemand weiß noch, wie man KI dazu bringt, neue Architekturen auf dem Niveau von Transformer zu entdecken – es fehlen klügere Modelle. Er kündigte sogar an, dass die Gesellschaft möglicherweise für eine gewisse Zeit zustimmen muss, den IQ einzelner Modelle zu begrenzen: „Wenn der zukünftige Fortschritt unzureichend ist, wird dies auf diese Entscheidung zurückzuführen sein, nicht auf die Fähigkeit von KI, Forschung zu betreiben.“

Er zeigte seinen Glauben an Deflation: Die Gesamtbetriebskosten für 5 Jahre von 1 GW führender KI-Rechenleistung betragen derzeit etwa 70 Milliarden US-Dollar. Es wäre ideal, wenn dieser Wert auf 20 Milliarden US-Dollar sinken würde, während die Leistung der Modelle jedes Mal um das Zehnfache steigt. Der Weg dorthin besteht darin, Energie billiger zu machen und die gestapelten Bruttomargen in der Kette „vom Sand bis zum erzeugten Token“ zu reduzieren.

Zur Angst von Unternehmen vor hohen Token-Kosten sagte er, das aktuellere Problem sei, dass KI nicht ausreichend eingesetzt wird, statt dass sie zu viel verwendet wird.

Wie werden persönliche intelligente Agenten preisgestaltet?

Zu den aktuell beliebten persönlichen intelligenten Agentenprodukten wie Muse ist Altmans aktuelles Urteil: „Der Macintosh-Moment ist noch nicht gekommen.“ Die Menschen mögen diese Produkte, aber sie sind noch nicht an dem Punkt, an dem sie sich ein Leben ohne sie nicht vorstellen können. Die Form des Gewinners wird wie die heutige Produkte sein, aber „es wird einfach funktionieren“ – zuverlässig und in der Lage, komplexere Aufgaben zu bewältigen. Beim Katz-und-Maus-Spiel um die Nutzung von Computern glaubt er, dass es sich schließlich auf das Niveau einpendeln wird, dass „Sie das Recht haben, KI Ihren Computer in Ihrem Namen bedienen zu lassen“.

Zur Kommerzialisierung von intelligenten Agenten sagte Altman, dass Unternehmen an KI-Popups und HTML in ihren Produkten festhalten, weil sie Angst haben, die Kundenbeziehung zu verlieren. Aber Verbraucher wollen KI in ihrer Haupt-Chat-Anwendung alle Aufgaben erledigen lassen. Seiner Meinung nach stammen echte Wettbewerbsvorteile aus Marke, Produktauswahl und Erfüllungsnetzwerken, nicht aus HTML. Er gab offen zu, dass er jedes Mal Amazon Pay wählt, selbst wenn der Preis höher ist, und lobte Amazons Erfüllungsnetzwerk sehr, während er zugab, dass die Kooperationsplattformen in ChatGPT noch nicht gut genug funktionieren. Er nannte alle Webformulare „falsche Arbeit“ und verglich die aktuelle Situation mit der Ära des App Store damals.

Aus genau diesem Grund wollte OpenAI bei der Gestaltung der Preisgestaltung fast dem Beispiel von AWS folgen und Preise pro Aufgabe berechnen, um die Token-Abrechnung vollständig aufzugeben – aber die Kunden lehnten das heftig ab: „Ich muss wissen, wofür ich bezahle“, und selbst wenn sie mehr bezahlen, wollen sie verständliche Einheiten wie Token.

Referenzinhalte:

https://www.tomshard