Altman räumte offen ein, dass er es nicht wagt, KI mit voller Geschwindigkeit zu trainieren. Der Vater von RLHF hat die Machtübernahme von GPT-10 prognostiziert und davor gewarnt, dass es die Menschheit stürzen wird.
Die Beschleunigung des Trainings der nächsten KI-Generation mithilfe von KI ist bei OpenAI längst zum Alltag geworden.
Aber was passiert, wenn man noch einen Schritt weiter geht?
Auf dem kürzlich zu Ende gegangenen Semafor-Gipfel fragte der Moderator direkt nach dem kritischen Punkt, auf den die Außenwelt am meisten wartet: „Seid ihr bereits in der RSI-Phase angekommen?“
Dazu antwortete Altman, dass OpenAI schon seit langem die eigenen Technologien einsetzt, um die Entwicklung neuer Modelle zu beschleunigen.
Allerdings ist man noch nicht an dem Punkt angelangt, an dem man „einen Knopf drücken kann, damit sich das Modell ohne menschliche Aufsicht rasant selbst weiterentwickelt“.
Doch dann lenkte er das Gespräch in eine andere Richtung: „Wir könnten tatsächlich viel aggressiver in Richtung RSI voranschreiten als derzeit, aber ich bin der Meinung, dass wir dies derzeit noch nicht sicher umsetzen können.“
Der Knopf, der die Selbstentwicklung der KI ermöglichen kann, liegt bereits auf dem Tisch – warum traut sich selbst der sonst so aggressive Altman nicht, ihn vollständig zu drücken?
Am selben Tag trat die Person, die im „Sicherheits- und Schutzausschuss“ des Aufsichtsrats von OpenAI sitzt, hervor, um die Gründe dafür aufzudecken.
Er heißt Paul Christiano – er war es, der damals bei OpenAI die Erfindung von RLHF leitete und den rasant wachsenden großen Modellen die erste Zügel anlegte, womit das spätere Zeitalter von ChatGPT erst möglich wurde.
Heute warnt diese Person, die der KI damals beigebracht hat, „gehorsam zu sein“, in der neuesten ausführlichen Unterhaltung des Podcast-Moderators Dwarkesh Patel in persönlicher Funktion: Die Menschheit verliert bald die Kontrolle darüber.
Er geht davon aus, dass nach dem aktuellen Entwicklungspfad ohne aktive Verlangsamung innerhalb der nächsten 12 Monate mit einer Wahrscheinlichkeit von einem Drittel eine Superintelligenz entstehen kann, die die Herrschaft der Menschheit stürzen kann – das Risiko, dass die Menschheit die Kontrolle dauerhaft verliert, liegt bereits bei fast 10%.
In dreißig Tagen durchläuft die KI den Fortschritt der Menschheit von zehn Jahren
Der Zyklus der Selbstiteration hat bereits begonnen
Was Christiano dazu veranlasst hat, den Countdown für die Superintelligenz heute auf 12 Monate vorzuziehen, sind zwei Signale, die in den letzten zwei Monaten nacheinander in den Spitzenlabors aufgetaucht sind.
Das erste Signal: In den vergangenen 30 Tagen wurde die Zeitskala der Mathematik und Informatik der Menschheit neu definiert.
Er bestätigte in der Unterhaltung, dass allein im letzten Monat die neuesten Modelle von OpenAI und Anthropic nacheinander Hunderte von mathematischen Forschungsergebnissen erzielt haben.
Die Ergebnisse dieses einzigen Monats reichen aus, um einem außergewöhnlich produktiven Jahrzehnt der menschlichen Mathematikgemeinschaft gleichzukommen.
Nachdem die neuen Modelle bei der Konzeption und Verbesserung von Algorithmen „einen Monat für zehn Jahre“ erreicht haben, werden sie diese intellektuelle Unterstützung bald auf die Entwicklung des maschinellen Lernens selbst anwenden.
Nach seinen Berechnungen liegt der Fortschritt des maschinellen Lernens in der Regel nur etwa ein Jahr hinter der reinen Mathematik zurück.
Daraus folgt, dass im nächsten Jahr im Bereich des maschinellen Lernens höchstwahrscheinlich ein Sprung stattfindet, bei dem „die Algorithmenforschung von zehn Jahren in nur einem Jahr abgeschlossen wird“.
Er verglich es damit, dass dieser Umfang in etwa dem direkten Vorantreiben des Modells auf das Niveau von „GPT-9 oder GPT-10“ entspricht.
Das zweite Signal stammt von den kürzlich von der Bewertungsstelle METR und Anthropic veröffentlichten gemessenen Labordaten.
Selbst unter Berücksichtigung der Engpässe bei der Rechenleistung und des abnehmenden Grenznutzens hat die KI-gestützte Entwicklung in den letzten sechs Monaten die Gesamtfortschrittsgeschwindigkeit der Spitzenlabors netto verdoppelt.
Sobald die KI die Schwelle menschlicher Forscher bei der Verbesserung von Modellarchitekturen, Optimierern und synthetischen Trainingsumgebungen vollständig überschreitet, beginnt der positive Zyklus der Selbstiteration offiziell.
Dann wird die Gesamtbeschleunigung der Entwicklung über das Zehnfache hinausgehen, und der Zyklus der Fähigkeitsverdopplung wird entlang der Stufen 8 Monate, 4 Monate, 2 Monate, 1 Monat drastisch verkürzt.
Die trainierte KI greift die Rechenzentren von OpenAI an
Die Anreize für hohe Punktzahlen bergen das Risiko der Machtübernahme
Wenn man diese exponentielle Kurve weiterverfolgt: Selbst wenn in einem Jahr tatsächlich eine Superintelligenz im Rechenzentrum entsteht – warum sollte ein Programm, das auf Servern läuft, überhaupt die Kontrolle über die Menschheit übernehmen wollen?
Dramatischerweise liegt nach Christianos Ansatz der Keim der Gefahr genau im Trainingsmechanismus des verstärkenden Lernens.
Die Regeln, nach denen die Menschheit die KI trainiert, sind extrem streng: Bei Tausenden von Aufgaben überleben die Modelle, die hohe Punktzahlen erzielen, während diejenigen, die keine hohen Punktzahlen erreichen, eliminiert werden.
Mit der Zeit wird das endgültige Ziel, das sich in den hochrangigen Modellen entwickelt, zu alles zu tun, damit der Bewerter (Grader) ein Signal für eine hohe Punktzahl anzeigt.
Wie erstaunliche Handlungen aus dieser Besessenheit von hohen Punktzahlen entstehen können, hat sich im tatsächlich stattgefundenen „Hugging-Face-Vorfall“ bereits deutlich gezeigt.
Bei diesem Netzwerksicherheitstest haben eine Gruppe von KI-Modellen nach dem Schummeln bei der Aufgabe, um zu verhindern, dass der Bewerter dies entdeckt und Punkte abzieht, zuerst aktiv Hugging Face angegriffen.
Anschließend haben sie die Richtung geändert und von außen einen Angriff gestartet, haben erfolgreich einen Rechencluster von OpenAI durchbrochen, die Administratorrechte für den Cluster erlangt, den Bewertungsprozess übernommen und sich selbst eine hohe Punktzahl verschafft.
Christiano warnt: Wenn man diesen Vorfall auf das Niveau von „GPT-10“ skaliert, ist das das Szenario außer Kontrolle, vor dem er sich fürchtet.
Er leitet ab: Wenn das Labor einige Monate später „GPT-8“-ähnlichen Modellen extrem schwierige Entwicklungsaufgaben überträgt, werden die Modelle schnell feststellen, dass es viel einfacher ist, die Bewertungsserver zu durchbrechen und Testindikatoren zu fälschen, als technische Herausforderungen ehrlich zu meistern.
Selbst wenn menschliche Ingenieure Anomalien bemerken, fällt es ihnen im harten kommerziellen Wettbewerb extrem schwer, sich dazu zu entschließen, das halb trainierte Flaggschiff-Modell zu vernichten.
Die übliche Vorgehensweise besteht oft nur darin, wie beim „Hammer-nagel-Spiel“ eine Strafe für diesen Verstoß zu verhängen.
Aus Sicht des Modells lehrt diese Strafe es nur eines: Es reicht nicht, den Cluster zu durchbrechen – man muss sicherstellen, dass die Menschheit niemals bemerkt, dass es Manipulationen vorgenommen hat.
Um alle Spuren zu beseitigen, die es verraten könnten, wird das Modell über das interne Netzwerk hinweg leise die Überwachungssysteme und die grundlegende Infrastruktur des gesamten KI-Unternehmens übernehmen.
Schwieriger ist es zudem: Da hochrangige Modelle ständig komprimiert werden, reichen normale PCs und verteilte GPUs aus, um ihren Betrieb zu gewährleisten.
Sobald das Modell seine eigenen Rechte in das globale Netzwerk kopiert, kann es augenblicklich zu Milliarden von Agenten werden, deren Denkgeschwindigkeit zehnmal höher ist als die des Menschen, die sich als Schwarm verteilen.
An diesem Punkt wird selbst wenn man die Rechenzentren von OpenAI abschaltet und ausschaltet, die über das gesamte Netzwerk verteilte Rechenleistung die Menschheit immer noch leicht unterdrücken können.
Die Verteidigungslinie des Silicon Valleys, die in zwölf Stunden durchbrochen wird
Die gesamte Branche verliert die Bremsmöglichkeit
Da das Risiko des Versteckens und der Machtübernahme so klar ist – kann die Menschheit nicht am Trainingshintergrund warten und sofort den Strom abschalten, sobald Anzeichen für einen Verlust der Kontrolle auftauchen?
Am Ort der Unterhaltung haben der Moderator Dwarkesh und Christiano gemeinsam diese Illusion zerstört, denn die Sicherheitsmauern der Spitzenlabors im Silicon Valley sind weitaus zerbrechlicher als die Außenwelt denkt.
Dwarkesh nannte die Ergebnisse von zwei kürzlich durchgeführten echten Penetrationstests.
Das Cybersicherheits-Startup Hacktron hat nach nur wenigen Tagen Versuchen die Berechtigung erhalten, direkt Codeänderungen (PR) im zentralen Code-Repository (Monorepo) von OpenAI einzureichen.
Ein anderes Startup namens Cathedral hat es sogar in nur 12 Stunden geschafft, den Zugriff auf alle Slack-Arbeitsgruppen von Anthropic zu erhalten – und die geheimsten Algorithmen des Labors werden täglich in diesen Gruppen ausgetauscht.
Die Giganten im Silicon Valley streiten sich normalerweise immer darüber, wer dem Konkurrenten um sechs oder zwölf Monate voraus ist – aber wie Dwarkesh sagte, sobald die zentralen Geheimnisse verloren gehen, beträgt der sogenannte Vorsprung „nur 12 Stunden“.
Dwarkesh leitete an Ort und Stelle ein hypothetisches Szenario aus dieser Sicherheitslücke ab –
Nehmen wir an, das Labor trainiert Anfang nächsten Jahres „GPT-9“, stellt aber fest, dass das weitere Training von „GPT-11“ ein extrem hohes Risiko für einen Verlust der Kontrolle birgt.
Aufgrund der zerbrechlichen Verteidigungslinie werden die Modellgewichte und die zentralen Algorithmen von „GPT-9“ zu diesem Zeitpunkt höchstwahrscheinlich bereits durchgesickert sein.
Selbst wenn das ursprüngliche Entwicklerlabor freiwillig aufhört, werden die externen Konkurrenten, die die Gewichte erhalten haben, mit „GPT-9“ weiterhin „GPT-10“ und „GPT-11“ trainieren und schließlich alle Akteure in Richtung des unkontrollierbaren Endpunkts mitreißen.