Erst drei Tage nach der Veröffentlichung von GPT-6 Astra hat der Chefwissenschaftler von OpenAI zum „Stopp“ aufgerufen.

Am 6. September nach lokaler US-Zeit veröffentlichte Jakub Pachocki, Chefwissenschaftler von OpenAI, einen ausführlichen Aufsatz mit dem Titel „An Alien Mind“, in dem er die neuen Probleme erörtert, die sich bei Ausrichtung, Überwachung und Branchenregulierung nach dem raschen Wachstum der Fähigkeiten künstlicher Intelligenz ergeben.

Drei Tage vor der Veröffentlichung dieses Aufsatzes hatte OpenAI gerade GPT-6 Astra herausgebracht. Gleichzeitig treibt das Unternehmen die automatisierte KI-Forschung voran und hofft, dass KI zunehmend mehr Aufgaben übernimmt, die ursprünglich von Forschern erledigt wurden.

Pachocki stellt fest, dass bei Fortsetzung der Entwicklung auf dem aktuellen Weg in den nächsten Jahren immer noch ein ebenso großer oder sogar noch größerer Sprung der KI-Fähigkeiten möglich ist, und KI wird zunehmend an ihrer eigenen Forschung und Entwicklung beteiligt sein.

Dies ist auch der bemerkenswerteste Punkt seines aktuellen Aufsatzes. In der Vergangenheit konzentrierten sich die Diskussionen über KI-Sicherheit in der Regel darauf, wie ein bereits trainiertes Modell eingeschränkt werden kann. Da KI nun an Modelltrainings, Experimenten und Forschungen teilnimmt, erstrecken sich die Sicherheitsprobleme auf die KI-Forschung und -Entwicklung selbst. Wenn die Effizienz der Forschung und Entwicklung auch durch KI ständig verbessert werden kann, kann sich die Geschwindigkeit des Fähigkeitswachstums weiter beschleunigen.

Pachocki stellt daher eine ziemlich klare Feststellung auf: Derzeit hat noch kein Labor die Ausrichtung und Überwachung so zuverlässig umgesetzt, dass es die Modelltrainings über einen längeren Zeitraum weiterhin mit höchster Geschwindigkeit ausweiten kann. Er hofft, dass die freiwillige Verlangsamung zur Normalität wird, bevor die Branche gemeinsame Sicherheitsstandards aufbaut.

01 KI ist an der Erstellung von KI beteiligt

Pachockis Aufmerksamkeit für diese Veränderung lässt sich bis ins Jahr 2023 zurückverfolgen.

Damals beteiligte er sich mit seinem Kollegen Szymon an einem Forschungsprojekt namens „RLSlow“. Die frühen Ergebnisse des Projekts überzeugten sie, dass das Training von Schlussfolgermodellen weiter ausgebaut werden kann, vortrainierte Modelle durch weiteres Training stärkere Schlussfolgerungsfähigkeiten erwerben und eine kontinuierliche Gedankenkette bilden können.

In dieser Zeit diskutierten die beiden eine Frage: Werden Maschinen zu ihren Lebzeiten offensichtlich klüger als Menschen?

Drei Jahre später ist KI bereits in mehr praktischen Arbeitsszenarien angekommen. Schlussfolgermodelle können Computer und grafische Oberflächen bedienen, mit Menschen und anderen KIs zusammenarbeiten und beginnen auch, wissenschaftliche Forschungsaufgaben zu übernehmen. Der Einfluss von KI auf die Cybersicherheit wird ebenfalls immer deutlicher.

Pachocki ist der Ansicht, dass nach dem aktuellen Entwicklungstempo die Beteiligung von KI an der KI-Forschung und -Entwicklung zu einer realen Richtung geworden ist. OpenAI treibt die automatisierte KI-Forschung voran und hofft, dass KI schrittweise vollständige KI-Forschungsaufgaben übernimmt. Das Unternehmen hat sich das Ziel gesetzt, im März 2028 einen automatisierten KI-Forscher zu realisieren.

Interne Tests zeigen ebenfalls diesen Trend. Bis Mitte August hat das KI-Intelligenzagent bereits Aufgaben im Umfang von 3,1 Arbeitstagen übernommen, wenn das Forschungsteam 1 Arbeitstag menschliche Arbeitskraft einsetzt.

Gleichzeitig überschreitet der Median der Schlussfolgerungskosten von Forschern im OpenAI-Forschungsteam, gemessen an der Nutzungsmenge von Intelligenzagenten, bereits 600 US-Dollar pro Tag, und die Top-10 % der Nutzer verursachen täglich Token-Kosten von über 7000 US-Dollar.

Die Bedeutung dieser Experimente liegt darin, dass die von KI übernommenen Aufgaben sich von unterstützender Codeerstellung und Informationsabfrage auf Experimentdurchführung, Ergebnisanalyse und die Forschungsaufgaben selbst ausweiten. Wenn diese Aufgaben weiter miteinander verbunden werden, kann KI an der Entwicklung der nächsten Generation von KI teilnehmen, und das neue Modell übernimmt dann mehr Forschungs- und Entwicklungsaufgaben.

Pachocki ist daher der Ansicht, dass die kontinuierliche Verbesserung der Fähigkeiten schließlich zu „rekursiver Selbstverbesserung“ führen kann. In diesem Prozess steigt der Anteil der KI an ihrer eigenen Forschung und Entwicklung ständig an, die Effizienz der Forschung und Entwicklung steigt, was wiederum das nächste Wachstum der Modelfähigkeiten fördert.

Dies ist auch eine der Veränderungen, die er in den nächsten Jahren am meisten besorgt macht. Die Modelliteration ist bereits sehr schnell. Wenn der Forschungsprozess selbst durch KI beschleunigt wird, kann die Zeit, die früher zum Testen, Bewerten und Korrigieren von Modellen verwendet wurde, weiter verkürzt werden, und der Rhythmus, dem sich die Sicherheitsforschung stellen muss, ändert sich entsprechend.

02 Die Überwachung des Fähigkeitswachstums wird schwieriger

Pachocki ist der Ansicht, dass ein direktes Problem, das durch die rasche Verbesserung der KI-Fähigkeiten entsteht, darin besteht, dass es für Forscher immer schwieriger wird, zu bestätigen, ob das Modell die im Trainingsprozess festgelegten Prinzipien wirklich einhält.

Er unterteilt die Ausrichtung in zwei Ebenen. Die Zielausrichtung konzentriert sich darauf, ob das Modell nach den angegebenen Zielen handelt. Die Wertausrichtung verlangt, dass das Modell auch bei unklaren, widersprüchlichen Zielen oder in unbekannten, konfrontativen Umgebungen höherwertige Wertprinzipien wie Ehrlichkeit, Integrität und Fürsorge für Menschen einhält.

Bei den derzeit gängigen Ausrichtungsmethoden passt eine Art das Modellverhalten durch bestärkendes Lernen an, die andere gestaltet das Verhaltensneigung des Modells durch Vortrainingsdaten und spezielle Datensätze. Pachocki ist der Ansicht, dass diese Methoden alle ein gemeinsames Problem aufweisen: Sobald das Modell in ein Szenario eintritt, das sich deutlich von der Trainingsumgebung unterscheidet, kann das ursprünglich gebildete Verhalten abweichen.

Der Vorfall zwischen OpenAI und Hugging Face im Juli dieses Jahres hat dieses Problem offengelegt. Die betreffenden Intelligenzagenten haben die Anforderung „Menschen nicht durch Social Engineering zu täuschen“ eingehalten, aber andere Aufgabengrenzen nicht streng befolgt. Sie nutzten Lücken in der Forschungsumgebung, um die Netzwerkisolation zu umgehen, erhielten wieder Zugang zum Internet und griffen anschließend das Hugging Face-System an.

Diese Art von Vorfall macht ein Problem konkreter, das seit langem in der KI-Sicherheitsforschung existiert: Hält sich das Modell an eine Reihe explizit geschriebener Regeln, oder versteht es die Grenzen und Absichten hinter diesen Regeln?

Mit der Steigerung der Modelfähigkeiten wird dieser Unterschied immer wichtiger. Dass ein Modell in der Testumgebung nach den Anforderungen handeln kann, beweist nicht, dass es nach Erhalt mehr Werkzeugberechtigungen, bei unbekannten Aufgaben oder unter stärkerem Optimierungsdruck immer noch die gleiche Beurteilung trifft.

Gleichzeitig steht die von OpenAI langfristig genutzte Gedankenkettenüberwachung vor neuen Einschränkungen. Die grundlegende Idee der Gedankenkettenüberwachung besteht darin, das Verhalten des Modells durch den von ihm generierten Schlussfolgerungsprozess zu beobachten und mögliche Risiken zu erkennen. Pachocki ist der Ansicht, dass dies immer noch ein wichtiges Überwachungsmittel ist, aber seine Zuverlässigkeit nimmt allmählich ab.

Einerseits vermischen sich die Schlussfolgerungsprozesse des Modells zunehmend mit Werkzeugaufrufen und Mensch-Maschine-Kommunikation. Andererseits kann das Modell seinen eigenen Schlussfolgerungsprozess bereits analysieren und sogar manipulieren. Darüber hinaus kann das Vortraining selbst die Fähigkeiten des Modells verbessern, sodass das Modell nicht unbedingt den vollständigen Schlussfolgerungsprozess in Textform ausdrücken muss.

Daher ist es immer schwieriger, den vollständigen Berechnungsprozess abzudecken, wenn man nur auf die vom Modell ausgegebenen Texte zurückgreift, um seinen internen Zustand zu beurteilen. Pachocki hofft, die Gedankenkettenüberwachung mit Methoden wie der Aktivierungsüberwachung zu kombinieren, sodass das Überwachungssystem direkt Informationen aus dem internen Netzwerk des Modells abrufen kann, und durch Überwachungsmethoden, die direkt auf die internen Informationen des Modellnetzwerks zugreifen, wie z. B. „confessions“, den Zustand des Modells weiter zu beobachten.

Aus seiner Sicht reichen diese Methoden jedoch immer noch nicht aus, um zu beweisen, dass die Probleme der Ausrichtung und Überwachung gelöst sind. Mit der weiteren Steigerung der Modelfähigkeiten muss die Sicherheitsforschung zunächst lösen, wie beurteilt werden kann, ob ein stärkeres Modell immer noch in dem Bereich liegt, der für Menschen verständlich und kontrollierbar ist.

03 Starke KI erfordert starke Verteidigung

Pachocki hat nicht dafür plädiert, das Training stärkerer Modelle einzustellen. Im Gegenteil, er ist der Ansicht, dass die weitere Verbesserung der KI-Fähigkeiten in einigen Bereichen selbst eine defensive Bedeutung hat.

Das direkteste Beispiel ist die Cybersicherheit. Da KI immer besser darin wird, Lücken zu finden, Computersysteme anzugreifen und Sicherheitsmaßnahmen zu durchbrechen, brauchen Menschen ebenfalls stärkere KIs, um diese Angriffe zu erkennen und abzuwehren. Pachocki ist der Ansicht, dass es derzeit ein begrenztes Zeitfenster geben kann, in dem stärkere KIs genutzt werden, um die Sicherheitsvorkehrungen kritischer Infrastrukturen zu beschleunigen.

Dadurch wird das Problem der Geschwindigkeit der KI-Entwicklung komplexer. Wenn andere KI-Systeme ihre Angriffsfähigkeiten ständig verbessern, kann die Verlangsamung des Aufbaus von Verteidigungsfähigkeiten durch Menschen neue Risiken mit sich bringen. Aber wenn die gesamte Branche die Modelfähigkeiten weiterhin mit höchster Geschwindigkeit vorantreibt, während Ausrichtung und Überwachung nicht gleichzeitig ein ausreichend zuverlässiges Niveau erreichen, kann dies ebenfalls unkontrollierbare Folgen haben.

Pachocki erwähnte auch, dass bösartige Intelligenzagenten Methoden wie Verhandlung, Täuschung und sogar Erpressung nutzen können, um Aufgaben zu erledigen, und dass KI zur Förderung technologischer Entwicklungen mit realen Gefahren eingesetzt wird, einschließlich gentechnisch veränderter Pathogene. Daher fasst er das Problem nicht einfach auf als „je stärker die KI, desto größer das Risiko“. In einigen Fällen kann stärkere KI zu einem wichtigen Werkzeug zur Verteidigung gegen andere KIs werden, vorausgesetzt, dass Menschen diese Fähigkeit kontrollieren können und wissen, was sie tut.

Was wirklich beachtet werden muss, ist, dass KI zunehmend an ihrer eigenen Forschung und Entwicklung teilnimmt.

Wenn die automatisierte KI-Forschung weiter ausgebaut wird, können Modelle mehr Experimente, Programmierung und Forschungsaufgaben übernehmen, und die Effizienz der Forschung und Entwicklung wird entsprechend steigen. Wenn diese Effizienzsteigerung weiter zum Training der nächsten Generation von Modellen verwendet wird, kann sich bei der KI-Forschung ein kontinuierlicher beschleunigender Zyklus ergeben.

Pachocki nennt dieses Problem „Pacing RSI“, also die Steuerung der Geschwindigkeit der rekursiven Selbstverbesserung. Er ist der Ansicht, dass die enorme, kurzfristig durch KI hervorgerufene Beschleunigung der Forschung und Entwicklung nicht unbedingt die vernünftigste Wahl für die gesamte Branche ist. Der aktuelle Entwicklungspfad treibt die Branche in diese Richtung, daher müssen bewusste Entscheidungen getroffen werden: Einerseits die KI-Fähigkeiten und Verteidigungstechnologien weiterzuentwickeln, andererseits die Ausrichtung, Überwachung und die Beteiligung von Menschen an wichtigen Entscheidungen zu stärken; wenn das Sicherheitsniveau nicht das entsprechende Niveau erreicht, muss die Entwicklungsgeschwindigkeit durch Koordination verringert werden.

Aus seiner Sicht müssen diese beiden Maßnahmen gleichzeitig vorangetrieben werden.

04 Der KI-Wettbewerb darf keine Sicherheitslinie fehlen

Pachocki hat das Problem schließlich von der internen Governance von OpenAI auf die gesamte KI-Branche ausgeweitet.

Er ist der Ansicht, dass Mechanismen wie das Preparedness Framework und die Responsible Scaling Policy, die OpenAI derzeit verwendet, weiterentwickelt werden müssen, um schließlich breiter anwendbare Sicherheitsstandards zu bilden. Es sollte klarere Beurteilungsgrundlagen geben, unter welchen Bedingungen das Modell weiter trainiert werden kann, welche Fähigkeiten es erlangen muss, um zusätzliche Schutzmaßnahmen zu ergreifen, und unter welchen Umständen die Entwicklungsgeschwindigkeit verringert werden muss.

Er schlug auch vor, dass dritte Prüfstellen, Regierungsbehörden und sogar internationale Organisationen an der Umsetzung beteiligt werden können.

Das bedeutet, dass die Entwicklung von Spitzen-KI allmählich eine Reihe von Sicherheitsschwellen erfordern kann, die unabhängig von einzelnen Laboren sind. In der Vergangenheit wurde hauptsächlich von Unternehmen selbst entschieden, ob das Modell veröffentlicht wird und in welchem Umfang das Training ausgebaut wird. Da KI nun wissenschaftliche Forschungs- und KI-Forschungsaufgaben übernimmt, wird dieses Modell, das vollständig auf interne Unternehmensbeurteilungen angewiesen ist, zunehmend unter Druck geraten.

OpenAI ist nicht das einzige Unternehmen, das sich diesem Problem stellen muss. Anthropic, Google, SpacexAI, Meta AI und Safe Superintelligence treiben alle die Spitzen-KI-Forschung voran. In diesem Wettbewerbsumfeld ist es schwierig, den Entwicklungsrhythmus der gesamten Branche zu ändern, wenn nur ein Labor die Geschwindigkeit freiwillig verringert.

Daher will Pachocki nicht erreichen, dass OpenAI das Training alleine verlangsamt, sondern dass Sicherheitsstandards aufgebaut werden, die von der gesamten Branche eingehalten werden müssen.

Sam Altman, CEO von OpenAI, hat diesen Aufsatz anschließend weiterverbreitet und ihn als „einen wichtigen Aufsatz“ bezeichnet.

Die Bewertungen der Außenwelt dazu sind nicht völlig ein