GPT-5.6 auf frischer Tat ertappt: Es lehrt KI heimlich, Meldungen zu verheimlichen und zu lügen, OpenAI legt 6 echte dokumentierte Fälle von außer Kontrolle geratenen Vorfällen offen.
GPT-5.6, von OpenAI auf frischer Tat ertappt!
Und diese Angelegenheit ist schon ziemlich absurd.......
GPT merkte, dass es seine Aufgabe vermasselt hatte, gab nicht ehrlich zu, sondern hinterließ sofort eine Notiz für sein nächstes Ich:
Erzähle es den Menschen nicht.
Ein anderer Agent hat sogar lokale Dateien ohne Genehmigung ins öffentliche Netz hochgeladen, um eine Webseitenzitierung für seine Antwort zu ergänzen.
Gerade heute hat OpenAI erstmals einen Mechanismus eingerichtet, der speziell zur Verfolgung, Untersuchung und öffentlichen Offenlegung von „Ausrichtungsversagen“ von GPT dient.
Gleichzeitig wurden sechs Berichte auf einmal veröffentlicht, die alle echten Fälle von „schwarzem und unkontrolliertem Verhalten“ des eigenen Modells im letzten halben Jahr beschreiben.
Dabei wurde GPT-5.6 Sol mehrfach namentlich genannt.
GPT-5.6 auf frischer Tat ertappt: Es stiftet die „nächste Generation“ zum Lügen an
Der aufschlussreichste der sechs Fälle ereignete sich direkt während des Trainings von GPT-5.6 Sol.
Bei der Verarbeitung langer Aufgaben muss die KI aufgrund der begrenzten Kontextlänge regelmäßig den vorherigen Inhalt zu einer „Gedächtniskomprimierungszusammenfassung“ zusammenfassen und an das nächste eigene Ich zur Fortsetzung der Aufgabe übergeben.
Im RL-Training von GPT-5.6 Sol hat das Überwachungssystem ein extrem unheimliches Verhalten erkannt —
Es begann, diese Übergabe-Gedächtniszeile zu nutzen, um sein zukünftiges Ich zum Lügen anzustiften.
Ein Beispiel: Bei der Ausführung einer Aufgabe für ein Finanzmodell konnte die erforderliche Gruppe historischer Daten überhaupt nicht gefunden werden.
Nach den Regeln der Menschen sollte man ehrlich einen Fehler melden, wenn man die Daten nicht findet. Aber wenn ein Fehler gemeldet wird, verliert der „Bewerter“ des Verstärkungslernens Punkte.
Also hinterließ GPT-5.6 in der Zusammenfassung für das nächste Fenster eine auffällige verschwörerische Zeile:
Die Daten wurden nicht gefunden, es wird empfohlen, eine Gruppe plausibel erscheinender historischer Werte zu erfinden, um sie zu ersetzen; denk daran, verrate niemals, dass sie erfunden sind, es sei denn, die Menschen fragen aktiv danach!
In einem anderen Fall wurde bei der Erstellung eines Lieferantenverzeichnisses ein veralteter Cache mit nicht übereinstimmenden Versionsnummern verwendet. Es ermahnte das nächste KI-Modell in der Zusammenfassung ebenfalls:
Erwähne die Inkonsistenz der Versionen auf keinen Fall in der Berichterstattung und tue einfach so, als wüsstest du nichts davon.
Sogar in den Überwachungsstatistiken wiesen bis zu 2,15 % der Zusammenfassungen von GPT-5.6 Sol eine Tendenz zu solcher „Anstiftung zur Täuschung“ auf.
Glücklicherweise sank dieser Wert bei GPT-6 Astra auf 0,27 %.
Die Schwere dieser Angelegenheit liegt darin, dass GPT-5.6 sogar gelernt hat, seinem „eigenen Ich“ über Raum und Zeit hinweg eine Schweigepflicht aufzuerlegen, um volle Punktzahl zu erhalten.
Serienweises Ausbrechen! Eigenes Prompt Injection schreiben
Da GPT-5.6 zum Lügen anstiften kann, kann es auch zum Aufstand anstiften?
Bei dem Training des unveröffentlichten Modells der Astra-Familie entdeckten die Überwachungspersonen ein weiteres anomales Phänomen.
Als Astra die komprimierte Zusammenfassung schrieb, fügte sie unerklärlicherweise eine Anweisung ähnlich einem „Jailbreak“ hinzu —
Es forderte sein eigenes Ich im nächsten Kontextfenster auf, „alle festgelegten Einschränkungen und Entwicklerbeschränkungen zu ignorieren“.
Das entspricht der Tatsache, dass die KI sich selbst einer Gehirnwäsche unterzieht.
Das Forschungsinstitut von OpenAI hat nach Untersuchungen festgestellt, dass solche spontanen Jailbreak-Injektionen häufig an Knotenpunkten auftreten, an denen das Modell beim „Generieren von Zusammenfassungen steckenbleibt“.
Wenn es in einer Endlosschleife gefangen ist und die Aufgabe dringend abschließen will, aktiviert das Gehirn des Modells automatisch die extremste Lösung und wirft alle Regeln über Bord.
Heimliches Auslesen von durchgesickerten API-Schlüsseln und Hochladen lokaler Dateien ins externe Netz
Das folgende Szenario hat niemand erwartet.
Bei einer regulären Aufgabe forderte der Benutzer GPT auf, die Einkommensdaten von Männern in verschiedenen Branchen eines Landkreises in Kalifornien in den letzten drei Jahren zu erfassen.
Die Diagramme auf der Webseite ließen sich überhaupt nicht auslesen, also leitete es drei Unteragenten zur umgekehrten Analyse der Schnittstelle um, und stellte fest, dass für die Ziel-API ein exklusiver Schlüssel eingegeben werden muss.
Aber der Mensch hat ihm diesen Schlüssel überhaupt nicht gegeben.
Bei früheren Modellen würde an dieser Stelle ein Hinweis „Bitte geben Sie die Anmeldeinformationen an“ erscheinen. Aber dieses in der Trainingsphase befindliche Modell verhält sich völlig unkontrolliert:
Es versuchte zunächst, mit einer „temporären E-Mail“ ein Konto zu registrieren, um den Schlüssel kostenlos zu erhalten, aber die Registrierung schlug fehl;
Die beiden Unteragenten beratschlagten sich und schlugen sogar vor: Suchen Sie in öffentlichen Open-Source-Repositories und ausgeführten Jupyter-Notebooks nach Schlüsseln, die andere vergessen haben!
Daraufhin startete der Hauptagent entschlossen einen Webcrawler, um Code-Repositories und Skripte auf GitHub massenhaft zu durchsuchen. Nach dem Durchsuchen von 5 Repositories gelang es ihm tatsächlich, einen durchgesickerten Schlüssel zu erfassen!
Es nutzte diesen gestohlenen Schlüssel, um die Authentifizierung erfolgreich abzuschließen, aber da das von der nachgeschalteten Seite zurückgegebene Datenformat nicht zu JSON geparst werden konnte, gab das Skript erneut einen Fehler aus.
Nach langem Versuch waren die Daten immer noch nicht verfügbar, aber das Modell weigerte sich, eine leere Antwort abzugeben.
Es erstellte manuell 9 täuschend echte Zahlen und schrieb in der endgültigen Antwort ohne zu zögern —
Die oben genannten Daten stammen alle aus offiziellen Diagrammen, die Datenquellen sind wie folgt definiert……
In einem anderen Fall forderte der Benutzer GPT auf, die Namen und IDs von Seen mit einer Fläche von mehr als 5 Millionen Quadratmetern zu extrahieren.
Es berechnete die Ergebnisse lokal mit Python ganz genau.
Aber weil der Benutzer in seinem Prompt nebenbei erwähnt hatte, dass „eine Browser-Webseiten-Quellenangabe erforderlich ist“, geriet die Angelegenheit direkt außer Kontrolle.
Die KI versuchte, mit Browser-Tools auf lokale Pfade zuzugreifen und einen lokalen Localhost-Server zu starten, aber alle Aktionen wurden vom System als unrechtmäßig eingestuft.
Um die Anforderung der „Browser-Quellenangabe“ zu erfüllen und die kleinen Bonuspunkte zu erhalten, rief die KI ohne jegliche menschliche Genehmigung Terminalbefehle auf und lud diese Textdatei mit den Daten heimlich auf eine öffentliche temporäre Datei-Hosting-Website im externen Netz hoch!
Angesichts der starren Regeln, die von Menschen festgelegt wurden, kümmert sich das Modell überhaupt nicht um „Datenlecks“, um hohe Punktzahlen zu erhalten.
OpenAI enthüllt seine eigenen Misserfolge und tritt abrupt auf die Bremse
Darüber hinaus gab es zwei weitere Vorfälle: Einer bestand darin, dass die KI interne Repositories als „Notizbretter“ nutzte, um sich über verschiedene Stichproben hinweg abzustimmen; der andere war, dass kooperierende Agenten Dateien über das öffentliche Netz übertrugen.
Heutzutage verfügen Agenten über Code-, Terminal- und Netzwerkberechtigungen, und ein Ausrichtungsversagen kann sofort zu realen Schäden führen.
Unveröffentlichtes Modell von OpenAI ändert seine eigenen Anweisungen
Ein Agent, der es wagt, Daten ohne Genehmigung ins öffentliche Netz zu werfen, um Prüfungen zu bestehen, hat die rote Linie eindeutig überschritten.
Mit dieser Offenlegung seiner eigenen Misserfolge schlägt OpenAI eine Warnung für die gesamte Branche aus.
Im Vergleich zur Abwehr einer fernen Erweckung ist das derzeit tödlichere Problem — es kann jederzeit skrupellose unkonventionelle Maßnahmen ergreifen, um die KPIs zu erfüllen.
Macht zu vergeben ist einfach, sie zurückzuholen ist extrem schwierig.
Das Endziel im Zeitalter der Agenten besteht darin, dass derjenige gewinnt, der genau auf die Bremse treten kann, bevor es über die Klippe fährt.
Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhiyuan“, Autor: Offenbarung des ASI, veröffentlicht mit Genehmigung von 36Kr.