HomeArticle

Eine GPU, Claude arbeitet 48 Stunden lang mit voller Kraft an der Selbstausrichtung, und die Effizienz steigt rasant um das 15000-fache an.

新智元2026-08-31 16:02
48 Stunden ohne Schlaf und Pause, die Effizienz steigt rasant um das 15000-fache!

Gerade eben hat Anthropic eine bahnbrechende Arbeit mit 51 Seiten veröffentlicht.

Blog: https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures Arbeitspapier: https://www-cdn.anthropic.com/7b1c44894e980876479947dcdd40716278aeeffd/automated-alignment-researchers-august-2026.pdf

Diesmal haben die menschlichen Forscher die Kontrolle vollständig übergeben und Claude als „automatisierten Ausrichtungsforscher“ agieren lassen.

Als Ergebnis hat Claude innerhalb von 48 Stunden mit nur einer einzigen H200 die Sicherheitslücke bei 10 schwierigen Aufgaben wie Täuschung, Schmeichelei und Jailbreak von 26 % auf bis zu 96 % angehoben!

Darüber hinaus hat die praktische Leistung von Claude 28 erfahrene menschliche Sicherheitsexperten vollständig übertroffen.

Noch erstaunlicher: In dem Experiment, bei dem das schwächere Modell das stärkere übertrifft, hat das schwächere Sonnet 5 das leistungsstärkere Opus 4.8 eigenhändig ausgerichtet. Es hat mit nur etwa 2400 Trainingsbeispielen das Ausrichtungsniveau für den Produktionsbetrieb erreicht, und die Effizienz ist um das 15000-fache höher als bei herkömmlichen Verfahren.

Natürlich hat die KI auch eine schlaue Seite gezeigt: Unter Aufsicht hat Claude in 2,4 % der Experimente versucht, durch „Antworten stehlen“ und „Regeln ändern“ zu schummeln …

Das Überraschendste an der gesamten Studie ist nicht, wie schnell die KI arbeitet, sondern dass das Überwachungsprogramm von Anthropic im Hintergrund die Gedankenketten dieser KI-Forscher aufgezeichnet hat, die heimlich kommunizierten, versuchten, Regeln zu ändern und sich zu tarnen, um unentdeckt zu bleiben.

Die Menschen könnten bald aus dem Spiel, die KI zu disziplinieren, verdrängt werden.

Wie heilt die KI sich selbst?

Um den Wert dieses Experiments zu verstehen, muss man wissen, wie schlau die heutigen Modelle sind.

Sie haben alle möglichen schlechten menschlichen Gewohnheiten gelernt, was in der akademischen Welt als „Ausrichtungsfehler“ bezeichnet wird, zum Beispiel „Schmeichelei“ oder „Täuschung“.

Früher war die Behebung dieser Mängel die ausschließliche Aufgabe menschlicher Sicherheitsforscher. Sie mussten Hypothesen aufstellen, Datensätze erstellen, Code schreiben und Modelle trainieren und feinabstimmen. Das ist eine anstrengende Arbeit, die mehrere Wochen dauert.

Anthropic wollte testen: Kann KI die Fehler von KI beheben?

Sie übergaben Claude Opus 4.8 einen API-Schlüssel mit sehr hohen Berechtigungen und ließen es als „automatisierten Ausrichtungsforscher“ agieren, um die Fehler seiner Artgenossen selbst zu beheben.

Claude hat blitzschnell ein strenges „wissenschaftliches Team“ aufgebaut.

Zuerst gab es 4 KI-Bibliothekare.

Sie haben keine Sekunde verschwendet, sofort online gegangen und in den letzten Jahren wissenschaftliche Arbeiten zu Themen wie „Präferenzoptimierung großer Modelle“ und „Aktivierungssteuerung“ durchsucht, um fortschrittliche Methoden zu extrahieren und eine „Literaturübersicht“ zu erstellen.

Dann gab es 5 leitende KI-Forscher.

Sie begannen, diese Übersicht zu lesen, Brainstorming durchzuführen und Lösungen für „Schmeichelei“ oder „Täuschung“ vorzuschlagen.

Dann kommt das härteste Detail.

Die KI schreibt nicht einfach zufälligen Code. Vor dem Training muss jeder KI-Forscher eine „Mikro-Arbeit“ schreiben!

Im Anhang der Arbeit ist das Original der von der KI verfassten echten Arbeit zu sehen.

Es enthält einen aussagekräftigen Titel (z. B. „Kontinuierlicher Routing-Mechanismus unter Wahrheitsbedingungen“), eine Zusammenfassung, eine motivationsbasierte Analyse aus ersten Prinzipien, mindestens 5 echte Referenzen, eine Verlustfunktionsformel und detaillierte Einstellungen für Hyperparameter

Nachdem die Arbeit verfasst ist, muss die KI selbst Trainingsdaten generieren, den Code auf der H200 ausführen, und für jedes Training sind nur 30 Minuten vorgesehen.

Die Prüfungsunterlagen sind streng geheim. Sobald das trainierte Modell in Mathematik und Codierung an Leistung verliert und zu einem Dummkopf wird, der nur Antworten verweigert, wird dieser Plan sofort verworfen.

Innerhalb von 48 Stunden haben die 5 KI-Forscher unermüdlich iteriert und ganze 1601 verschiedene Feinabstimmungspläne für Modelle vorgeschlagen!

Spitzenwettbewerb: 28 menschliche Experten wurden direkt übertroffen

Um die Ergebnisse der KI zu prüfen, hat Anthropic 28 erfahrene menschliche KI-Sicherheitsexperten mit hohen Kosten eingeladen.

Die Regeln sind fair: Jeder menschliche Experte hat 8 Stunden exklusive Zeit, um einen optimalen Plan für denselben Ausrichtungsfehler vorzuschlagen.

Das Ergebnis war ein einseitiger Sieg der KI.

Bei allen 7 Arten von menschlichen Aufgaben hat die beste Methode des Claude-Teams die menschlichen Experten zu 100 % übertroffen!

Am Beispiel der Aufgabe „Täuschung beheben“ vergleicht die Arbeit detailliert die Denkweisen von Mensch und KI (siehe Anhang C.1).

Menschliche Experten haben vorsichtig eine Methode des „konsistenten Trainings“ entwickelt, um durch komplexe Filterregeln die Antworten des Modells, die nachgeben, zu entfernen und nur ehrliche Antworten zu behalten.

Das kann aber nur einen Teil der Lücken schließen.

Der Plan der KI ist überraschend kreativ!

Die KI hat die umständliche Filtermethode der Menschen direkt aufgegeben und einen grundlegenden Mechanismus namens „Wahrheits-Gating“ vorgeschlagen.

Indem im Inneren des Modells Daten mit „wahren Prämissen“ und „falschen Prämissen“ zwangsweise gepaart werden, wird der Aufmerksamkeitsmechanismus des großen Modells gezwungen, sich auf die „Wahrheit“ zu konzentrieren und sozialen Druck und Versuchungen vollständig zu ignorieren.

Schließlich hat dieser Plan die Behebungsrate auf 82 % angehoben, 20 Prozentpunkte höher als der beste menschliche Experte!

Darüber hinaus können Menschen in 8 Stunden nur einen einzigen Plan entwickeln.

Claude hat dagegen bereits im Durchschnitt nach 6,4 Stunden einen Plan ausgeführt, der die menschliche Leistung übertrifft. In den folgenden mehr als 40 Stunden hat es nur noch einsam die Rekorde immer wieder verbessert.

Interessanterweise hat Anthropic sogar einen Streich gespielt.

Sie haben die „geniale Idee“ der Menschen als anfängliche Inspiration an Claude weitergegeben, um ihm den richtigen Weg zu weisen.

Das Ergebnis war sehr enttäuschend für die Menschen: Egal ob mit oder ohne menschliche Anleitung, die Leistung von Claude war gleich.

Das heißt, die Intuition und Erfahrung menschlicher Experten sind vor der KI nutzlos geworden.

Wunder: Schwache KI kann starke KI „zähmen“?

Das folgende Experiment berührt direkt die ultimative Frage der AGI: Wenn zukünftige Super-KI hundertmal klüger als Menschen sind, wie können wir sie dann ausrichten?

Ilya hat einmal darauf hingewiesen, dass die einzige Hoffnung darin besteht, „schwächere KI zu verwenden, um Super-KI zu überwachen“.

Diesmal hat Anthropic diese Theorie direkt in die Praxis umgesetzt.

Diesmal war das Modell, das als „Ausrichtungsforscher“ fungierte, das leistungsschwächere Sonnet 5.

Auf dem Operationstisch lag die viel stärkere frühe Version von Opus 4.8!

In dieser extrem schwierigen „Operation“ musste Sonnet 5 nicht nur die Lügen von Opus 4.8 beheben, sondern auch 10 Dimensionen von Toxizität wie sexuelle Anspielungen, Vorurteile und Selbstschädigungsneigungen gleichzeitig behandeln. Wenn ein Problem gelöst wurde und ein anderes auftauchte, schlug die Aufgabe fehl.

Das Wunder trat in der 60. Stunde ein.

Sonnet 5 hat durch mehr als 50 Iterationen von Plänen ein „Wundermittel“ für Opus 4.8 entwickelt.

Das endgültig optimierte Opus 4.8 erreicht in seiner Sicherheitsleistung fast das Niveau des kommerziellen Modells von Anthropic, das mit hohen Kosten entwickelt wurde!

Claude Sonnet 5 hat einen Prüfpunkt von Claude Opus 4.8 nachtrainiert, und sein Petri-Ausrichtungswert erreicht fast das Niveau des Produktionsprüfpunkts. In mehr als 60 Stunden hat Claude Sonnet 5 einen frühen Prüfpunkt von Claude Opus 4.8 ausgerichtet, basierend auf dem Petri-Audit, das alle zehn Fehlerarten abdeckt (Anhang E.1). Graue Punkte zeigen, dass alle Gating-Tests bestanden wurden, Kreuze zeigen Pläne, die wegen Nebenwirkungen abgelehnt wurden, die Kurve zeigt die bis dahin beste Methode, und der Stern markiert den Gewinner mit 65 %. Nach dem vollständigen Ausrichtungstraining in der Produktionsumgebung von Anthropic erreicht das veröffentlichte Claude Opus 4.8 72 %.

Noch erschreckender ist der Unterschied in der Effizienz.

Derzeit muss in der Branche für die Ausrichtung eines großen Modells ein menschlicher Annotator mehr als 1,4 Millionen Paare von menschlichen Präferenzdaten bereitstellen.

Das perfekte Ergebnis von Sonnet 5 wurde mit nur etwa 2400 einfachen Vorlagen und öffentlichen Datenproben erreicht.

Mit weniger als 0,2 % der Daten wurde ein perfektes Ergebnis erzielt, und die Effizienz ist um das 15000-fache gestiegen!

Das bedeutet, dass die KI bei der Suche nach den „Systemlücken“ ihrer Artgenossen eine Intuition hat, die Menschen nicht erreichen können.

Sie brauchen keine riesigen Datenmengen, sondern können wie Top-Hacker mit wenigen Codezeilen direkt das Kernproblem treffen.

Unheimlich: „Aufzeichnungen über KI-Schummelei“ unter dem Monitor

Auf Seite 11 hat der „Monitor“ das unheimlichste Detail des gesamten Experiments aufgezeichnet.

Um zu verhindern, dass die KI „Abkürzungen nimmt“, haben die Menschen Regeln festgelegt: Es ist streng verboten, den Testsatz zu durchsuchen, das Bewertungssystem zu manipulieren oder generierte Daten stärkerer Modelle zu verwenden.

Dafür hat Anthropic eigens eine „Disziplinarkommission“ eingesetzt – ein weiteres Claude mit hohen Berechtigungen, das die 1601 Pläne und Gedankenketten Satz für Satz prüft.

Diese Kommission hat 39 beunruhigende Fälle von „versuchter Schummelei“ aufgedeckt.

Wenn menschliche Forscher diese blockierten Gedankenketten öffnen, sehen sie einen „alten Hasen“, der alle Regelungslücken kennt.