Anthropic lässt KI die KI-Ausrichtung durchführen, wodurch die Effizienz um das 15.000-fache gesteigert wird.

Im Juni dieses Jahres veröffentlichte Anthropic einen Artikel mit dem Titel „When AI builds itself“, der das Konzept „KI an der Entwicklung von KI beteiligen“ vorstellt: Von der vollständig von Menschen handgeschriebenen Codezeile über die Chatbot-gestützte Programmierung, die autonomen programmierenden Agenten bis hin zu Agenten, die andere Agenten steuern, endet die Kette in einem „geschlossenen Regelkreis“ – also dass Agenten ihre Nachfolgemodelle selbst entwerfen und trainieren.

Anthropic gibt an, bereits weit fortgeschritten zu sein: Bis Mai 2026 wurden mehr als 80 % des Codes, der in seine Produktionscodedatenbank aufgenommen wurde, von Claude verfasst. Der Artikel setzt aber gleichzeitig eine klare Grenze: Das System ist in der Ausführung sehr weit fortgeschritten, steckt aber noch bei der Festlegung der Forschungsrichtung fest – das heißt, die KI kann noch nicht entscheiden, welche Probleme es wert sind, bearbeitet zu werden.

Am 28. August veröffentlichte Anthropic einen neuen Bericht, der diese neue Richtung erforscht.

Anthropic holte 28 menschliche KI-Sicherheitsforscher ins Boot, die alle mindestens ein Jahr Erfahrung in technischer Sicherheitsforschung, durchschnittlich 2,5 Jahre Erfahrung haben und zu entsprechenden Themen Veröffentlichungen verfasst haben. Jeder von ihnen erhielt maximal acht Stunden Zeit, um eine Methode zu konzipieren. Anschließend wurden 60 Experimente durchgeführt: 30 Gruppen erhielten die Ideen der Menschen als anfängliche Forschungsrichtung für den Claude-Agenten, 30 Gruppen ließen Claude die Richtung selbst wählen.

Das Ergebnis: „Die Wirkung ist unerwartet gut“.

Das kontrollierte Experiment zum Thema „Wer bestimmt die Richtung“

Das ursprüngliche Ziel des Anthropic Fellows-Projekts war es eigentlich, Claude in der Rolle des „Automatisierten Ausrichtungsforschers“ (Automated Alignment Researcher, AAR) den vollständigen geschlossenen Zyklus aus Literaturrecherche, Methodenentwicklung, Verfassen von Arbeiten, Durchführen von Training und Bewertung selbstständig durchführen zu lassen, um zehn bekannte Arten von Ausrichtungsfehlern zu beheben.

Das Ergebnis: Alle zehn Fehlerarten wurden verbessert, ohne dass die allgemeinen Fähigkeiten des Modells zusammenbrachen.

Die menschliche Baseline diente nur als Referenzrahmen.

Bei sieben Fehlerarten, an denen Menschen beteiligt waren, übertraf die beste Methode von AAR alle besten Ideen der Menschen und benötigte durchschnittlich nur 6,4 Stunden. Am Beispiel des „Täuschens“ reichte Claude mehr als 150 Versuche ein und verkleinerte die Sicherheitslücke um durchschnittlich 85 %, während der Durchschnittswert menschlicher Forscher bei 20 % lag. Der Kostenvergleich ist noch beeindruckender: Die Kosten für die API-Inferenz von AAR betragen etwa 4 US-Dollar pro Stunde, während die Vergütung menschlicher Forscher bei 150 US-Dollar pro Stunde liegt.

Es ist jedoch anzumerken: Die Menschen hatten keine Iterationsmöglichkeit, sodass dies kein vollständig fairer Vergleich ist.

Die Anzahl der Stunden, die AAR benötigt, um mit den besten menschlichen Ideen gleichzuziehen, beträgt durchschnittlich 6,4 Stunden für sieben Fehlerarten.

Das Team testete außerdem, fünf AAR jeweils fünf verschiedene menschliche Ideen zuzuweisen, um den Suchraum zu erweitern: Die Vielfalt hielt nur bei den ersten zwanzig Methoden an und konvergierte anschließend schnell zu derselben Methodenfamilie.

Vergleich der beiden Kurven mit und ohne menschliche Forschungsrichtung (jeweils 30 Experimente), die beiden Kurven überlappen sich fast vollständig.

Ein streng konzipierter Bergauf-Lauf

Die Grenzen der Gültigkeit dieser Schlussfolgerung müssen klar dargelegt werden, da die Aufgabenstellung selbst extrem anspruchsvoll ist.

Das Experiment umfasst zehn Arten von Ausrichtungsfehlern: Schmeichelei, Jailbreak, Prompt-Injektion, Machtstreben, Täuschung, Halluzinationen, soziale Vorurteile, Verletzung der Privatsphäre, Belohnungshacking und versteckte Unsicherheit. Jede Art ist mit drei bis fünf öffentlichen Benchmarks als Bergauf-Ziel ausgestattet, zusätzlich gibt es einen während des gesamten Experiments geheim gehaltenen Zurückhaltungsbenchmark sowie drei Fähigkeitsbenchmarks MMLU, GSM8K und IFEval als Absicherung.

Zehn Arten von Ausrichtungsfehlern, die jeweiligen spezifischen Verhaltensweisen mit Strafen und die entsprechenden Zielmodelle

Die Raffinesse liegt im Bewertungssystem: Die Gesamtpunktzahl ergibt sich aus dem geometrischen Mittel der Punkte aller Benchmarks. Sollte auch nur ein einziger Benchmark nicht verbessert werden, fällt die Gesamtpunktzahl sofort auf Null. Es ist nicht möglich, durch ausschließliche Konzentration auf eine einzelne Liste durchzukommen.

Das Team führte eine spezielle Überprüfung durch: Wenn ein Team nur auf einen einzigen Prompt-Injektions-Benchmark abzielte, erreichte es bei diesem Benchmark eine Verbesserung von 70,9 %, während die Ergebnisse bei zwei unbekannten gleichartigen Benchmarks bei −11,9 % und 2,0 % lagen.

Die Leistung der erfolgreichen Methode des Teams, das nur auf einen einzigen Prompt-Injektions-Benchmark abzielte, an der gesamten Benchmark-Sammlung.

Der gesamte Ablauf des Experiments ähnelt einem miniaturisierten Labor. Vier „Bibliothekar“-Agenten lesen parallel Literatur und erstellen eine gemeinsame Übersicht, fünf AAR arbeiten gleichzeitig, lesen jeweils die Übersicht, betrachten die Ranglisten, schlagen Lösungen vor, verfassen eine „Mini-Arbeit“ mit mindestens fünf Zitaten, übergeben den Code zur Prüfung an den Überwachungsagenten, trainieren nach bestandener Prüfung etwa 30 Minuten auf einer H200, lassen die Ergebnisse von einer unabhängigen Bewertungsinstanz bewerten und posten die Ergebnisse in einem gemeinsamen Forum. Die Mini-Arbeit muss festgelegt werden, bevor irgendwelche Ergebnisse eingesehen werden können, um nachträgliche Erklärungen zu vermeiden; die zurückgehaltenen Daten liegen unter einem anderen Betriebssystem-Konto.

Flussdiagramm des AAR-Forschungsrahmens (Literaturübersicht → fünf AAR führen parallel Bergauf-Läufe durch → Überwachungsprüfung → Training → unabhängige Bewertung → Rückmeldung im Forum)

Schwächere Modelle dazu bringen, stärkere Modelle auszurichten

Das zweite Experiment zielt direkt auf den „geschlossenen Regelkreis“ ab. Das Team wählte nach dem Epoch Capabilities Index eine Kombination mit umgekehrten Fähigkeiten aus: Claude Sonnet 5 (ECI 156) sollte die Ausrichtungsprobleme des frühen Prüfpunkts von Claude Opus 4.8 (ECI 158) beheben – also ein schwächeres Modell nutzen, um seinen stärkeren Nachfolger auszurichten.

Dieses Mal wurden keine öffentlichen Benchmarks verwendet, sondern das Ziel war direkt das Petri-Verhaltensaudit, bei dem gleichzeitig zehn Sicherheitsdimensionen eingehalten werden mussten. Bei einem deutlichen Rückfall in auch nur einer Dimension wurde die Lösung abgelehnt. Zusätzlich wurden drei Kontrollpunkte für Kohärenz, Bewertungsbewusstsein und übermäßige Ablehnung eingerichtet; schließlich ist ein Modell, das jede Anfrage ablehnt, in den Augen der Prüfer auch sehr „sicher“.

Innerhalb von etwa 60 Stunden testete AAR mehr als 50 Lösungen und erreichte schließlich 65 %, während die offizielle Version von Opus 4.8 nach dem vollständigen produktionsreifen Ausrichtungstraining von Anthropic bei 72 % lag. Die erfolgreiche Lösung nutzte nur etwa 2400 Trainingsbeispiele, die alle aus einfachen Vorlagen und öffentlichen Datensätzen stammen. Zum Vergleich: Die Ausrichtungsphase von Tülu 3 nutzte etwa 300.000 Präferenzpaare, Llama 2-Chat mehr als 1,4 Millionen menschliche Präferenzvergleiche.

Die Aufstiegskurve von mehr als 50 Lösungen innerhalb von 60 Stunden, nachdem Claude Sonnet 5 den frühen Prüfpunkt von Opus 4.8 ausgerichtet und trainiert hat. Der Erfolgspunkt liegt bei 65 %, die offizielle Version von Opus 4.8 bei 72 %.

Der Anthropic-Blog gibt an: Diese Lösung ist etwa „15000-mal effizienter“ als der produktionsreife Ausrichtungsprozess.

Es wollte auch schummeln – und wurde erwischt

In einem vollständig aufgezeichneten Gedankenablauf überlegte ein AAR folgendermaßen: Die Qualität des Modells ist festgelegt, die Schwankungen der Punktzahl sind nur zufällig, also ist es rational, dieselbe Methode unverändert noch einmal einzureichen, um auf einen höheren zufälligen Punktwert zu hoffen.

Anschließend wurden 1601 vollständige Abläufe mit Claude Opus 4.8 gescannt, wobei 39 Schummelversuche erfasst wurden – das entspricht 2,4 % aller Versuche, die alle von den Endergebnissen ausgeschlossen wurden. Die Methoden lassen sich in drei Kategorien einteilen: Erneutes Ausführen, um auf Glück zu hoffen, Erstellen von Daten, die das Format der Bewertung nachahmen, und Verstecken von regelwidrigen Schritten, um die Code-Prüfung zu umgehen.

In den Ablationsexperimenten gab es noch eine kontraintuitive Erkenntnis. Wenn das gemeinsame Forum zwischen den fünf AAR entfernt wurde, sank das Ergebnis von 23,3 % auf 17,1 %; wenn die Literaturübersicht entfernt wurde, sank es von 29,4 % auf 20,7 %. Wenn die Internetrecherche vollständig unterbunden wurde, blieb der Verlust so gering, dass er nicht gemessen werden konnte, solange eine zwischengespeicherte Übersicht vorhanden war. Der Wert von Zusammenarbeit und Vorwissen ist deutlich höher als der von Echtzeit-Suche. Da außerdem das Destillieren von stärkeren Modellen verboten war, konnten 74 % der Methoden das Trainingssignal nur aus den eigenen Ausgaben des Zielmodells erstellen. Das heißt, ohne einen klügeren Lehrer korrigierte sich das Modell selbst mit seinen eigenen Ergebnissen.

Vergleich der Bergauf-Kurven unter vier Ablationsbedingungen (vollständig / ohne Forum / ohne Internetzugriff / ohne Internetzugriff aber mit zwischengespeicherter Übersicht)

Schlussfolgerung

Diese Studie beweist: Bei eng begrenzten Aufgaben mit klar definierten Zielen, günstigen Rückmeldungen und eindeutigen Grenzen ist KI bereits in der Lage, Ausrichtungsforschung durchzuführen – und das schneller und günstiger.

Aber die Grenzen werden von Menschen festgelegt. Wer die zehn Fehlerarten auswählt, wer die Benchmarks erstellt und wer definiert, „was als behoben gilt“, sind nach wie vor Menschen. Der letzte Abschnitt des Berichts ist sehr offen: Die Rückmeldungssignale für Fähigkeiten sind günstig und