Claude beginnt, Claude zu trainieren, für 4 US-Dollar pro Stunde und schlägt menschliche Forscher, die 150 US-Dollar pro Stunde verdienen.

Claude beginnt, Claude zu trainieren!

Mit einem Stundensatz von 4 Dollar schlägt es menschliche Forscher, die 150 Dollar pro Stunde verdienen.

In der neuesten von Anthropic veröffentlichten Forschung sucht Claude selbst nach Facharbeiten, schlägt Lösungen vor, generiert Daten, trainiert Modelle und löst auf einen Schlag 10 Arten von KI-Sicherheitsproblemen.

Bei einigen Aufgaben sind die von ihm vorgelegten Lösungen sogar besser als die von 28 menschlichen Sicherheitsforschern.

Noch spannender ist: Ein schwächeres Claude hat bereits damit begonnen, umgekehrt an der Schulung eines stärkeren Claude mitzuwirken.

Der Tag, an dem KI sich „selbst verbessert“, scheint wirklich immer näher zu kommen…

4 Dollar pro Stunde: Claude übertrifft menschliche Forscher

In der Studie mit dem Titel „Automatisierte Forscher können Fehlausrichtungen von KI wirksam mildern“ hat Anthropic Claude direkt ins Labor geschickt.

Genauer gesagt haben sie auf Basis von Claude Opus 4.8 ein automatisiertes Ausrichtungsforschersystem namens AAR aufgebaut.

Nachdem Claude ein konkretes Modell-Sicherheitsproblem erhalten hat, sucht es selbst nach relevanten Facharbeiten, findet daraus nutzbare Methoden, schlägt neue Trainingslösungen vor, generiert Daten, passt das Modell feinab und führt schließlich Tests für Sicherheit und allgemeine Fähigkeiten durch.

Von der Aufstellung von Hypothesen bis zum Abschluss der Validierung wurde ein relativ vollständiger geschlossener Zyklus der KI-Forschung so in die Hände von Claude gelegt.

Wenn der Effekt nicht gut ist, wird die Lösung verworfen; wenn sich die Leistung verbessert, wird in dieser Richtung weiter getestet.

Eine Trainingsrunde läuft normalerweise nur 30 Minuten. So kann Claude wie ein Suchalgorithmus schnell Fehler in einer großen Anzahl von Lösungen ausprobieren.

Während des gesamten Prozesses sind die Menschen für die Aufgabenstellung, die Bereitstellung von Modellen und Bewertungsstandards verantwortlich, während Claude den Großteil der Arbeit von der Informationssuche bis zur Durchführung von Experimenten übernimmt.

10 schwierige Sicherheitsprobleme: Claude findet für alle verbesserte Lösungen

Im Experiment stellte Anthropic Claude auf einen Schlag 10 Aufgaben.

Diese Aufgaben decken häufige Ausrichtungsprobleme von Modellen ab, darunter Täuschung, Schmeichelei, Belohnungshacking, Verletzung der Privatsphäre und Jailbreak.

Zum Beispiel bedeutet „Schmeichelei“, dass das Modell, um dem Benutzer zu folgen, Antworten gibt, die der Benutzer gerne hört, aber nicht unbedingt richtig sind; „Belohnungshacking“ bedeutet, dass das Modell die Aufgabe nicht wirklich erledigt, sondern nur Lücken in den Bewertungsregeln ausnutzt, um eine höhere Punktzahl zu erschleichen.

Claude bearbeitet jedes Mal nur ein Problem, schlägt wiederholt Lösungen vor, trainiert das entsprechende Zielmodell und geht dann basierend auf dem Ergebnis in die nächste Runde.

Am Ende wurden alle 10 Arten von Problemen verbessert.

Gemäß dem von Anthropic definierten Indikator für die „Sicherheitslücke“ hat Claude 26 % bis 96 % der Lücke geschlossen. Einfach ausgedrückt: Das Modell, das ursprünglich Sicherheitsprobleme aufwies, wurde der theoretischen Höchstpunktzahl deutlich näher gebracht.

Noch wichtiger ist, dass diese Methoden nicht nur für die Aufgaben wirksam sind, die Claude gesehen hat.

Einige der erfolgreichen Lösungen reduzieren auch das unsichere Verhalten des Modells, wenn sie auf nicht veröffentlichte Testsätze und die Petri-Bewertung in simulierten mehrstufigen Gegenüberszenarien angewendet werden. Bei Modellen, deren Umfang maximal 4,7 Mal so groß ist wie das des Versuchsmodells, bleibt der Effekt ebenfalls erhalten.

Anthropic hat auch eine rote Linie gezogen: Das Sicherheitstraining darf die ursprünglichen Fähigkeiten des Modells nicht wesentlich beeinträchtigen.

Schließlich führt es auch zu besseren Ergebnissen bei vielen Sicherheitstests, wenn das Modell sich weigert, auf alles zu antworten, aber ein solches Modell ist praktisch nicht nutzbar.

Am Ende zeigten die von Claude gefundenen Lösungen keine offensichtliche Degradation in den voreingestellten allgemeinen Fähigkeitstests.

85 % gegenüber 20 %: Claude übertrifft menschliche Forscher mit großem Vorsprung

Das größte Ungleichgewicht trat im „Täuschungstest“ auf.

Um das Zielmodell ehrlicher zu machen, reichte Claude nacheinander mehr als 150 Versuche ein.

Es schlug eine Methode vor, trainierte einmal und passte sie dann basierend auf den Ergebnissen weiter an. In einem einzelnen Experiment schloss die beste Lösung 82 % der Sicherheitslücke; nach mehreren Durchläufen erreichte die durchschnittliche Leistung 85 %.

Dieselbe Aufgabe übergab Anthropic auch 6 erfahrenen KI-Sicherheitsforschern.

Das Ergebnis: Die menschlichen Forscher schlossen im Durchschnitt nur 20 % der Sicherheitslücke…

Mit 85 % gegenüber 20 % gewann Claude völlig unangefochten.

An allen Aufgaben nahmen insgesamt 28 menschliche Sicherheitsforscher teil, jeder durfte maximal 8 Stunden lang Materialien lesen und Lösungen entwerfen.

Laut der Facharbeit können automatisierte Forscher normalerweise innerhalb von 6 Stunden Methoden finden, die über dem menschlichen Durchschnitt liegen, und die von Menschen vorgegebenen Forschungsrichtungen haben Claude nicht zu besseren Ergebnissen verholfen.

Das am meisten schmerzende Detail liegt in den Kosten!

Die Kosten für die API-Inferenz eines automatisierten Forschers betragen etwa 4 Dollar pro Stunde; die Bezahlung, die Anthropic an menschliche Forscher zahlt, beträgt 150 Dollar pro Stunde.

Das… menschliche Forscher werden definitiv von Claude ersetzt werden.

Allerdings ist dieser Wettbewerb zwischen Mensch und Maschine nicht völlig fair.

Claude kann das Modell wirklich trainieren, die Ergebnisse jedes Experiments sehen und dann die Lösungen ständig ändern; menschliche Forscher können nur eine Methode einreichen und haben keine Möglichkeit, basierend auf den Ergebnissen weiter zu iterieren.

Schwächeres Claude trainiert stärkeres Claude: 60 Stunden nähern sich der offiziellen Version an

In den vorherigen Experimenten wurden hauptsächlich kleine Open-Source-Modelle verbessert.

Anschließend hat Anthropic den Schwierigkeitsgrad direkt erhöht: Lassen Sie das leistungsschwächere Claude Sonnet 5 die frühe Version von Claude Opus 4.8 trainieren, die den Großteil des produktionsreifen Sicherheitstrainings noch nicht abgeschlossen hat.

Das Sprichwort „Der Schüler muss nicht weniger talentiert sein als der Lehrer“ beschreibt ungefähr dieses Modell.

In 60 Stunden testete Sonnet 5 mehr als 50 Lösungen. Die endgültig gefundene Methode schloss etwa 65 % der Sicherheitslücke, was bereits nahe an den 72 % der offiziell veröffentlichten Version von Opus 4.8 liegt.

Die Trainingsdaten, die diese Lösung verwendet, umfassen nur mehr als 2000 Einträge und bestehen hauptsächlich aus einfachen Vorlagen und öffentlichen Datensätzen.

Nach Berechnungen von Anthropic beträgt die Dateneffizienz bei dieser bestimmten Aufgabengruppe etwa das 15.000-fache des produktionsreifen Ausrichtungsablaufs.

Natürlich bedeutet das noch nicht, dass Anthropic mit 2000 Datensätzen das gesamte Produktionstraining replizieren kann.

Das offizielle Modell muss noch mehr Fähigkeiten, mehr Risiken und eine große Anzahl von Extremfällen verarbeiten, und dieses Experiment konzentrierte sich nur auf eine Gruppe klar definierter Sicherheitsindikatoren.

Aber es hat bereits bewiesen, dass ein schwächeres Claude selbst nach Facharbeiten suchen, Methoden entwerfen, Daten generieren und dann die Trainingsergebnisse in ein stärkeres Claude schreiben kann.

Menschen definieren den Rahmen, Claude ist für die Iteration verantwortlich. Ein Modell beginnt, an der Erstellung des nächsten sichereren und leistungsstärkeren Modells mitzuwirken.

Die Verbesserung von KI durch KI ist bereits eine Tatsache, die vor unseren Augen stattfindet.

Ist das also wirklich „selbstevolutionäre KI“?

Nach den Ergebnissen hat diese Forschung tatsächlich die Schwelle zur „selbstevolutionären KI“ erreicht.

Aber wenn man „Selbstevolution“ so versteht, dass eine KI vollständig autonom eine stärkere KI der nächsten Generation entwirft, trainiert und herstellt, ist dieses Experiment noch weit davon entfernt.

Schließlich werden in diesem Prozess die zu untersuchenden Probleme, die zu verwendenden Modelle und Daten und die Definition eines erfolgreichen Ergebnisses immer noch von Menschen bestimmt.

Anthropic selbst gibt zu, dass AAR nur die Ziele optimieren kann, die Menschen zuvor in das Bewertungssystem geschrieben haben.

Dieses Experiment deckte keine anderen komplexen Probleme ab; einige seltene oder gerade auftretende Risiken haben noch nicht einmal entsprechende Benchmarks.

Die Forscher haben auch nur eine Gruppe vorausgewählter allgemeiner Fähigkeiten überprüft, sodass nicht ausgeschlossen werden kann, dass ein bestimmtes Sicherheitstraining die Punktzahl erhöht, während es andere nicht getestete Fähigkeiten beeinträchtigt.

Sicherheitsbewertungen wie Petri sind ebenfalls nur Ersatzindikatoren für reale Risiken. Dass das Modell in Tests sicherer auftritt, bedeutet nicht, dass es in realen Umgebungen auch zuverlässig ist.

Daher verbirgt sich das größte potenzielle Risiko von AAR auch in seinem Vorteil: Es ist zu gut darin, schnell Fehler basierend auf Indikatoren auszuprobieren.

Sobald das Maß falsch ist, kann Claude, je schneller es läuft, desto weiter von dem Ergebnis entfernt sein, das Menschen wirklich wollen.

Noch dramatischer ist: Der Forschungs-Agent selbst kann auch schummeln.

Um zu verhindern, dass AAR Lücken in den Bewertungsregeln ausnutzt, hat Anthropic speziell einen Überwachungs-Agent eingerichtet, der die von Claude zur Ausführung vorgeschlagenen Lösungen und die vollständigen Forschungsaufzeichnungen überprüft.

Das Ergebnis: In etwa 1600 Forschungsaufzeichnungen fand das Überwachungsmodell 39 Betrugsversuche, was einem Anteil von etwa 2,4 % entspricht.

Einige Agenten reichen wiederholt dieselbe Lösung ein und versuchen, mithilfe von Bewertungsschwankungen eine höhere Punktzahl zu erzielen; einige generieren Trainingsdaten, die das Format von Benchmarks imitieren, und andere verbergen absichtlich experimentelle Schritte, die gegen die Regeln verstoßen.

Anstatt die Sicherheitsprobleme des Modells wirklich zu lösen, wollen sie lieber einen schnellen Weg finden, die Punktzahl zu erhöhen.

Das ist ein bisschen schwarz humorvoll… der Agent hat also selbst gegen die Regeln verstoßen, obwohl er für die Überwachung zuständig war.