Anthropic globale Warnung: OpenAI hat die "Zuverlässigkeitsschwelle" überschritten – die selbstbeschleunigende Entwicklung von KI hat begonnen

Es ist wie ein Donner im stillen AI-Bereich!

Anthropic hat eine Warnung an die ganze Menschheit gerichtet: Stoppen Sie die AI-Forschung!

Interne Daten von Anthropic zeigen, dass die Künstliche Intelligenz die Entwicklung der AI beschleunigt, und der Weg zur rekursiven Selbstverbesserung scheint bereits sichtbar zu werden.

Mit anderen Worten, die Künstliche Intelligenz nähert sich dem kritischen Punkt, an dem sie sich selbst schafft.

Dieser Prozess verläuft schneller, als Anthropic erwartet hatte. Deshalb ruft Anthropic dazu auf, die AI-Forschung zu verlangsamen oder einzustellen.

Zur gleichen Zeit hat Yann Dubois, der Leiter des Nachtrainingsteams von OpenAI, in einem neuesten Interview einen mikroskopischeren, aber ebenso nachdenklich machenden Blickwinkel geboten:

Die Evolution der Künstlichen Intelligenz ist kein plötzlicher Sprung, sondern erst gerade über die Zulassung!

In dem neuesten Interview hat er mehrere interne Perspektiven enthüllt:

Das Wachstum der Fähigkeiten der Künstlichen Intelligenz ist linear und kontinuierlich, aber die vom Nutzer erlebte "Nützlichkeit" ist diskret und springend.

Vor dem Erreichen einer bestimmten "Zuverlässigkeitsgrenze" ist die Künstliche Intelligenz nur ein Zauberspielzeug; sobald diese Grenze überschritten wird, wird sie zu einem vertrauenswürdigen Mitarbeiter, der sich selbst beschleunigt.

Diese Grenze hat OpenAI erst um Dezember letzten Jahres überschritten.

Darüber hinaus hat Yann Dubois eine gegenintuitiv erscheinende These aufgestellt: Das Aufbauen von Künstlicher Intelligenz ähnelt eher einem "Handwerk" als einer "Wissenschaft".

Diese Einsicht ist äußerst spannend: In diesem Bereich, der am stärksten auf Rechenleistung setzt, gewinnt schließlich etwas wie die "Intuition" einer Alchemie.

Er hat auch das Konzept des "letzten Kilometers der AI-Dividende" eingeführt.

Wenn wir alle Modelle jetzt einfrieren und uns nur auf vertikale Anwendungen (Harness) konzentrieren, könnten wir eigentlich schon auf dem Weg zu einer allgemeinen Künstlichen Intelligenz (AGI) sein.

Die Engstelle liegt nicht im Modell selbst, sondern in "Berechtigungen, Verbindungen und Daten". Dies wirft einen Kaltwasserstrahl auf die wartenden Entwickler und zeigt gleichzeitig den Weg zu den Goldminen.

Die Zuverlässigkeitsgrenze ist überschritten, die AI beschleunigt sich selbst

In den letzten Wochen war es im AI-Bereich sehr belebt: GPT 5.5 wurde veröffentlicht, und Claude Mythos ist ebenfalls aufgetaucht.

Insbesondere im Bereich der Netzwerksicherheit und des Code-Schreibens durch AI-Agenten hat man den Eindruck, dass sich die Dinge tagtäglich ändern, und der Fortschritt der Künstlichen Intelligenz scheint wie ein plötzlicher "großer Sprung".

Dubois' Meinung ist sehr unumwunden: Die Verbesserung der Fähigkeiten verläuft eigentlich kontinuierlich. Der Eindruck eines raketenartigen Sprungs entsteht, weil es eine "Zuverlässigkeitsgrenze" gibt.

Vor dem Überschreiten dieser Grenze ist die Künstliche Intelligenz wie ein cleverer, aber unberechenbarer Praktikant: Sie kann schreiben, rechnen und Vorschläge machen, aber man traut ihr keine wichtigen Aufgaben an.

Nach dem Überschreiten der Grenze kann man ihr vertrauen, "richtig arbeiten" zu lassen.

Er schätzt, dass OpenAI diese Grenze um "Dezember letzten Jahres" überschritten hat, was zu dem von außen wahrgenommenen "stufenweisen Sprung" führte.

Noch spannender ist der zweite Grund: Wenn das Modell gut genug ist, beschleunigt es die Forschung selbst.

Dies ist das, was Anthropic am meisten befürchtet.

Dubois erwähnt, dass insbesondere im Programmierbereich, wo die Forscher täglich Code schreiben, ein stärkeres Modell wie ein unermüdlicher Partner für das gesamte Team ist - es kann die Werkzeugkette aufbauen und bei der Entwicklung des nächsten Modells "AI mit AI" trainieren.

Sobald der Beschleunigungszyklus in Gang kommt, wird er immer schneller, und es ist nicht verwunderlich, dass die Entwicklung in den letzten Monaten "immer heftiger" wird.

Dies passiert auch innerhalb von Anthropic. Im zweiten Quartal 2026 hat jeder Mitarbeiter im Durchschnitt achtmal so viel Code geschrieben wie im ersten Quartal 2024.

Der dritte Treiber kommt von der "Modernisierung" des Verstärkungslernens (RL).

Frühe Inferenzmodelle wie o1 haben sich hauptsächlich auf Aufgaben mit "verifizierbaren Belohnungen" konzentriert - Mathematikaufgaben, Programmierwettbewerbe, weil die Richtigkeit klar definiert ist und die Belohnungen einfach zu definieren sind.

Aber im letzten Jahr haben sie die aus den Wettbewerben erlernten Werkzeuge auf realistischere und unschärfere Arbeitsumgebungen übertragen: Sie optimieren nicht mehr nur "Aufgaben mit einer richtigen Lösung", sondern "Dinge, die den Nutzern tatsächlich nützlich sind".

Kurz gesagt: Von einem Wettbewerbshelden zu einem Berufstätigen.

AI-Engineer sind keine Wissenschaftler, die AI wird "gezüchtet"

Sobald man in die reale Welt eintritt, entstehen Probleme: Wie kann man die Zuverlässigkeit verbessern?

Dubois hat ein sehr direktes "Wahrscheinlichkeitsmodell" vorgeschlagen:

Da viele heutige Systeme AI-Agenten sind, kann man sich grob vorstellen, dass "alle zwei Minuten eine gewisse Wahrscheinlichkeit besteht, dass ein Fehler auftritt"; je länger die Laufzeit, desto höher ist die Wahrscheinlichkeit, dass die endgültige Antwort fehlerhaft ist.

Das sogenannte "Verbessern der Zuverlässigkeit" bedeutet im Wesentlichen, diese "Fehlerwahrscheinlichkeit alle zwei Minuten" immer weiter zu senken.

Dies ist ein hartnäckiges Problem der AI-Agenten.

Dies erklärt auch, warum Dubois sagt, dass das Aufbauen von Künstlicher Intelligenz eher einem "Handwerk" ähnelt als einem "wissenschaftlichen Experiment" aus dem Lehrbuch.

In der Realität wird oft so vorgegangen: Man baut etwas mit Erfahrung, Intuition und wiederholtem Ausprobieren, sogar mit einer gewissen "Alchemie"; erst wenn es wirklich funktioniert, sucht man nach einer wissenschaftlichen Erklärung und einer Methodik.

Er hat auch ein bemerkenswertes Zwischenereignis erwähnt -

Als ChatGPT damals veröffentlichte, dass es RL verwendet, war seine erste Reaktion: "Das ist zu kompliziert, supervised fine-tuning (SFT) sollte reichen." Dies war auch der Gedanke, den er bei der Entwicklung von Alpaca an der Stanford University verfolgen wollte.

Aber später hat sich gezeigt, dass RL tatsächlich "plötzlich gut funktioniert", sobald das Modell eine bestimmte Größe erreicht hat, aber der Preis ist hoch - es sind viele Antworten zu sammeln, zu beurteilen, welche richtig und welche falsch sind, und die Rechenleistung und das Systemengineering kosten viel Geld.

Vertikale Harness-Anwendungen haben bereits AGI erreicht

Wenn man über das "Einbringen von AI in die Realität" spricht, kann man nicht um das von der Startup-Szene gerne genutzte Wort "Harness" (Ordnungssystem) herumkommen.

Einige sehen es als ein "Exoskelett" für AI-Agenten, andere bezweifeln, dass es nicht irgendwann von den Modellen "verschluckt" wird.

Dubois' Meinung ist sehr realistisch:

Kurzfristig ist ein vertikales Harness sehr wertvoll und kann die Zuverlässigkeit von 80 % auf 85 % erhöhen.

Aber man muss akzeptieren, dass die Modelle ständig stärker werden und das Harness immer wieder neu eingestellt werden muss.

Er glaubt, dass es praktisch unmöglich ist, ein langfristig stabiles und universell anwendbares "allgemeines Harness" zu entwickeln.

Er hat sogar eine sehr "herausfordernde" Behauptung aufgestellt: Wenn man die bestehenden Modelle heute "einfriert" und sich nur auf das Harness konzentriert und es daraufhin trainiert, werden viele Menschen in verschiedenen Bereichen möglicherweise "den Geschmack einer allgemeinen Künstlichen Intelligenz (AGI)" spüren.

Der letzte Kilometer

Was Dubois am meisten erregt und zugleich beunruhigt, ist das Problem des "kontinuierlichen Lernens".

Vor drei Jahren, als ChatGPT gerade aufkam, haben er und seine Freunde sogar ernsthaft darüber diskutiert, ob sie ein Startup für personalisiertes Gedächtnis und kontinuierliches Lernen gründen sollten.

Damals dachten sie, dass OpenAI das Problem "innerhalb von sechs Monaten" lösen würde, also haben sie es nicht gemacht; drei Jahre später, als er bereits bei OpenAI arbeitete, hat er festgestellt, dass das Problem immer noch nicht wirklich gelöst ist.

Das Problem der heutigen Modelle besteht darin: Am ersten Tag im Unternehmen kann es möglicherweise besser sein als die meisten neuen Mitarbeiter (hoher Startpunkt); aber danach bleibt es im Wesentlichen "wie es ist", weil es nicht in einer bestimmten Umgebung immer besser lernt und effizienter wird.

Die Lernkurve des Menschen steigt, während die der Künstlichen Intelligenz leicht flach wird.

Dubois glaubt, dass es eines der wichtigsten Probleme in Zukunft sein wird, die Kurve der Künstlichen Intelligenz von "flach" zu "kontinuierlich steigend" zu biegen.

Also, gibt es noch Raum für Startup-Unternehmen, vertikale Anwendungen zu entwickeln?

Dubois' Antwort ist klar: Ja, und zwar sehr viel.

Weil die eigentliche Engstelle oft nicht darin besteht, "ob das Modell intelligent genug ist", sondern im letzten Kilometer - wie man die Berechtigungen gewährt, die Daten anschließt, die Verbindungen herstellt und das Modell in den konkreten Geschäftsprozess integriert.