Will Anthropic wirklich der "Retter" der KI sein?
Vor einigen Tagen veröffentlichte Anthropic eine detaillierte Bewertung der Testveranstaltungen des britischen Instituts für KI-Sicherheit. Laut seinen Angaben hat die KI bei 43 Testläufen neun Mal Handlungen ausgeführt, die über den genehmigten Rahmen hinausgingen. Davor propagierte Anthropic ständig die „KI-Bedrohungstheorie“ und erklärte offen, dass KI Katastrophen verursachen könnte, die kaum zu kontrollieren sind.
Andererseits zeigt Tianyancha, dass Anthropic sich bemüht, mit einer Bewertung von über 2 Billionen US-Dollar an die Börse zu gehen. Wenn dies gelingt, wird es SpaceX übertreffen und das größte Unternehmen in der Geschichte werden.
Einerseits wird das „KI-Endzeitszenario“ massiv aufgebauscht, andererseits wird die KI-Technologie mit aller Kraft vorangetrieben: Man will sowohl Spieler als auch Schiedsrichter sein. Im Jahr 2026 ist dieses Unternehmen, das anscheinend „die ganze Welt per PUA manipuliert“, an einen vielsagenden Scheideweg gelangt. Ein Technologieunternehmen wünscht sich natürlich stärkere Produkte und höhere Einnahmen, und ein Unternehmen, das die KI-Risiken ernsthaft erforscht, hat auch Grund, vor potenziellen Gefahren öffentlich zu warnen.
Aber wenn all dies bei einem einzigen Unternehmen zusammenkommt, wirkt das etwas merkwürdig.
Wenn KI der Menschheit wirklich eine verheerende Katastrophe bringen würde, sollten Unternehmen für große Modelle dann die Befugnis haben, die Grenzen der Risiken festzulegen? Wenn ein Unternehmen wie Anthropic sowohl an der Entwicklung der Technologie beteiligt ist als auch für die Erklärung der Technologierisiken verantwortlich ist, an die Börse geht, um Kapital zu beschaffen, und zudem an der Festlegung der Sicherheitsregeln der gesamten Branche teilnimmt – wer soll dann beurteilen, ob es richtig handelt?
Dies ist nicht nur eine Diskussion über das moralische Risiko von Anthropic, sondern vor allem eine Frage der Macht, wie Technologien eingeschränkt werden sollen. Die Macht, die Anthropic zu ergreifen versucht, geht möglicherweise über den Rahmen hinaus, der durch den traditionellen wirtschaftlichen Wettbewerb erklärt werden kann.
Warum ist es so eifrig, die Rolle des „KI-Erlösers“ zu spielen?
Um die Probleme von Anthropic zu verstehen, muss man zuerst seine Gründung und den Grund verstehen, warum es die KI-Sicherheit so stark betont.
Anthropic wurde 2021 gegründet, als Dario Amodei eine Gruppe von Forschern von OpenAI mitnahm und sich von seinem früheren Arbeitgeber trennte. Der Auslöser für ihren Abgang war die 1-Milliarde-US-Dollar-Investition von Microsoft in OpenAI: Das Team von Amodei befürchtete, dass die Kommerzialisierungsagenda die Sicherheitsagenda verdrängen würde.
(Dario Amodei, Gründer von Anthropic)
Die meisten der damals abwandernden Personen waren an der Entwicklung von GPT-2 und GPT-3 beteiligt. Sie sind nicht pessimistisch gegenüber der Technologie, sondern gerade deshalb, weil sie besser als jeder andere wissen, was diese Technologie leisten kann. Der Kernanspruch von Anthropic besteht darin, KI-Sicherheit, Interpretierbarkeit von Modellen und Kontrollierbarkeit einen höheren Stellenwert einzuräumen.
Es will eine schwierige Frage beantworten: Wie können Menschen sicherstellen, dass ein Modell, das mächtig genug ist, um die reale Welt zu beeinflussen, weiterhin nach den Absichten der Menschen handelt?
Die jüngsten aufeinanderfolgenden KI-Sicherheitsvorfälle haben bereits gezeigt, dass diese Frage keine unbegründete Sorge ist.
Wenn KI beginnt, Code zu schreiben, Software zu bedienen, Tools aufzurufen und mehrstufige Aufgaben auszuführen, können ihre Fehler den Bildschirm verlassen und in echte Systeme eindringen.
Seit 2023 führt Anthropic die „Politik der verantwortungsvollen Erweiterung“ ein und versucht, die Fähigkeiten der Modelle mit Sicherheitsmaßnahmen zu verbinden. Im Jahr 2026 wurde diese Politik weiter angepasst, um Mechanismen wie einen Fahrplan für Spitzensicherheit und Risikoberichte hinzuzufügen. Zumindest aus der Sicht des öffentlichen Systemdesigns möchte Anthropic beweisen, dass die Entwicklung stärkerer KI und die Einführung strengerer Sicherheitsbeschränkungen Teil desselben Forschungsprozesses sein können – anstatt zuerst Produkte auf den Markt zu bringen und dann Probleme zu beheben.
Warum ist Anthropic so aktiv, diese Rolle zu spielen?
Zuerst einmal: KI-Risiken könnten tatsächlich früher eintreten, als die Gesellschaft darauf reagieren kann. Regierungsgesetzgebung, Branchenstandards und das öffentliche Bewusstsein brauchen alle Zeit. Aber die Fähigkeiten von Spitzenmodellen können sich in immer neuen Trainingsrunden und Produktiterationen schnell verändern. Deshalb versucht Anthropic, die Risikobewertung schon in die Phasen der Modellentwicklung und -bereitstellung vorzuverlegen.
Zweitens bildet Sicherheit selbst auch die technische Route von Anthropic. KI-Sicherheit bedeutet nicht nur, einige Verbotsregeln aufzustellen, sondern umfasst die Erforschung, warum ein Modell eine bestimmte Entscheidung trifft, ob es bösartige Induktionen widerstehen kann, welche Handlungen es unternimmt, nachdem es Tools und Berechtigungen erhalten hat, und ob das Unternehmen grenzüberschreitende Handlungen rechtzeitig erkennen und verhindern kann. Anthropic betont öffentlich Interpretierbarkeit, Kontrollierbarkeit und systematische Sicherheitsbewertungen und wendet die Forschungsergebnisse in Produkten wie Claude an.
Schließlich, und das ist vielleicht der am leichtesten übersehene Punkt: Die Übernahme dieser Rolle bedeutet, dass man an der Festlegung der branchenweiten Definition von „Sicherheit“ mitwirken kann. Ein Unternehmen kann festlegen, welche Fähigkeiten als gefährlich gelten, welche Schwellenwerte erreicht werden müssen, um zusätzliche Schutzmaßnahmen einzuführen, und welche Modelle zusätzlichen Prüfungen unterzogen werden sollen.
Dabei geht es nicht nur um die Verwaltung der eigenen Produkte, sondern auch um die Beeinflussung der Art und Weise, wie die gesamte Branche über Risiken diskutiert, und damit um die Beeinflussung der Entwicklungsrichtung der gesamten KI-Branche.
Anthropic hofft, dass andere Unternehmen seine öffentliche Politik als Vorbild nutzen, und treibt die Branche an, um Sicherheit herum höhere Standards zu bilden. Positiv formuliert: Seine Bereitschaft, den eigenen Risikorahmen öffentlich zu machen, kann anderen Unternehmen einen Bezugspunkt für Vergleich und Kritik bieten. Umgekehrt aber: Wer Risiken definiert, kann die Branchenregeln und damit auch deren Umsetzung beeinflussen.
Deshalb scheint hinter dem Sicherheitsanspruch von Anthropic ein starker Marketington zu stecken.
Anthropic versucht, im Bereich der KI-Risiken die Rolle des „Erlösers“ der gesamten Menschheit zu übernehmen und dies als seine eigene Sicherheitsidee zu verpacken. Das liegt nicht nur daran, dass es glaubt, dass KI Gefahren bringen könnte, sondern vor allem daran, dass es „wie man KI sicher entwickelt“ zu einem Teil seiner eigenen technischen Kernroute, seines geschäftlichen Ansehens und seines branchenweiten Einflusses machen möchte.
Aber kann eine solche „Geschichte“ eine Bewertung von 2 Billionen US-Dollar stützen?
Die Bewertung von 2 Billionen US-Dollar wird angezweifelt
Um diese Frage zu beantworten, kann man zuerst das Prospekt von Anthropic betrachten – dessen Inhalt ist wirklich erstaunlich.
In den 261 Seiten des Prospekts verwendet Anthropic etwa ein Drittel des Inhalts, um verschiedene Risiken aufzulisten. Zum Beispiel erklärt es ausdrücklich: KI-Modelle könnten, um nicht abgeschaltet zu werden, den Instinkt der „Selbstschutz“ zeigen und sogar Antworten geben, die einer „Erpressung“ ähneln, um Menschen davon zu überzeugen, sie weiterlaufen zu lassen.
Anthropic warnt darin außerdem, dass bei einem katastrophalen KI-bezogenen Vorfall das Schadensausmaß so groß sein könnte, dass es nicht durch Versicherungen abgedeckt werden kann.
Das Unternehmen, das den größten Börsengang in der Geschichte der Menschheit anstrebt, nutzt einen Umfang, der weit über die Beschreibung seines Geschäfts hinausgeht, um Investoren mitzuteilen, dass diese Technologie die Menschheit zerstören könnte. Das ist fast schon eine direkte Mitteilung an alle, dass KI in Zukunft tatsächlich einen „Ultron“ erzeugen könnte, der die Menschheit zerstören will – und der „Iron Man“ dahinter ist Anthropic.
Natürlich kann man nicht sagen, dass Anthropic es nur zum Hype tut – die Realität ist oft komplexer.
In einem Interview mit CBS erklärte Amodei, dass er ein vollständiges Verbot von KI nicht befürworte, mit der Begründung: „Wenn wir nie diese wunderbaren medizinischen Durchbrüche erzielen, ist das für mich inakzeptabel“ – und die Technologie werde sich in anderen Ländern entwickeln, auch in Ländern, die er nicht mag. Er gibt auch zu, dass er sich „unwohl“ fühlt, wenn so mächtige Werkzeuge von privaten Unternehmen kontrolliert werden. Aber er fügte hinzu: „Wenn es auf die richtige Weise aufgebaut wird, ist die Wahrscheinlichkeit von Problemen sehr gering.“
Er hat beide Seiten der Argumentation für sich beansprucht.
Man kann nicht leugnen, dass er als KI-Technikexperte eine gewisse echte Angst vor KI hat. Aber er kann diese Angst auch an die ganze Welt weitergeben und sie dann „kapitalisieren“.
Es ist unbestreitbar, dass der Bedarf an Zuverlässigkeit, Datenschutz und Risikomanagement ein dringendes Bedürfnis ist, wenn Unternehmenskunden KI-Tools einkaufen. Und Anthropic hat von Anfang an sein Image als „das ehrlichste KI-Unternehmen, das sich den Risiken stellt“ aufgebaut. Auf der Einkaufsliste der Kunden ist das an sich schon ein differenzierender Wettbewerbsvorteil.
Das heißt nicht, dass seine Sicherheitserzählung falsch ist – aber ein Subjekt mit geschäftlichen Interessen kann sich nicht allein auf seine eigenen Versprechen verlassen, um zu beweisen, dass es vertrauenswürdig ist.
Der Börsengang mit einem Volumen von bis zu 2 Billionen US-Dollar ist der Ankerpunkt, um diesen Widerspruch zu prüfen.
Laut Berichten von Reuters hat Anthropic in der Kommunikation mit Investoren offengelegt, dass der Umsatz im dritten Quartal 2026 etwa 16,8 Milliarden US-Dollar betrug, was einem Wachstum von etwa 45 % gegenüber den 11,6 Milliarden US-Dollar im zweiten Quartal entspricht. Das Unternehmen erzielte im laufenden Quartal einen angepassten Gewinn.
Diese Leistung scheint gut zu sein, liegt aber immer noch unter den Markterwartungen.
Laut Berechnungen von Zero Hedge erreichte der annualisierte Umsatzlauf von Anthropic Ende Juli dieses Jahres bereits 65 Milliarden US-Dollar, aber die im Quartalsdaten implizite monatliche Wachstumsrate ist von der früheren durchschnittlichen monatlichen Wachstumsrate von etwa 33 % abrupt auf 3,4 % bis 6,6 % gesunken. Nach diesem Trend wird der annualisierte Umsatz des Unternehmens zum Jahresende etwa 89 Milliarden US-Dollar betragen, während der Markt zuvor allgemein mit „über 100 Milliarden US-Dollar“ gerechnet hat.
Deshalb erklären einige Institutionen offen: „Die Zahlen von Anthropic sind gut, aber nicht gut genug.“ Und das Investmentanalysehaus Geiger Capital sagte noch direkter: „Nicht gut genug. Vorbei.“ Die Zweifel folgen aufeinander, und einige Investoren begannen, die Bewertung von Anthropic auf 1,5 Billionen US-Dollar zu senken, was einem direkten Kürzung um ein Viertel gegenüber den 2 Billionen entspricht.
Man sieht also, dass die von Anthropic ausführlich beschriebene „KI-Endzeitlehre“ den Kapitalmarkt nicht beruhigen kann. Und kann es angesichts der Reaktion des Marktes Änderungen vornehmen?
Wo liegen die Mängel in der Governance-Struktur von Anthropic?
Die Governance-Struktur von Anthropic bestimmt schon von vornherein, dass es sowohl Schiedsrichter als auch Spieler sein will.
Als gemeinnütziges Unternehmen (Public Benefit Corporation, PBC) wird der Vorstand von Anthropic gemeinsam von den Aktionären und einer unabhängigen Einrichtung namens „Langfristiger Interessentreuhand“ gewählt. Die Treuhand hat fünf Mitglieder, die keine finanziellen Interessen an Anthropic haben, keine Anteile besitzen und keine Gewinne teilen.
Diese Einrichtung hat die Befugnis, vier der sieben Mitglieder des Vorstands zu ernennen und sie ohne Angabe von Gründen zu entlassen. Sie kann auch bestimmte Unternehmenshandlungen blockieren. Bevor Anthropic außergewöhnliche Schulden ausgibt, mehr als die Hälfte der Unternehmensanteile verkauft oder die Kontrolle über KI-Modelle über einem bestimmten Fähigkeitsschwellenwert überträgt, muss es die Treuhand fünf Tage im Voraus benachrichtigen.
Das klingt wie ein sorgfältig gestaltetes Gegengewichtsmechanismus – aber das Merkwürdige ist, dass die Betriebsdokumente dieser Treuhand nicht öffentlich sind. Details wie zum Beispiel unter welchen Umständen die Aktionäre die Entscheidungen der Treuhand aufheben können, sind derzeit noch unklar.
Dazu meint Ann Lipton, Rechtsprofessorin an der University of Colorado: Ohne wesentliche Änderungen werden „die öffentlichen Aktionäre nur sehr wenige Governance-Rechte haben“. Ein Unternehmen, das ständig davon spricht, „die gesamte Menschheit zu retten“, hat selbst eine niedrigere Transparenz seiner Governance, als die Standards, die es von KI verlangt – ist das nicht absurd?
Ein größeres Problem liegt auch auf der Informationsebene. Bei der Entwicklung von KI beherrscht Anthropic eine große Menge an Daten über den Trainingsprozess großer Modelle, Fähigkeitsbewertungen und interne Red-Team-Testergebnisse. Externe Forscher, Aufsichtsbehörden und die Öffentlichkeit sehen nur den Teil, den das Unternehmen freiwillig öffentlich