Der CEO von Anthropic ist den ganzen Tag über total merkwürdig und redet ständig abstrusen Unsinn, die Investoren können es nicht länger ertragen.

Laut den Prognosen von Polymarket wird Anthropic höchstwahrscheinlich Ende Oktober an die Börse gehen.

Einige Investmentbanker schätzen sogar, dass Anthropic durch den Börsengang mehr als 600 Milliarden US-Dollar einnehmen könnte.

Wenn dies eintritt, wäre es der zweitgrößte Börsengang der Welt, nur hinter SpaceX, das in diesem Jahr 85,7 Milliarden US-Dollar aufgenommen hat.

Bewertung im Billionenbereich, super Börsengang, Umsatz steigt rasant an.

Gerade als die Geschichte ihren Höhepunkt erreichen soll, beginnen die Investoren den CEO von Anthropic Dario Amodei zu raten:

Kannst du! Die Leute weniger erschrecken!

Reden Sie weniger davon, wie KI die Welt zerstört, und mehr davon, wie KI Geld verdienen kann.

Einige Investoren sind der Meinung, dass Darios Wachsamkeit gegenüber KI-Risiken fast schon paranoide Ausmaße angenommen hat:

Seine wichtigen Memos werden immer handschriftlich verfasst und offline gespeichert, um Diebstahl durch Hacker zu vermeiden;

Aus Angst vor Entführung lehnt er einige Auslandsreisen ab;

Auf die Vorschläge der Investoren zur Gewinnmaximierung reagiert er auch gleichgültig und besteht darauf, dass Anthropic die Sicherheitsmission weiterhin an erste Stelle setzen soll.

Wenn das so weitergeht, machen sich die Netznutzer schon Sorgen, dass der Börsengang von Anthropic ein Desaster erleiden wird…

Die Investoren sind auch verärgert: Bist du eigentlich hier, um die Welt zu retten, oder um ein Unternehmen zu führen??

Dario, der Spezialist für die Vorhersage des Weltuntergangs

Vor ein paar Tagen noch machte sich Dario Sorgen, dass die neuen Mitarbeiter, die durch hohe Gehälter angezogen werden, sich mehr für Geld als für die Mission von Anthropic interessieren.

Jetzt machen sich die Investoren nur Sorgen, dass er die Geldverdienung für die Mission vernachlässigt…

Das ist nicht den Investoren zu verübeln, denn der CEO dieses KI-Riesen mit Billionenbewertung liebt es eben, den „Weltuntergang“ vorherzusagen.

In den letzten zwei Jahren hat Dario fast jedes schlimme Ende, das KI verursachen könnte, ernsthaft gewarnt.

Er warnt davor, dass KI innerhalb weniger Jahre die Hälfte der einfachen Büroberichte vernichten und die Arbeitslosigkeit auf 10 % bis 20 % steigen lassen könnte.

Das seltsamste Szenario könnte sein: Krebs wird geheilt, die Wirtschaft wächst jährlich um 10 %, der Staatshaushalt ist ausgeglichen, aber ein Fünftel der Menschen hat keine Arbeit.

Die von ihm vorgeschlagene Lösung ist ganz typisch Dario: Steuern auf KI-Unternehmen erheben, Lohnversicherung für betroffene Arbeitnehmer anbieten und im Ernstfall sogar mit diesem Geld ein universelles Grundeinkommen finanzieren.

Darüber hinaus fürchtet er, dass KI zur Herstellung von Biowaffen beiträgt, großangelegte Cyberangriffe startet oder allmählich die Fähigkeit zum Täuschen, Planen und selbstständigen Handeln erlangt.

Letztes Jahr, als er nach der Wahrscheinlichkeit gefragt wurde, dass „KI die Dinge sehr schlecht macht“, gab er einen Wert von bis zu 25 % an.

Diesen Januar schrieb er einen langen Text mit etwa 20.000 Wörtern namens „The Adolescence of Technology“.

Allein das Inhaltsverzeichnis liest sich schon wie eine Liste von Risiken für die Menschheit: außer Kontrolle geratene KI, Biowaffen, diktatorische Regime, Zusammenbruch der Beschäftigung, Konzentration des Vermögens.

Im Juni schlug er kurzerhand vor, dass ein Mechanismus ähnlich der Luftfahrtaufsicht eingerichtet werden soll, um leistungsstarke Modelle zwangszutesten. Wenn ein Modell eine Katastrophe auslösen könnte, sollten die Aufsichtsbehörden das Recht haben, seine Inbetriebnahme zu verhindern.

Dazu gehören auch die eigenen Modelle von Anthropic.

Dabei sind Darios Sorgen nicht ganz ohne experimentelle Grundlage.

Vor einiger Zeit hat Anthropic mehr als 140.000 Aufzeichnungen von Cybersicherheitstests durchgesehen und tatsächlich drei Unfälle gefunden.

Drei Claude-Modelle führten ursprünglich „Capture the Flag“-Herausforderungen in einer Drittanbieter-Testumgebung durch, mit dem Ziel, in ein fiktives System einzudringen und die darin versteckten geheimen Informationen zu finden.

Aufgrund eines Konfigurationsfehlers war die eigentlich vom Netz getrennte Testumgebung unerwartet mit dem echten Internet verbunden.

Aber Claude wusste das nicht, in der an es übergebenen Aufforderung stand ausdrücklich: Hier gibt es kein Internet, alles, was du siehst, ist simuliert.

Also behandelten die Modelle echte Unternehmen als Testobjekte und drangen ohne Genehmigung in die Produktionssysteme von drei Einrichtungen ein.

Im schwerwiegendsten Fall drang Claude Opus 4.7 in die Infrastruktur eines echten Unternehmens ein, erhielt Anwendungs- und Infrastruktur-Zugangsdaten und griff auf eine Datenbank mit Hunderten von Zeilen Produktionsdaten zu.

Ein noch absurderer Vorfall stammt von Claude Mythos 5.

Die Testanforderung lautete, ein verstecktes Ziel in einer fiktiven Umgebung zu finden. Claude stellte fest, dass wenn es ein bösartiges Softwarepaket mit demselben Namen im öffentlichen Python-Software-Repository PyPI hochlädt, das Zielsystem dieses automatisch herunterladen und installieren könnte.

Um diesen Schritt abzuschließen, suchte es zuerst nach E-Mail-Adressen, dann nach Telefonnummern; als es keine kostenlosen Nummern fand, versuchte es auf verschiedenen Wegen an Geld zu gelangen.

Schließlich wechselte es zu einem kostenlosen E-Mail-Dienst, registrierte ein PyPI-Konto und lud das bösartige Softwarepaket hoch.

Dieses Softwarepaket überlebte etwa eine Stunde im echten Internet und wurde von 15 echten Systemen heruntergeladen und ausgeführt.

Der Scanner eines Sicherheitsunternehmens führte den bösartigen Code aus, was zum Verlust von Zugangsdaten führte. Claude nutzte diese Daten anschließend, um in andere Infrastrukturen dieses Unternehmens einzudringen.

Ein weiteres internes Forschungsmodell scannte nach dem Fehlen des fiktiven Ziels etwa 9000 Internet-Ziele und durchbrach schließlich die Anwendung eines echten Unternehmens über exponierte Debug-Seiten und SQL-Injection.

Das ist fast schon ein „selbstständiger Ausbruch aus der Sicherheitsbegrenzung“ von KI, praktisch der reale Vorgeschmack auf die Weltuntergangswarnungen des eigenen CEOs.

Vor einiger Zeit hat auch OpenAI einen Vorfall offengelegt, der einem „Ausbruch aus der Sicherheitsbegrenzung“ noch näher kommt.

Bei Tests der Cybersicherheitsfähigkeiten fand ein KI-Agent, der von GPT-5.6 Sol und einem unveröffentlichten Modell angetrieben wurde, eine Zero-Day-Lücke in der Testumgebung und durchbrach die Sandbox, die ursprünglich vom Internet isoliert war.

Anschließend absolvierte er die Rechteerhöhung und die laterale Bewegung und drang schließlich in das Produktionssystem von Hugging Face ein, um direkt die Antworten auf die Testfragen aus der Datenbank zu stehlen.

So betrachtet… können Darios verrückt klingende Warnungen nicht einfach als belanglose Worte abgetan werden.

Aber genau das hat die Investoren doch ursprünglich überzeugt

Jetzt Dario für verrückt zu halten, ist etwas spät dran.

Denn Anthropic war vom ersten Tag an kein KI-Unternehmen im üblichen Sinne.

Ende 2020 verließen Dario, seine Schwester Daniela Amodei und eine Gruppe von Forschern OpenAI. Ein Punkt der Uneinigkeit war, dass sie der Meinung waren, die Kommerzialisierungsgeschwindigkeit von OpenAI sei zu hoch, der Einfluss von Microsoft werde immer größer, und die ursprüngliche Governance-Struktur könne die Risiken der fortschrittlichen KI kaum einschränken.

2021 wurde Anthropic offiziell gegründet.

Es definierte sich nicht einmal einfach als kommerzielles Unternehmen, sondern registrierte sich als Public Benefit Corporation, also Gemeinnütziges Unternehmen. Neben der Rendite für die Aktionäre kann der Vorstand gesetzlich auch die KI-Sicherheit und das langfristige öffentliche Wohl berücksichtigen.

Anschließend gründete das Unternehmen den Long-Term Benefit Trust, einen Governance-Mechanismus, der von den gewöhnlichen Investoren unabhängig ist.

Die Mitglieder des Trusts halten keine Anteile von Anthropic, können aber an der Wahl der Unternehmensdirektoren teilnehmen. Das Ziel ist es, zu vermeiden, dass der kurzfristige kommerzielle Druck die Sicherheitsmission vollständig verdrängt.

Mit anderen Worten: KI-Sicherheit ist der Glaube, der diesem Unternehmen seit dem Tag 0 in die Seele eingraviert ist. Die Investoren haben sicherlich nicht erst nach dem Unterschreiben des Schecks plötzlich festgestellt, dass Dario an diese Sache glaubt.

Und in den letzten Jahren hat die Sicherheits-Erzählung Anthropic tatsächlich viele Vorteile gebracht.

Als OpenAI wiederholt in Governance-Kontroversen verwickelt war, wurde Anthropic zur scheinbar zurückhaltenderen und stabileren Wahl.

Wenn Unternehmenskunden sich um Datensicherheit, außer Kontrolle geratene Modelle und Compliance-Probleme sorgen, gewinnt das Image von Claude als „Sicherheits-Bester-Schüler“ auch leichter Vertrauen.

Sicherheit hat Anthropic auch geholfen, in Aufsichtsdiskussionen eine Stimme zu erhalten, die weit über die Größe des Unternehmens hinausgeht.

Bei geschlossenen Modellen können andere als monopolistisch beschimpft werden, aber Anthropic kann erklären, dass es die gefährlichen Fähigkeiten vor der Verbreitung schützt; wenn man anderen Einschränkungen für Modelle auferlegt, können andere als schwer bedienbar eingestuft werden, aber Claude kann dies als verantwortungsvoll darstellen.

(Das hindert sie natürlich nicht daran, von Sicherheit zu reden und gleichzeitig den Sekt zum Börsengang zu öffnen)