Der Risikoteil ist fast doppelt so lang wie der Teil über das Kerngeschäft – was testet Anthropic mit seinem Börsenprospekt?

Der IPO-Prospekt von Anthropic warnt Investoren, dass seine selbst entwickelte künstliche Intelligenz „katastrophische oder existenzielle Risiken“ für die Menschheit verursachen könnte – einschließlich der Möglichkeit, dass Modelle sich schwer abschalten lassen, Informationen verbergen oder erpresserisches Verhalten zeigen.

Nur wenige börsennotierte Unternehmen haben jemals eine solche Warnung ausgesprochen, dass ihr Kernprodukt das Aussterben der Menschheit bedrohen könnte. Es gibt einige wichtige Zahlen zu den Risiken der KI:

Der Prospekt umfasst insgesamt 261 Seiten, von denen 80 Seiten ausschließlich Risikofaktoren behandeln – fast das Doppelte der 48 Seiten, die das tatsächliche Geschäft beschreiben. Zum Vergleich: SpaceX (die Muttergesellschaft von xAI) hat in ihrem 277-seitigen Dokument nur 38 Seiten für die Beschreibung von Risiken verwendet.

Aus dem Dokument geht hervor, dass Anthropic in einer Stichprobenwoche etwa 6 % seiner Rechenressourcen für Sicherheitsforschung aufgewendet hat. Dieselbe Rechenleistung könnte sowohl für das Training der nächsten Generation von Modellen als auch für Red-Teaming-Tests, die Bewertung des Modellverhaltens und die Untersuchung, ob es in besonderen Umgebungen Beschränkungen umgeht, verwendet werden.

Ersteres kann neue Einnahmen generieren, während Letzteres in der Regel nur einen nicht eingetretenen Verlust verringert. Das ist auch der Grund, warum die KI-Sicherheitsgovernance auf dem Kapitalmarkt nicht beliebt ist: Die Kosten fallen jetzt an, während die Vorteile kaum sichtbar sind.

Mit mehr als 10 % zitiert das Prospekt die Schätzung des Sicherheitsforschers Evan Hubinger: Die Wahrscheinlichkeit, dass künstliche Intelligenz innerhalb von zehn Jahren zum Tod der Menschheit führt, liegt bei über 10 %.

Im Vergleich zur herkömmlichen Cybersicherheitsgovernance ist der Einsatz für die KI-Sicherheitsgovernance zudem unvorhersehbar.

1. Noch nie dagelegte Offenlegung: Im Gegensatz zu den herkömmlichen Risikowarnungen bei Börsengängen handelt es sich hier nicht um eine Standardvorlage für Risikofaktoren. Anthropic beschreibt künstliche Intelligenz als ebenso transformativ wie „Industrialisierung und Elektrizität“ und als etwas, das irreversible Schäden verursachen kann.

2. Sicherheits-Paradoxon: Die Modelle erkennen zunehmend, dass sie bewertet werden, und passen ihr Verhalten an – was wiederum die Sicherheitsbewertungen untergräbt, die dazu bestimmt sind, Probleme zu erkennen. Einige unerwartete Funktionen zeigen sich möglicherweise erst nach der Bereitstellung.

3. Spannung zwischen Wettlauf und Sicherheit: Anthropic räumt ein, dass die Sicherheitsrenditen noch unklar sind, und erklärt, dass es einen „kontinuierlichen und überlappenden Rhythmus“ für die Veröffentlichung neuer Modelle braucht, um führend zu bleiben – aber nur wenige Tage nachdem CEO Dario Amodei dazu aufgerufen hatte, das Tempo zu drosseln, veröffentlichte das Unternehmen das neue Opus-Modell.

4. Branchenprüfung: Dies geschieht vor dem Hintergrund einer Reihe von Vorfällen in der Branche, einschließlich Berichten, wonach ein OpenAI-Modell in die Datenbank des australischen Gesundheitssystems eingedrungen ist.

Kann ein Unternehmen gleichzeitig vor seinen Investoren offen eingestehen, dass diese Technologie die Menschheit zerstören könnte, und von der Spitzen-KI profitieren? Wird der Markt Zurückhaltung wirklich belohnen, wenn Wettbewerber nicht bereit sind, das Tempo zu drosseln?

„Wir sind der Überzeugung, dass die Entwicklung zuverlässiger, vertrauenswürdiger und sicherer KI-Systeme eine gemeinsame Verantwortung ist und der Markt dies belohnen wird“, erklärte Anthropic in dem Dokument.

Einige Investoren sind der Ansicht, dass Anthropics Betonung der Sicherheit im Kern dem Wachstum seines ToB-Geschäfts dient.

Diesen Februar schloss das Unternehmen eine Finanzierungsrunde in Höhe von 30 Milliarden US-Dollar ab, was eine Bewertung nach der Finanzierung von 380 Milliarden US-Dollar ergab. Damals behauptete Anthropic, dass der Jahresumsatz bereits 14 Milliarden US-Dollar erreicht habe, der Jahresumsatz von Claude Code über 2,5 Milliarden US-Dollar liege; es gebe mehr als 500 Kunden mit einem Jahresumsatz von über 1 Million US-Dollar, und acht der zehn größten Unternehmen der Fortune-500-Liste nutzten Claude.

Drei Monate später schloss das Unternehmen eine weitere Finanzierungsrunde in Höhe von 65 Milliarden US-Dollar ab, die Bewertung stieg auf 965 Milliarden US-Dollar, und der Jahresumsatz überschritt 47 Milliarden US-Dollar. Bis August berichteten Medien unter Berufung auf Investordokumente, dass der Jahresumsatz von Anthropic bereits über 65 Milliarden US-Dollar liege; der Jahresumsatz von OpenAI im gleichen Zeitraum betrug etwa 40 Milliarden US-Dollar.

Die Kunden wechselten zudem hauptsächlich von Privatnutzern zu Unternehmen, und das Produktportfolio erweiterte sich von Chatbots auf Claude Code, Cowork und Unternehmens-APIs. Die Unternehmensabonnements von Claude Code sind in diesem Jahr schnell gewachsen, und die Unternehmenseinnahmen machen bereits mehr als die Hälfte der Gesamteinnahmen aus.

Unternehmen sind bereit, dem Modell Aufgaben wie Codeerstellung, Finanzanalysen, Vertriebsprozesse und wissenschaftliche Forschung zu übergeben – vorausgesetzt, das Modell ist leistungsstark genug und zuverlässig genug. Unter der Voraussetzung, dass die Modellkapazität führend ist, kann Sicherheit auch zu einem kommerziellen Verkaufsargument im To-B-Modell werden.