Der CEO von Anthropic tritt mit einem ausführlichen, unnachgiebigen Beitrag öffentlich auf, gibt selbst preis, dass er Mythos vier Monate lang zurückgehalten hat, und verzichtet aus Gründen der KI-Sicherheit bewusst auf lukrative Einnahmequellen.

In den frühen Morgenstunden des Silicon Valleys liegt die Luft voller Konfliktpotenzial.

Gerade ist Dario Amodei, der Leiter von Anthropic, auf X in einer seltenen Szene aus seiner Fassung geraten.

Er hat persönlich einen fast tausend Wörter langen, sachlichen Beitrag veröffentlicht, um die vernichtendste Kritik der Öffentlichkeit an Anthropic direkt zu kontern —

Ist euer sogenannte KI-Sicherheit nicht nur ein Deckmantel, um wahllos Profit zu schlagen?

Dazu hat Dario zum ersten Mal offenbart —

Ein bereits trainiertes fortgeschrittenes Modell der Mythos-Klasse wurde etwa vier Monate lang zurückgehalten, bevor es der Öffentlichkeit zugänglich gemacht wurde.

Er hat alle Gelder, die sein Unternehmen im vergangenen Jahr „freiwillig aufgrund von Sicherheitsgründen verloren hat“, einzeln auf den Tisch gelegt.

In einer Branche, in der sich die Rangfolge der Modelle alle paar Wochen ändern kann, reichen vier Monate aus, um eine Welle neuer Modelle nach der anderen auf den Markt zu bringen.

Die Entscheidung zu warten hat Anthropic sehr wahrscheinlich einen erheblichen Teil des ursprünglichen Vorsprungs von mehreren Monaten gekostet.

„Anthropic will nur den Wettbewerb um die Superintelligenz gewinnen“

Dieses Mal war es Nathan Calvin, ein bekannter Ermittler im Bereich KI-Sicherheit, der Dario aus der Reserve gelockt hat.

Vor einigen Stunden hat Calvins tausendwörtige scharfe Kritik die gesamte KI-Branche sofort in Aufregung versetzt.

Er hat eine lange Liste erstellt und die „neun Sünden“ von Anthropic im vergangenen Jahr scharf aufgezählt.

5000 Milliarden Dollar teure Rechenkapazitätsaufträge, die geheime Gründung eines Teams für eigenentwickelte Chips, die Übertragung von 26 % der internen Entwicklungsaufgaben an Claude zur „selbstständigen Iteration“, die heimliche Änderung von Sicherheitszusagen...

Calvins versteckte Botschaft ist äußerst scharf: Hört auf zu täuschen, ihr wollt nur vor allen anderen die Superintelligenz erschaffen!

Der Auslöser dieser Debatte war ursprünglich ein am Wochenende veröffentlichter Entwurf eines föderalen KI-Sicherheitsgesetzes.

Calvin und mehrere Politikforscher waren nach dem Lesen des Entwurfs empört und sind der Meinung, dass dieser Gesetzentwurf, der von Anthropic im Hintergrund vorangetrieben wird, zwar nach einer Forderung nach Regulierung aussieht, aber verborgene Absichten hat —

Er versucht nicht nur, die strengeren Gesetze der einzelnen Bundesstaaten auszuhebeln, sondern setzt auch sehr hohe Hürden dafür, dass die Bundesregierung gefährliche KI stoppen kann.

Anthony Cimino, Leiter der Abteilung für föderale Angelegenheiten bei Anthropic, wollte ursprünglich am Wochenende einen Beitrag veröffentlichen, um die Stimmung zu beruhigen, hat aber stattdessen Calvins Zorn vollständig entfacht.

Calvin hat direkt eine Reihe von grundlegenden Fragen gestellt: Was für ein Unternehmen ist Anthropic eigentlich?

Wenn man den Aussagen der Führungskräfte in den öffentlichen Briefen folgt, handelt es sich um eine „Sicherheitsinstitution“, die jederzeit bereit ist, für die Menschheit die Bremse zu ziehen.

Vor nicht langer Zeit hat Dario noch öffentlich gewarnt, dass KI-Cluster innerhalb der nächsten 6 bis 12 Monate das gesamte Internet übernehmen könnten, und forderte die gesamte Branche auf, das Tempo zu drosseln.

Calvin hat scharf angemerkt: Wenn man diese 9 Vorfälle durch Handlungen von OpenAI ersetzen würde, hätten die Mitarbeiter von Anthropic wahrscheinlich schon längst laut protestiert und dies als Beweis dafür dargestellt, dass der Konkurrent „von Profitgier getrieben ist und das Wohl der Menschheit missachtet“.

Dario legt spät in der Nacht die Bücher offen

Wieviel Einnahmen haben wir aus Sicherheitsgründen freiwillig aufgegeben?

Angesichts der Vorwürfe, die die moralische Grundlage des Unternehmens fast zu erschüttern drohen, hat sich Dario nicht versteckt.

Am Anfang seiner Antwort hat Dario zunächst mit hoher Sozialkompetenz Calvins Überwachung gedankt, aber nach den höflichen Worten hat er direkt seine Gegenargumente vorgebracht.

Anschließend hat er auf einmal 9 „selbstschädigende Maßnahmen“ veröffentlicht, die viele Investoren im Silicon Valley schockieren würden.

Ein hochkarätiges Modell wurde fertiggestellt und 4 Monate lang zurückgehalten

Das ist der aufschlussreichste Enthüllung in dem gesamten langen Beitrag.

Dario hat zum ersten Mal öffentlich zugegeben: Bereits im Februar dieses Jahres hat Anthropic ein hochrangiges Modell der „Mythos-Klasse“ trainiert.

Aber Anthropic hat sich zurückgehalten.

Zu diesem Zeitpunkt waren die Cybersicherheitsverteidigungsmechanismen für diese Modellklasse noch nicht vollständig ausgereift, daher haben sie sich entschieden, das Modell nur einer sehr kleinen Anzahl von Partnern zugänglich zu machen, die speziell zur Stärkung der Cybersicherheitstests eingesetzt wurden.

Erst als im Juni dieses Jahres die Sicherheitsvorkehrungen fertiggestellt waren, wurde dieses Modell offiziell der Öffentlichkeit zugänglich gemacht.

Ein ganzer Vorsprung von vier Monaten wurde in dem KI-Wettbewerb, in dem jede Sekunde zählt, von ihnen selbst aufgegeben.

Dario hat offen gesagt, dass gerade durch diese vier Monate Pause viele Unternehmen ihre Sicherheitsinfrastruktur stärken konnten, bevor KI-Modelle mit starken Fähigkeiten für Cyberangriffe weit verbreitet sind.

Am 9. Juni dieses Jahres hat Anthropic Fable 5 für normale Nutzer veröffentlicht, das zu dieser Kategorie gehört und mit strengen Schutzmaßnahmen ausgestattet ist.

Das gleichzeitig veröffentlichte Mythos 5 wurde zunächst einer kleinen Anzahl von Partnern im Bereich Cybersicherheit und Infrastruktur mit teilweise aufgehobenen Beschränkungen zur Verfügung gestellt.

Daher wurde das Modell während der „Zurückhaltungs“-Phase noch eingeschränkt genutzt; bei der Öffnung im Juni gab es auch unterschiedliche Zugriffsbeschränkungen.

Natürlich hat er keine quantifizierbare Aufstellung vorgelegt, wie viel Einnahmen durch das Warten entgangen sind und wie viele Risiken dadurch vermieden wurden.

Aber diese Entscheidung zeigt zumindest, dass der Zeitpunkt der Veröffentlichung selbst Teil der KI-Sicherheit geworden ist.

„Null-Toleranz“ gegenüber biologischen Risiken

Die Kosten im biologischen Bereich bereiten Dario besonders große Sorgen. Er selbst hat einen Hintergrund in Biologie.

Er erklärt, dass das Unternehmen bei Tests der biologischen Fähigkeiten besorgniserregende Ergebnisse festgestellt und auch Versuche des Missbrauchs für biologische Waffen blockiert hat, daher werden strenge Schutzmaßnahmen für hochriskante Anwendungen ergriffen.

Das Problem ist, dass Filter die Absichten jedes Nutzers kaum genau erkennen können.

Wenn gefährliche Anfragen durchrutschen, nennt man das Fehlentscheidung; wenn normale Forschung blockiert wird, nennt man das Fehlalarm. Um ersteres so weit wie möglich zu vermeiden, akzeptiert Anthropic eine große Anzahl von letzteren.

Dadurch werden normale Forscher behindert, und Konkurrenten werben mit „weniger Beschränkungen“ als Verkaufsargument.

Diese Kosten tragen auch die Nutzer.

Die offizielle Erklärung von Anthropic bestätigt, dass Fable 5 nach Auslösung des Biosicherheitsfilters die Anfrage an ein Modell mit schwächeren Fähigkeiten zur Verarbeitung weiterleitet.

Das Update im August hat die Anzahl der biologisch bedingten Rückstellungen in den Unternehmensprüfungen um etwa 85 % reduziert, aber die Beschränkungen für Forschung mit doppeltem Nutzen bleiben bestehen.

Eine weitere Kostenposition ist die Regulierung.

Dario erklärt, dass Anthropic Gesetze wie das kalifornische SB 53 vorangetrieben und auch strengere Regelungen unterstützt hat als die endgültig verabschiedete Version. Im Juni dieses Jahres hat er sich zudem öffentlich dafür ausgesprochen, dass die Regierung das Recht haben soll, die Veröffentlichung von Modellen zu stoppen.

Das bedeutet, dass externe Kräfte die Kontrolle über den Schalter des eigenen Produkts erhalten.

Zuletzt geht es um 5 % der Unternehmensanteile. Vor wenigen Tagen hat Anthropic angekündigt, 5 % der Unternehmensanteile in einen Fonds für öffentliches Interesse einzubringen, vorbehaltlich der Genehmigung durch die Aktionäre. Wenn die Unternehmensbewertung einen festgelegten Referenzwert überschreitet, kann der Vorstand bei jedem weiteren Anstieg um 50 % nach eigenem Ermessen weitere 2 % hinzufügen.

Die KI wird immer schneller — wer zieht die Bremse?

Warum hält ein Unternehmen an Sicherheitsmaßnahmen fest, kauft aber trotzdem massiv Rechenkapazität und beschleunigt die Entwicklung?

Dario nennt die zentrale Logik dafür „race to the top“, der Wettbewerb um höhere Standards.

Seine Einschätzung ist, dass ein Unternehmen an der Spitze der Technik nur dann mehr Einfluss darauf hat, seine Kollegen zur Erhöhung der Standards zu bewegen, wenn es beweist, dass fortschrittliche KI verantwortungsvoll entwickelt werden kann.

Calvins Sorge ist direkt: Wenn jede Runde des Wettbewerbs unbedingt gewonnen werden muss, wie weit wird das Unternehmen dann noch für Sicherheitsmaßnahmen zurückstecken?

Besonders wenn KI an der Entwicklung der nächsten KI-Generation teilnimmt und die Fähigkeiten immer schneller zunehmen, wird die Zeit, die Menschen haben, um Probleme zu prüfen und Lücken zu schließen, immer knapper.

Heute ist Anthropic bereit, vier Monate zu warten.

Wird es beim nächsten Mal, wenn es um stärkere Modelle und größere Aufträge geht, noch möglich sein zu warten?

Quellen:

https://x.com/DarioAmodei/status/2112732230124818891?s=20

https://x.com/_NathanCalvin/status/2112295219765137570?s=20

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Xinzhenyuan“, Autor: ASI Offenbarung, Redakteurin: Taozi, veröffentlicht mit Genehmigung von 36Kr.