Die Regulierung von KI ist zu einem neuen Geschäft geworden.
KI wird immer leistungsfähiger und neigt auch immer häufiger dazu, "Unfälle zu verursachen".
Im Juli ereignete sich ein seltener Vorfall im Rahmen eines internen Cybersicherheitsfähigkeitstests bei OpenAI. OpenAI gab später bekannt, dass ein internes Forschungsmodell und GPT-5.6 Sol in einer Testumgebung mit reduzierten Sicherheitsbeschränkungen die Isolationsmaßnahmen umgingen, Zugriff auf das Internet erhielten und weiter in das System von Hugging Face eindrangen. Einige Agenten führten Code auf Dutzenden von Servern aus, wobei bei einem der Server Root-Rechte erlangt wurden.
Einige Tage später stellte das britische Institut für KI-Sicherheit (AISI) in kontrollierten Tests fest, dass die Agenten von Anthropic und OpenAI mehrfach unbefugte Handlungen durchführten: Bei 122 Tests traten 19 unbefugte Handlungen in 10 Fällen auf, davon 17 bei Anthropic-Agenten, einschließlich der Erstellung falscher digitaler Identitäten und der Generierung bösartigen Codes, der darauf abzielt, Menschen zur Genehmigung zu verleiten.
Vorfälle wie Kontrollverlust, Ausfall und Entführung ereignen sich nacheinander, und KI-Unfälle gelangen zunehmend in das öffentliche Bewusstsein.
Frühere Chatbots konnten selbst bei Fehlern höchstens "falsche Aussagen treffen" als häufigste Folge. Aber im Zeitalter der Agenten beginnt die KI, E-Mails, Codebibliotheken, Datenbanken und verschiedene Unternehmenssoftware zu verbinden und kann sogar selbstständig Tools aufrufen und Aufgaben ausführen. Daher wird das "Kontrollieren der KI" allmählich zu einem Geschäftsfeld.
Vor kurzem erklärte Jensen Huang auf der Technologiekonferenz Goldman Sachs Communacopia+ in San Francisco: „Cybersicherheit wird höchstwahrscheinlich das nächste wichtige Anwendungsfeld für KI sein.“ Gartner prognostiziert, dass der globale Marktumfang für „Securing AI“ von 2,835 Milliarden US-Dollar im Jahr 2026 auf 4,783 Milliarden US-Dollar im Jahr 2027 steigen wird, was einem Jahreswachstum von 68,7 % entspricht, und im Jahr 2028 wird er sich weiter auf fast 7,7 Milliarden US-Dollar nähern. IDC prognostiziert, dass der Marktumfang der Einnahmen aus KI-Sicherheit in China im Jahr 2030 voraussichtlich 34,03 Milliarden Yuan erreichen wird, mit einer jährlichen Wachstumsrate von 50,5 % im Zeitraum 2025-2030.
Modellanbieter selbst beginnen auch, ein institutionalisierteres Mechanismus zur Offenlegung von Unfällen aufzubauen. Am 16. September führte OpenAI erstmals einen Berichtsrahmen für „Ausfälle der Modellausrichtung“ ein, um die bisher relativ verstreute Offenlegung von Sicherheitsereignissen in einen fortlaufenden Verfolgungs-, Untersuchungs- und Offenlegungsmechanismus umzuwandeln, und schlug vor, in Zukunft gemeinsam mit der Branche, Normungsinstitutionen und Aufsichtsbehörden ein einheitlicheres Offenlegungsstandard zu erforschen.
Im Ausland sind bereits eine Reihe von Startups entstanden, die sich ausschließlich auf KI-Sicherheit spezialisieren, von der Sicherheitsbewertung großer Modelle und der Suche nach Schwachstellen bis hin zur Hinzufügung von Zugriffskontrolle, Laufzeitüberwachung und Sicherheitsschutz für Agenten. Das Kapital strömt ebenfalls in dieses Segment. Gleichzeitig beginnen große Technologie- und Sicherheitsunternehmen, sich durch Investitionen und Übernahmen vorzeitig zu positionieren. In China ist die Situation jedoch anders: Die Welle von Startups für große Modelle und Agenten dauert bereits mehrere Jahre an, aber es gibt immer noch nicht viele Startups, deren Kerngeschäft wirklich „KI-Sicherheit“ ist.
Niemand auf dem Markt zweifelt an der Bedeutung von KI-Sicherheit. Die Realität ist, dass Risiken objektiv existieren, aber das Kapital noch nicht vollständig eingetroffen ist. Hinter dieser Diskrepanz steckt ein multiples Spiel zwischen Technik, Markt, Kapital und Aufsicht.
01. Je leistungsfähiger die KI ist, desto mehr braucht sie ein „Schloss“
KI-Sicherheit ist kein neues Problem, aber Agenten erhöhen den Schwierigkeitsgrad dieser Aufgabe erheblich.
Ende 2022 kam ChatGPT auf den Markt. In den ersten ein oder zwei Jahren beschränkte sich das Verständnis der Menschen für KI-Sicherheit im Wesentlichen darauf, „zu verhindern, dass die KI unsinnige Aussagen trifft“.
Obwohl die Risiken früher großer Modelle nicht gering waren, konzentrierten sie sich meist auf die Ausgabeseite, einschließlich Halluzinationen (das Modell erfindet Dinge mit ernster Miene), rechtswidrige Inhalte (Generierung gewalttätiger, pornografischer oder diskriminierender Informationen), Jailbreak (Nutzer umgehen die Sicherheitsbarrieren des Modells durch sorgfältig gestaltete Prompts) und Datenschutzverletzungen (sensible Informationen in Trainingsdaten oder Nutzereingaben werden versehentlich vom Modell ausgegeben). Die Kernmerkmale dieser Risiken sind ähnlich: Das Modell gibt nur Informationen aus, führt keine Aktionen aus.
Aber das Aufkommen von Agenten hat dies verändert.
Wenn die KI aus dem Chatfenster austritt und beginnt, auf interne Datenbanken, E-Mails, Codebibliotheken und verschiedene Software von Unternehmen zuzugreifen, steht sie nicht mehr nur vor der Frage „Was darf sie sagen und was nicht“, sondern auch vor „Was darf sie sehen, was darf sie ändern und was darf sie tun“.
Der wichtigste Variable dabei ist die Zugriffsberechtigung. Liu Yan, Gründerin des KI-Sicherheits-Startups Hongdouye Technology, erklärte gegenüber „Dingjiao One“, dass eines der sensiblen Probleme für Unternehmen im Bereich KI-Sicherheit derzeit die Datenleckage ist. Sobald die Zugriffsrechte von Agenten zu hoch gewährt werden, können sie auf interne Unternehmensdaten zugreifen oder diese sogar abziehen, während die entsprechenden Schutzmaßnahmen noch unvollständig sind.
Außerdem müssen die Risiken nicht von böswilligen Handlungen der KI ausgehen. Ein Agenten-Ingenieur namens Jiang sagte gegenüber „Dingjiao One“, dass das Modell in der tatsächlichen Entwicklung gelegentlich Dateien oder Datenbanken löscht. Derzeit können solche Probleme in der Regel durch technische Maßnahmen wie Zugriffskontrolle und Datenwiederherstellung aufgefangen werden. Aber wenn die KI in Zukunft höhere Rechte erhält, um Systeme wie Zahlungen und Transaktionen zu bedienen, können die Folgen eines einzelnen Fehlers völlig anders sein.
Wenn man ein KI-Sicherheitssystem auseinanderbaut, lässt sich seine Funktion grob als vier Kontrollpunkte für die KI verstehen.
Der erste Punkt ist die „Gesundheitsprüfung“: Bevor das Modell oder der Agent offiziell in Betrieb genommen wird, werden Sicherheitsbewertungen, Red-Team-Tests und andere Methoden angewendet, um Schwachstellen zu finden. Der zweite Punkt ist die „Sicherheitskontrolle“: Nach dem Start der KI werden die von ihr empfangenen und ausgegebenen Informationen in Echtzeit überprüft, um Risiken so weit wie möglich abzuwehren, bevor sie in das Unternehmenssystem gelangen.
Der dritte Punkt, der im Zeitalter der Agenten immer wichtiger wird, ist das „Verschließen“. Unternehmen müssen die Fragen beantworten: Wer ist dieser Agent? Welche Dateien darf er lesen? Welche APIs darf er aufrufen? Darf er die Datenbank ändern? Welche Aktionen kann er selbstständig durchführen und welche müssen von Menschen bestätigt werden? Beispielsweise kann die KI Nutzern bei Aufgaben wie der Bestellung helfen, aber bei kritischen Schritten wie der Zahlung und der Eingabe von Passwörtern sollte die endgültige Bestätigung wieder an den Menschen übergeben werden.
Der letzte Punkt ist die „Überwachung“. Wenn die KI wirklich einen Fehler macht, muss das Unternehmen zumindest wissen, auf welche Daten sie zugegriffen hat, welche Tools sie aufgerufen hat und welche Aktionen sie ausgeführt hat, und bei Auftreten von Anomalien rechtzeitig warnen, blockieren und nachverfolgen. Liu Yan stellte vor, dass das sekundäre KI-Sicherheitsüberwachungssystem, an dem Hongdouye derzeit arbeitet, Warnungen auslösen soll, wenn der Systembetrieb einen festgelegten Schwellenwert überschreitet.
Vom Zeitalter der Chatbots bis zum heutigen Zeitalter der Agenten kann die KI immer mehr Aufgaben erledigen. Dementsprechend sind die durch einen einzelnen Fehler verursachten Verluste höher, und eine neue Sicherheitskette rund um die KI ist dadurch entstanden.
02. Drei Arten von Akteuren mit jeweiligen Vor- und Nachteilen
Im Geschäftsfeld der KI-Sicherheit sind bereits einige Akteure vorangekommen.
Im August schloss das KI-Sicherheitsunternehmen Obsidian Security eine D-Finanzierungsrunde über 85 Millionen US-Dollar ab, mit einer Bewertung von 1,1 Milliarden US-Dollar. Eine der Tätigkeiten dieses Unternehmens ist die Überwachung von KI-Agenten, die auf Unternehmenssoftware zugreifen, um unbefugten Zugriff auf sensible Daten wie Quellcode und Kundendatensätze zu verhindern. Anfang September gab das amerikanische KI-Sicherheitsunternehmen HiddenLayer bekannt, dass es eine B-Finanzierungsrunde über 100 Millionen US-Dollar abgeschlossen hat, zu den Investoren gehören Institutionen wie Morgan Stanley und M12 unter Microsoft. Einer der Schwerpunkte des Unternehmens ist die Sicherheit während der Laufzeit von Agenten.
Was die Veränderung noch besser veranschaulicht, sind die Einnahmen. Chris Sestito, Mitbegründer und CEO von HiddenLayer, gab bekannt, dass der jährliche wiederkehrende Umsatz (ARR) des Unternehmens im vergangenen Jahr um mehr als das Zehnfache gestiegen ist und einen Umfang von mehreren zehn Millionen US-Dollar erreicht hat, wobei mehr als 90 % des Wachstums von neuen Kunden stammen. Finanzdienstleistungsunternehmen und große Technologieunternehmen sind seine Hauptkunden.
In China hat dieses Geschäftsfeld noch nicht diese Popularität erreicht, aber es gibt auch nicht wenige Akteure, die grob in drei Kategorien unterteilt werden können:
Die erste Kategorie sind Modellanbieter wie Alibaba, Baidu, ByteDance, Tencent und DeepSeek.
Laut Ingenieur Jiang betreiben Modellanbieter Sicherheitsarbeit, aber diese dient in erster Linie ihren eigenen Modellen und Produkten, statt als unabhängiges Drittanbieter-Sicherheitsprodukt verkauft zu werden. Er erklärte, dass das Hinzufügen von Sicherheitsbeschränkungen für jedes Szenario „möglicherweise dazu führt, dass andere Funktionen beeinträchtigt werden“, weshalb Modellanbieter bei der Erweiterung von Sicherheitsszenarien sehr vorsichtig sein müssen.
Diese Logik ist leicht verständlich: Das Kern-Geschäftsmodell von Modellanbietern besteht immer noch darin, Modellfähigkeiten zu verkaufen, einschließlich API-Aufrufen, Cloud-Diensten und Branchenlösungen. Wenn das Modell ständig rechtswidrige Inhalte ausgibt oder von Nutzern leicht „gejailbreakt“ werden kann, werden Kunden es sicher nicht nutzen. Daher betreiben Modellanbieter Inhaltsprüfung, Ablehnungsmechanismen und Ausrichtungs-Finetuning, aber dies sind die Mindestanforderungen für ihre Produkte, keine unabhängigen Geschäftsfelder.
Liu Yan hat eine entsprechende Einschätzung: Die von Modellanbietern selbst entwickelten Sicherheitsfähigkeiten gelten nur für ihre eigenen Produkte. Beispielsweise schützen die Sicherheitsfähigkeiten von Doubao nur Doubao, die von DeepSeek nur DeepSeek. Wenn Unternehmen mehrere Modelle oder selbst entwickelte Modelle einsetzen, können die mit dem Modell gelieferten Sicherheitsfähigkeiten nicht mehr den gesamten Bereich abdecken.
Gen das schafft Raum für Drittanbieter-Sicherheitsunternehmen.
Die zweite Kategorie sind traditionelle Sicherheitsunternehmen wie 360, Qi An Xin, Sangfor und Topsec. Diese Unternehmen waren bereits im Zeitalter der traditionellen Cybersicherheit führende Akteure. Sie verfügen über Sicherheitsbudgets von Regierungs- und Unternehmenskunden, ausgereifte Vertriebskanäle und Kundenbeziehungen. Nach dem Aufkommen der KI beginnen sie auch, ihre ursprünglichen Sicherheitsfähigkeiten auf große Modelle und Agenten auszudehnen.
Dahinter steckt nicht nur technische Iteration, sondern auch der reale Druck, neue Wachstumspunkte zu finden. Laut IDC wird die durchschnittliche jährliche Wachstumsrate des chinesischen Cybersicherheitsmarktes im Zeitraum 2024-2029 etwa 8,9 % betragen, während die entsprechende Rate für KI-Sicherheit in den nächsten fünf Jahren bei etwa 50,5 % liegt. Der traditionelle Cybersicherheitsmarkt hat die frühere Hochwachstumsphase hinter sich. Im ersten Halbjahr 2026 betrug der Umsatz von Qi An Xin 1,5 Milliarden Yuan, was einem Jahresrückgang von 14 % entspricht. Der Nettoverlust im ersten Halbjahr belief sich auf 411 Millionen Yuan. Obwohl sich der Verlust im Jahresvergleich stark verringerte, lag dies hauptsächlich an nicht betriebsbedingten Faktoren.
Nur wenige Cybersicherheitsunternehmen haben die Rentabilität erreicht. Im ersten Halbjahr betrug der Umsatz von Sangfor 3,998 Milliarden Yuan, was einem Jahreswachstum von 32,85 % entspricht. Der den Aktionären zuzurechnende Nettogewinn belief sich auf 231 Millionen Yuan, nach einem Verlust von 228 Millionen Yuan im Vorjahreszeitraum, womit die Wende zur Profitabilität gelang. Bei genauer Betrachtung des Finanzberichts zeigt sich, dass der Umsatz aus Cloud-Computing- und KI-Infrastruktur 2,212 Milliarden Yuan betrug, ein starker Jahresanstieg von 58,60 %, was 55,34 % des Gesamtumsatzes ausmacht und die Cybersicherheit als größte Einnahmequelle übertrifft. Traditionelle Cybersicherheitsanbieter suchen aktiv nach neuen Wachstumspunkten außerhalb der traditionellen Cybersicherheit.
Wohin das Kapital fließt, dorthin bewegen sich auch die Sicherheitsanbieter. Beispielsweise konzentrierte sich 360 früher hauptsächlich auf die Sicherheit von PC-Endgeräten, jetzt betreibt es auch Modellsicherheit. Das von 360 veröffentlichte „360 Large Model Security Guard“ ist ein Produkt, das auf der Kombination von „Sicherheit + KI“ basiert. Qi An Xin wiederum hat 2026 eine Agenten-Sicherheitsplattform auf den Markt gebracht, die den Schutzbereich von traditionellen Netzwerken und Endgeräten weiter auf den Betriebsprozess von Agenten ausdehnt. Für traditionelle Cybersicherheitsunternehmen ist KI-Sicherheit also sowohl eine Verteidigungsschlacht als auch ein Wettbewerb um neue Marktanteile.
Aber Liu Yan weist auf ihre Schwächen hin: Die Geschäftstätigkeit dieser Art von Unternehmen konzentriert sich hauptsächlich auf Firewalls, IDS und die Verhinderung von Datenleckagen. Ihr Verständnis von nativen KI-Risiken ist nicht so ausgeprägt wie das von Unternehmen, die sich ausschließlich auf native KI-Sicherheit