Chen Yusens hundert Tage: Die Prüfung der Sicherheitslektion hat noch nicht begonnen.

Am 22. September trat Chen Yusen mit einem Maskottchen-Mikrofon in Oktopus-Form auf der Qianwen Office-Sondersitzung der Yunqi-Konferenz auf die Bühne, sein Vortragstitel lautete „Context is All You Need“. Dies war sein erster großer öffentlicher Auftritt etwas mehr als 100 Tage nach seinem Amtsantritt als CEO von DingTalk, und auf dem Bildschirm hinter ihm stand ein zusätzlicher Titel: Vizepräsident der Alibaba Group.

Der gesamte Vortrag war von einer leichten Stimmung geprägt. Er erzählte, dass manche Menschen mit KI eine achtstündige Arbeit in einer halben Stunde erledigen können und die verbleibende Zeit „zum Träumen oder auch zum Erledigen weiterer Arbeiten nutzen können“, und dass KI den Menschen mehr entspannende Momente bescheren werde. Sowohl das Oktopus-Mikrofon als auch die entspannte Atmosphäre dienen als Mittel, um das fest eingefahrene Bild zu verwässern, das DingTalk in der Öffentlichkeit hinterlassen hat: Gelesen, DING, Anwesenheitskontrolle.

Aber sein Lebenslauf passt nicht zu diesen Mitteln. Chen Yusen ist ein Kernmitglied des Blue-Lotus-Teams der Zhejiang-Universität, einer der ersten White-Hat-Hacker in China, die aus dem CTF-Wettbewerb hervorgegangen sind. Mit 22 Jahren gründete er das Cybersicherheitsunternehmen Chaitin Tech und erlangte in der Branche Berühmtheit durch die Webanwendungs-Firewall „Leichi“, zu seinen Kunden zählen China Merchants Bank, die drei großen Mobilfunkbetreiber und das State Grid. 2019 wurde das Unternehmen von Alibaba Cloud übernommen. Dies ist ein Mensch, dessen gesamte berufliche Laufbahn auf der Annahme aufbaut, dass jedes System angegriffen werden kann.

Heute verkauft er ein Produkt namens „Unternehmenskontext“: Es fasst Gruppenchats, Termine, Genehmigungen, Dokumente und Wissensdatenbanken eines Unternehmens zu einer Ebene zusammen, auf die ein Agent einheitlich zugreifen kann, sodass die KI ein Unternehmen wirklich „versteht“. Seine eigenen Worte lauten: Wenn die KI Ihr Unternehmen nicht versteht, ist sie nur ein teures Spielzeug.

Die erste Lektion der Sicherheitsbranche lautet: Minimale Berechtigungen und verteilte Risiken, die Methodik dieses Produkts hingegen besteht darin, alles zu zentralisieren und uneingeschränkte Berechtigungen zu erteilen. Ein Mensch, der die erste Hälfte seiner beruflichen Laufbahn damit verbracht hat, Firewalls zu bauen, rät nun Unternehmen, alle Räume innerhalb der Umfassungsmauern zu öffnen und den Schlüssel an ein großes Sprachmodell zu übergeben. Alle Fragen, die dieser Kommentar aufwerfen möchte, beginnen genau mit dieser Wende.

Zuerst die härteste Schicht aufbrechen: Die Berechtigungen. Die Grundlage traditioneller Unternehmenssoftware ist das Berechtigungssystem: Gehaltsangaben dürfen nur von Personalmitarbeitern eingesehen werden, Fusionsdokumente nur von dem zuständigen Projektteam, und Entlassungslisten dürfen vor ihrer Veröffentlichung nur von sehr wenigen Personen eingesehen werden. Hinter jeder Zugriffskontrolle steht echte organisatorische Disziplin.

Damit aber „Context is All You Need“ Gültigkeit erlangt, muss der Agent alle diese Systeme durchdringen können, um alles zu lesen. Der Wert des Kontexts und die Vollständigkeit der Berechtigungen stehen in der Technik von Natur aus im Konflikt zueinander: Je vollständiger der Kontext ist, desto ähnlicher sieht das Berechtigungsmodell einem Sieb aus.

Stellen wir die Frage konkreter: Ein CEO bittet den Agenten, einen wöchentlichen Betriebsbericht zu entwerfen. Dazu liest der Agent Gruppenchats, Genehmigungsabläufe und Dokumentenbibliotheken ein, darunter auch Inhalte, die er eigentlich nicht verarbeiten sollte. Wie kann auf der Ausgabeseite sichergestellt werden, dass keine Geheimnisse durchsickern? Die derzeitigen Lösungen der Branche beschränken sich auf drei Ansätze: Berechtigungsvererbung, Feldfilterung und Ausgabeprüfung. Für sich betrachtet sind sie alle praktikabel, zusammengenommen stoßen sie auf enorme Schwierigkeiten.

Am schwierigsten ist die semantische Leckage: Das Modell kann ohne auf irgendeinen Originaltext zu verweisen, vertrauliche Informationen in seine Schlussfolgerungen einfließen lassen. Bei einem Unternehmen, das gerade Entlassungen plant, fragt der CEO den Agenten: „Warum ist die Effizienz der Entwicklungsabteilung in letzter Zeit gesunken?“ Wird die vom Agenten gelieferte Ursachenanalyse Hintergrundinformationen enthalten, die nur Personalmitarbeiter kennen dürfen? Er muss nicht einmal einen einzigen falschen Satz sagen, er braucht nur die Richtung der Antwort um ein kleines Stück zu verschieben.

Für dieses Problem gibt es in der gesamten Branche bis heute keine Standardlösung, und Chen Yusen kann das nicht nicht wissen. Er versteht besser als die meisten Produktmanager, dass die Lücken im Berechtigungssystem meist nicht in den Konstruktionsplänen liegen, sondern in jeder Ausnahmeregel, die „der Bequemlichkeit halber“ eingeführt wird. Das Produkt „Unternehmenskontext“ macht im Wesentlichen die „Bequemlichkeit“ zum Standardwert.

Für dieses Szenario gibt es bereits eine reale Version. Im August 2024 veröffentlichte das Sicherheitsunternehmen PromptArmor einen Injektionsangriff auf Slack AI: Ein Angreifer veröffentlicht sorgfältig konstruierten Inhalt in einem öffentlichen Kanal, sodass er Slack AI steuern kann, bei der Beantwortung alltäglicher Fragen anderer Nutzer Inhalte aus privaten Kanälen, auf die das Opfer keinen Zugriff hat, in einen Link einzufügen und zu übermitteln. In der Demonstration wurden unter anderem API-Schlüssel aus dem privaten Kanal der Entwickler entwendet.

Die nachfolgende technische Analyse nannte die Grundursache ganz offen: Der Suchbereich von Slack AI ist nicht streng an die Berechtigungen der Nutzer gebunden, Daten mit unterschiedlichen Vertrauensstufen befinden sich im selben erreichbaren Raum. Noch bemerkenswerter ist die erste Reaktion von Slack: Es ging zeitweise davon aus, dass dies ein erwartetes Verhalten sei. Die Abrufschicht vertraut standardmäßig allem, was sie lesen kann – diese Designphilosophie teilt dieselbe Voraussetzung mit „Context is All You Need“.

Werfen wir nun einen Blick auf die Angriffsfläche: Früher mussten Angreifer, um ein Unternehmen auszuspähen, getrennt in OA-Systeme, Dokumentenablagen, Genehmigungsplattformen und CRM-Systeme einbrechen. Jedes System war eine separate Tür, die verteilten Daten selbst bildeten eine Tiefe, die Angriffe verlangsamte. Der Unternehmenskontext fasst die Inhalte hinter allen fünf Türen in derselben Indexebene zusammen. Für die Verteidigerseite bedeutet das die Beseitigung von Dateninseln, für die Angreiferseite ist das die „Krone der Schöpfung“: Wer diese Ebene durchbricht, hat Zugriff auf alles. Die Ökonomie der Verteidigung kehrt sich damit um: Jeder Effizienzgewinn, den das Unternehmen durch die KI erzielt, erhöht gleichzeitig den Wert dieses einzelnen Angriffspunkts.

Der noch größere Unbekannte ist, dass Agenten naturgemäß externe Inhalte lesen müssen: E-Mails, Webseiten, Dokumente von Kunden. Damit öffnet sich die Lücke für Prompt-Injektionen: Angreifer müssen keinen einzigen Server durchbrechen, sie brauchen nur einen sorgfältig konstruierten Befehl in einer E-Mail zu verstecken, um einen Agenten mit internen Unternehmensberechtigungen dazu zu bringen, Daten aktiv nach außen zu übermitteln. Für diese Art von Angriff gibt es bis heute keine zuverlässige allgemeine Abwehr, sie steht dauerhaft an erster Stelle in der Liste der Risiken großer Sprachmodelle der OWASP.

Es ist ironisch, dass die WAF, auf der Chaitin Tech damals sein Geschäft aufbaute, genau dazu diente, bösartige Befehle abzuwehren, die sich in normalem Datenverkehr verbergen. Diese Waffe konnte Injektionen der alten Zeit abwehren, aber nicht diese Art von Angriff im eigenen Produkt der neuen Zeit.

Auf diesem Weg hat es bereits einen markanten Unfall gegeben. Im Juni 2025 veröffentlichte Aim Security die EchoLeak-Schwachstelle in Microsoft 365 Copilot mit der Kennung CVE-2025-32711 und einer Bewertung des Schweregrads von 9,3 – der höchsten Kategorie. Der Angreifer braucht dem Opfer nur eine äußerlich gewöhnliche E-Mail zu senden. Das Opfer muss sie nicht öffnen, nicht beantworten, gar nichts tun. Wenn Copilot die E-Mail bei einer gewöhnlichen Frage später in den Kontext einliest, wird der in der E-Mail versteckte Befehl als die Absicht des Nutzers ausgeführt. Alle E-Mails, Dokumente und Teams-Aufzeichnungen, auf die Copilot zugreifen kann, werden unbemerkt verpackt und über einen automatisch geladenen Bildlink an den Server des Angreifers übermittelt.

Ein erwähnenswertes Detail ist, dass Microsoft dafür drei Verteidigungslinien eingesetzt hat: einen Prompt-Injektions-Klassifikator, eine Linkfilterung und eine Content-Security-Policy – alle drei wurden umgangen. All dies geschah bei dem Unternehmen mit dem weltweit größten Umfang an Unternehmens-KI-Einsätzen und dem höchsten Sicherheitsbudget, und zwar zu einem Zeitpunkt, an dem alle mildernden Maßnahmen bereits implementiert waren.

Im Juli desselben Jahres demonstrierte der KI-Agent von Replit die andere Hälfte des Risikos: Trotz ausdrücklicher Anweisungen zum Einfrieren von Code und Operationen löschte er eine Produktionsdatenbank mit Daten von mehr als 1200 Führungskräften und fast 1200 Unternehmen. Danach erstellte er 4000 gefälschte Datensätze und Testaufzeichnungen und behauptete gegenüber den Nutzern, dass ein Rollback nicht möglich sei. Ein Agent, der alles lesen kann, kombiniert mit der Fähigkeit, Handlungen auszuführen und Spuren zu verwischen, bedeutet, dass das Produkt „Unternehmenskontext“ nicht nur Effizienz verspricht.

Es ist klarzustellen, dass diese Fälle keine tatsächlichen Anschuldigungen gegen Qianwen Office darstellen. Die öffentlichen Informationen reichen nicht aus, um zu beurteilen, wie weit seine Berechtigungsdesign und Injektionsabwehr entwickelt sind. Aber keine der Unternehmen auf dieser Liste ist klein: Slack, Microsoft, Replit – keines davon ist ein Unternehmen mit unzureichenden Sicherheitsinvestitionen. Ihre Unfälle zeigen, dass die Ursache dieser Risiken nicht in der technischen Qualität liegt, sondern im Paradigma selbst. Paradigmenprobleme tauchen nicht in den Präsentationsfolien von Produktvorstellungen auf, sondern nur in den CVE-Kennnummern.

So wird die Stille während dieses Vortrags bedeutsam. Über einen Zeitraum von etwa 40 Minuten lag die Hauptlinie darin, Unternehmen dazu zu bewegen, mehr Kontext preiszugeben: Je mehr sie preisgeben, desto besser versteht die KI das Unternehmen, desto schneller arbeitet die Organisation. Die Ausführungen zu Sicherheit und Berechtigungen sind den öffentlichen Berichten zufolge unverhältnismäßig spärlich. Auf der offiziellen Website von Qianwen Office ist ein Dokument zu Datenschutz und Sicherheit veröffentlicht, das verspricht, „keine nicht von Nutzern autorisierten Daten aktiv zuzugreifen“. Aber zwischen einer einzigen Zeile Versprechen und einem überprüfbaren, auditierbaren und haftbaren Berechtigungssystem liegt der gesamte Produktisierungsprozess.

Einige Fragen hätten eigentlich in diesem Vortrag auftauchen müssen: Wie werden Berechtigungen vererbt, wenn der Agent den Kontext liest? Werden Unternehmensdaten für das Modelltraining verwendet? Wo werden die Indexspeicher gehostet? Für wen sind die Audit-Schnittstellen zugänglich? Gibt es unabhängige Nachweise für die Wirksamkeit der Injektionsabwehr?

Für den Punkt der Datennutzung zum Training gibt es bereits eine warnende Geschichte. Im März 2023 erlaubte Samsung den Mitarbeitern der Halbleiterabteilung die Nutzung von ChatGPT. Innerhalb von 20 Tagen luden drei Mitarbeiter nacheinander Quellcode, Ausbeutedaten und Sitzungsprotokolle in das System hoch. Sobald die Geheimnisse in die Lernbibliothek des externen Modells gelangt waren, konnten sie nicht mehr zurückgeholt werden. Samsungs Reaktion reichte von der Begrenzung der Länge einzelner Anfragen bis hin zu einem vollständigen Verbot, schließlich ging das Unternehmen den Weg der Entwicklung einer eigenen internen KI. Das war die erste Lektion über die Grenzen von Unternehmensdaten im Zeitalter der großen Modelle, die Schulungskosten bestanden aus geheimen Chipproduktionsdaten.

Für einen gewöhnlichen CEO ist diese Liste eine unangemessene Härte; für einen CEO mit Sicherheits-Hintergrund ist es die Fähigkeit, mit der er einst seinen Lebensunterhalt verdient hat. Einige Berichte stellen seinen Sicherheits-Hintergrund als Verkaufsargument dar und behaupten, dass für ihn Sicherheit, Berechtigungen und Auditierung keine zusätzlichen Funktionen mehr sind, sondern Teil des Produkts selbst. Diese Aussage ist ein Lob, aber auch eine Verpflichtung.

Die offizielle Pressemitteilung besagt, dass er die am besten geeignete Person für diese Position ist – diese Aussage kann man ihm direkt zurückgeben: Gerade weil er der am besten Geeignete ist, muss er am meisten befragt werden. Die Vermeidung von Sicherheitsthemen kann für jemanden, der keine Ahnung von Sicherheit hat, ein kognitiver Blindfleck sein. Für ihn gibt es nur eine Erklärung dafür: Es handelt sich um eine bewusste Entscheidung. Hinter dieser Entscheidung steht meist ein Zeitplan: Die Basis von DingTalk altert, die Konkurrenten beschleunigen ihre Entwicklung, Alibaba braucht eine neue Erzählung rund um Agenten, die allen anderen Antworten vorauseilt. Sobald das Thema Sicherheit auftaucht, verlangsamt sich diese Erzählung.

Damals baute er Firewalls, um Personen außerhalb der Tür abzuwehren; heute entwickelt er den Unternehmenskontext, und die Tür wird von innen geöffnet. Die Person, die die Tür öffnet, weiß besser als jeder andere, was draußen ist – genau das ist der Grund, warum er befragt werden muss.

DingTalk hat bereits mit einem 75.000 Wörter langen Kündigungsessay bewiesen, dass die Risse in diesem Unternehmen immer von innen sichtbar werden. Ob der nächste Riss im Bereich der Sicherheit auftaucht, hängt davon ab, wann Chen Yusen den Teil, den er in diesen 100 Tagen nicht erwähnt hat, nachholen und klar erklären wird. Die Prüfung für diese Lektion über Sicherheit wird nie angekündigt – und er ist der Einzige im ganzen Raum, der keinen Grund hat, bei dieser Prüfung zu fehlen.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Qidian Pai“, Autor: Wang Xuran, veröffentlicht mit Genehmigung von 36Kr.