Ab welchem Schritt überschreitet eine KI-Aufgabe die zulässigen Grenzen: Tiandun Zhi'an entwickelt aufgabenebene Sicherheitsvereinbarungen

Wenn Unternehmen KI einsetzen, um Kundendaten zu ordnen, Verträge zu analysieren und Geschäftssysteme aufzurufen, kann eine Aufgabe, die ursprünglich nur aus „Lesen und Analysieren“ bestand, schrittweise den Export von Daten, die externe Übermittlung oder die Änderung von Aufzeichnungen umfassen. Die Konformität einer einzelnen Antwort bedeutet nicht, dass die fortlaufende Ausführung stets im Rahmen der erteilten Berechtigungen liegt. Je mehr Tools die KI aufrufen kann, desto mehr müssen Unternehmen eine konkrete Frage beantworten: Bis zu welchem Schritt ist die KI bei dieser Aufgabe überhaupt berechtigt, zu handeln?

Tianshield Zhi'an entwickelt derzeit eine unternehmensweite KI-Sicherheitsplattform. Es ist geplant, eine unabhängige Sicherheitssteuerungsschicht zwischen unternehmensweiten KI-Anwendungen, Daten und Geschäftssystemen einzurichten. Im Hinblick auf drei Risikokategorien – die Offenlegung sensibler Informationen, verhaltenswidrige KI-Aktionen und das Überschreiten von Grenzen bei mehrfachen Tool-Aufrufen – werden unternehmensinterne Regeln in den Prozess der Autorisierung, Ausführung und Prüfung von Aufgaben umgesetzt.

Zuerst die Aufgabengrenzen klären, dann jeden einzelnen Schritt einschränken

Der Produktgedanke von Tianshield Zhi'an stammt aus der Aufmerksamkeit des Teams für die tatsächliche Nutzungsumgebung in Unternehmen. Die Datenklassifizierung, Systemberechtigungen und Genehmigungsverfahren verschiedener Unternehmen sind unterschiedlich. Sicherheitsanforderungen müssen in konkrete Geschäftsvorgänge einfließen, statt nur in einem allgemeinen Satz von Inhaltsfilterregeln verhaftet zu bleiben.

Gemäß dem Entwicklungsentwurf bildet das System zunächst in Kombination mit der Benutzerabsicht, dem Aufgabenkontext und dem Sensibilitätsgrad der Daten einen „aufgabenspezifischen Sicherheitsvertrag“, der verfügbare Tools, zugängliche Daten und die Obergrenze von Aktionen klar definiert, bevor Berechtigungen, Parameter und Genehmigungsbedingungen vor dem Tool-Aufruf überprüft werden. Für erkannte Risiken werden Maßnahmen wie Anonymisierung, Umschreibung, Genehmigung oder Blockierung gemäß der Unternehmensstrategie ergriffen.

Beispielsweise gehören in einem Szenario zur Analyse von Kundendaten die Aktionen „Festgelegte Datensätze lesen und eine interne Zusammenfassung erstellen“ und „Alle Kundendaten exportieren und an eine externe Adresse senden“ zu unterschiedlichen Berechtigungsbereichen. Tianshield möchte, dass das System nicht nur den semantischen Unterschied zwischen beiden versteht, sondern die Einschränkungen auch auf konkrete Tools und Parameter überträgt. Dies ist ein Erläuterungsszenario für den Produktmechanismus, kein abgeschlossenes Kundenbeispiel.

Auf dieser Grundlage verbindet das Plattformdesign weiterhin Modellaufrufe, Toolparameter, externe Anfragen und Ausführungsergebnisse und prüft fortlaufend, ob mehrstufige Aktionen mit dem ursprünglichen Ziel übereinstimmen. Der Schwerpunkt liegt darauf, Aktionen zu erkennen, die in einem einzelnen Schritt plausibel erscheinen, aber in Kombination die Grenzen überschreiten. Dies hilft Unternehmen, das Sicherheitsmanagement auf den gesamten Ausführungsprozess des Agenten auszudehnen, und liefert nachverfolgbare Grundlagen für Warnungen und menschliches Eingreifen.

Sicherheitsrichtlinien mit dem Geschäft aktualisieren und die Aktualisierung nachprüfbar machen

Unternehmensrichtlinien und Geschäftsprozesse ändern sich, sodass Sicherheitsrichtlinien ebenfalls fortlaufend gewartet werden müssen. Zu diesem Zweck hat Tianshield Zhi'an einen Strategieiterationsprozess entwickelt, bei dem drei Agenten zusammenarbeiten: Der Policy Builder wandelt Materialien wie Unternehmensrichtlinien und Geschäftsnormen in Kandidatenregeln um; der Eval Builder erstellt normale, regelwidrige und grenzwertige Stichproben; der Optimizer ist für die Bewertung, Umschreibung und erneute Prüfung zuständig.

Kandidatenrichtlinien treten erst in Kraft, nachdem sie getestet und veröffentlicht wurden, und behalten Mechanismen zur Versionsnachverfolgung und zum Rollback bei Verschlechterungen bei. Fehlalarme, nicht erkannte Risiken und neue Geschäftsanforderungen, die bei der späteren Produktnutzung festgestellt werden, sollen in die Regeln und Bewertungsstichproben zurückfließen und die nächste Aktualisierungsrunde unterstützen.

Dieser Entwurf soll die Belastung von Unternehmen bei der Erstellung und Wartung komplexer Regeln verringern und gleichzeitig die Auswirkungen von Regelanpassungen auf den regulären Geschäftsbetrieb kontrollieren. Aufgabenspezifische Autorisierung, schrittübergreifende Beurteilung und kontrollierte Strategieaktualisierung bilden gemeinsam die Produktausrichtung von Tianshield Zhi'an für geschäftsorientierte Agenten. Die spezifische Blockierungswirkung, das Niveau von Fehlalarmen und die Antwortleistung müssen noch im Rahmen des Plattformaufbaus und der Überprüfung in tatsächlichen Szenarien getestet werden.

Laut Projektmaterial hat das Team bereits eine inländische Erfindungspatentanmeldung für das System „Dynamische Steuerung und Prüfung der KI-Sicherheitsnutzung in Unternehmen auf Basis mehrschichtiger semantischer Erkennung“ eingereicht.

Vom Unternehmensszenario ausgehen, um dauerhafte Dienstleistungen zu erkunden

Im Hinblick auf die Marktexpansion plant das Team, sich auf Branchen wie Softwaredienstleistungen, intelligente Fertigung, Medizin und Pharmazeutika sowie Finanzen und Versicherungen zu konzentrieren, um IT-, Sicherheits- und Geschäftsverantwortliche mit klaren KI-Anwendungsszenarien und Sicherheitsanforderungen anzusprechen und schrittweise von der Anforderungskommunikation, der Szenariobewertung bis zur Produktvalidierung voranzukommen.

Das Kommerzialisierungskonzept umfasst Einnahmen aus POC- und Bereitstellungsprojekten, festen Abonnementeinnahmen und Abrechnungen für übermäßige Nutzung und berücksichtigt Anforderungen an die private Bereitstellung und gezielte Anpassung für Unternehmen. Das Team möchte bei der Lieferung wiederverwendbare Fähigkeiten aufbauen und Dienstleistungen für die sich ständig ändernden Anforderungen von Unternehmen an die KI-Nutzung anbieten. Derzeit befinden sich die Kontakte zu Unternehmen noch in der frühen Phase der Anforderungskommunikation, es liegen noch keine Rückmeldungen aus der tatsächlichen Produktnutzung vor.

Ergänzende Erfahrungen im Unternehmensengineering, in der KI-Entwicklung und in der Kommerzialisierung

Die Erfahrungen des Unternehmensteams entsprechen jeweils technischen Produkten und Unternehmensarchitekturen, Produkt und Kommerzialisierung sowie semantischen Modellen und Bewertung, was dem Projekt eine Grundlage für Forschung und Entwicklung sowie das Verständnis von Anforderungen aus unterschiedlichen Dimensionen bietet.

Tianshield Zhi'an befindet sich derzeit in der Phase des Plattformaufbaus. Die Finanzmittel werden vom Gründerteam selbst aufgebracht. Es ist geplant, eine Seed-Finanzierung in Höhe von 4,5 Millionen Renminbi durchzuführen, die hauptsächlich für Teambildung, Produktentwicklung, Marktförderung und grundlegende Betriebsabläufe verwendet wird. Als Nächstes wird das Team den Fokus darauf legen, die Kapazitäten für Forschung und Entwicklung sowie Lieferung zu ergänzen, den Aufbau von Kernfunktionen und die Validierung von Unternehmensszenarien voranzutreiben und schrittweise eine KI-Sicherheitsplattform zu schaffen, die für die Implementierungsumgebung chinesischer Unternehmen geeignet ist, sodass Sicherheitsregeln in jede Datennutzung und jede geschäftliche Aktion der KI einfließen.