Das Ergebnis der ersten "Gesundheitsuntersuchung" eines großen Sprachmodells in China wurde veröffentlicht. Es ist sehr gefährlich, so eine Frage an KI zu stellen.

In jüngster Zeit wurde offiziell das Ergebnis der ersten realen Netzwerk-Massenprüfung für große KI-Modelle in China veröffentlicht. Eine umfassende „Sicherheitsprüfung“ hat Signale offenbart, die nicht ignoriert werden können: In dieser Aktivität wurden insgesamt 281 Sicherheitslücken entdeckt, darunter 177 Lücken, die speziell für große Modelle sind und somit über 60 % ausmachen. Diese Zahlen zeigen, dass KI neuen Bedrohungen gegenübersteht, die über das traditionelle Sicherheitsgebiet hinausgehen.

Heutzutage ist es für viele Menschen üblich, große Modelle als „Super-Suchmaschine“ zu betrachten und der KI detaillierte Fragen zu stellen. Doch dieses vertrauensvolle Verhalten ohne Vorsicht könnte die Tür für Datenschutzverletzungen langsam öffnen...

Weniger Sicherheitslücken in chinesischen großen Modellen

Habt ihr es gewohnt, die KI als „Allwissenden Berater“ zu behandeln – Fragen zu Gesundheit, Emotionen und Entscheidungen zu stellen? Eine neueste Studie von OpenAI in Zusammenarbeit mit der Duke University und der Harvard University, die am 16. September veröffentlicht wurde, zeigt, dass bis Juli dieses Jahres ChatGPT mehr als 700 Millionen aktive Nutzer pro Woche hatte und die Anzahl der gesendeten Nachrichten auf 18 Milliarden lag. Fast die Hälfte davon gehörte zur Kategorie „Anfragen“, was die vorherrschende Nutzungsmethode ist.

„Dies ist genau das 'Hauptgebiet' für Datenschutzverletzungen.“ sagte Qu Zilong, Sicherheitsexperte und Gründer von NetSword, einem Journalisten der IT Times. Viele Nutzer fragen die KI nach hochgradig privaten Themen wie Krankheiten, Emotionen und Finanzen, ohne die Gewohnheit, die Chatverläufe regelmäßig zu löschen. Sobald das Modell oder der Server gehackt wird, können diese sensiblen Daten leicht preisgegeben werden.

Bei der oben genannten Massenprüfung für Sicherheitslücken wurden auch fünf typische Risiken von Sicherheitslücken veröffentlicht: Erstens gibt es bei einigen Produkten unangemessene Ausgabeprobleme, die ernsthafte Auswirkungen haben können. Zweitens treten häufig Datenschutzverletzungen auf, was erhebliche Sicherheitsrisiken birgt. Drittens sind Prompt-Injection-Lücken weit verbreitet und stellen das häufigste Sicherheitsrisiko für große Modelle dar. Viertens müssen die Schutzmaßnahmen einiger großer Modellprodukte gegen unbegrenzte Ressourcenverbrauch verbessert werden. Fünftens gibt es immer noch viele traditionelle Sicherheitslücken, deren Gefahren nicht ignoriert werden dürfen.

Qu Zilong sagte, dass die Auswirkungen von Sicherheitslücken in großen Modellen nicht so direkt wie bei traditionellen Systemen sind. Meistens werden diese Lücken genutzt, um über die gesetzlichen oder moralischen Grenzen hinausgehende Informationen zu erhalten, indem die Eingabeprompt umgangen wird. Beispielsweise gab es in früheren Zeiten Fälle, in denen interne Konfigurationsdateien des Modells preisgegeben wurden, was direkt auf die Serverinformationen zugreift. Später waren die häufigen Risiken, dass Nutzer versuchten, das Modell dazu zu bringen, illegalen Inhalt wie Crack-Codes zu generieren.

„Das Wesen der Prompt-Injection besteht darin, die internen Daten oder Dateien des Modells über die Eingabeprompt zu beeinflussen. Solche Angriffsrisiken sind weit verbreitet.“ fügte Qu Zilong hinzu. Was die traditionellen Sicherheitsfragen betrifft, gab er ein Beispiel: „Zum Beispiel können Angreifer eine Endlosschleife nutzen, um den Token-Verbrauch des Modells unbegrenzt zu erhöhen.“

Angesichts der großen Anzahl von Nutzern und der hohen Nutzungsrate von großen KI-Modellprodukten würde eine Ausnutzung dieser Lücken durch böswillige Angreifer die Ökosystem der großen KI-Modellprodukte in China erheblich beeinträchtigen.

Wie ist das Sicherheitsniveau der führenden großen Modelle in China? Von den getesteten führenden großen Modellprodukten wurden bei den Produkten wie Hunyuan von Tencent, Wenxin Yiyan von Baidu, Tongyi App von Alibaba und Zhipu Qingyan weniger Sicherheitslücken entdeckt, was ein hohes Sicherheitsniveau zeigt.

Qu Zilong analysierte weiter, dass die Natur der Sicherheitsfragen von großen Modellen ähnlich wie in den frühen Tagen der Internetentwicklung ist. Als das Mobile Internet aufkam, stieg die Anzahl der Apps stark an, und auch die Anzahl der Sicherheitslücken verdoppelte. Derzeit ist die Anzahl der Hersteller, die in der Lage sind, eigene große Modelle zu entwickeln, begrenzt. Obwohl die Gesamtzahl der Sicherheitslücken scheinbar nicht hoch ist, wird die Angriffsfläche mit der Zunahme der Nutzerzahl und der Anwendungsbreite schnell größer.

Bildquelle: pexels

Lokale Installation bedeutet nicht Sicherheit

Während der Nationalen Volkskongress und der Nationalen Politikberatungskonferenz 2025 warnten Qi Xiangdong, Mitglied des Nationalen Komitees der Chinesischen Volkspolitischen Beratungskonferenz und Vorsitzender von Qi An Xin, vor einer Gefahr: Fast 90 % der lokal installierten Server von DeepSeek laufen 'nackt', was die Diskussion über die Sicherheitskrise der KI in der Branche ausgelöst hat.

Nachdem DeepSeek kurz nach dem chinesischen Neujahr 2025 bekannt wurde, wurde es von organisierten Netzangriffen heimgesucht. Die Skala und Intensität dieser Angriffe von professionellen Hackern haben die chinesische Sicherheitsbranche in Aufruhr versetzt. Das Sicherheitsteam von China Telecom hat auch intensiv an der Sicherheitsbeschützung von DeepSeek mitgewirkt. Im März dieses Jahres hat dieselbe Gruppe von Angreifern die soziale Medienplattform X von Elon Musk dreimal lahmgelegt.

Welche Gemeinsamkeiten gibt es bei den Sicherheitsfragen von großen Modellen?

Die Echtzeit-Überwachung der globalen Installation von großen Modellen durch die 'Guangmu'-Plattform von China Telecom zeigt, dass das am weitesten verbreitete Modell in China DeepSeek-R1 ist, und das am häufigsten installierte Open-Source-Modell im Ausland Llama 3. Beide stehen ähnlichen Sicherheitsrisiken gegenüber, wie 'Jailbreak'-Angriffe und Sicherheitslücken im Inferenz-Framework von großen Modellen.

Das Sicherheitsteam von China Telecom hat sechs der beliebtesten Grundmodelle in China vollständig gescannt. Das Ergebnis zeigt, dass die höchste Punktzahl nur 77 war, und einige Modelle sogar weniger als 60 Punkte erreichten. Liu Ziqian, Generaldirektor von Tianyi Security Technology Co., Ltd., sagte, dass dies zeigt, dass es noch viel Raum für Verbesserungen bei der Sicherheit der chinesischen Grundmodelle gibt.

Es ist bemerkenswert, dass eine lokale Installation nicht automatisch Sicherheit bedeutet. Sobald der Server angegriffen wird, besteht die Gefahr, dass die privaten Informationen und geschäftlichen Geheimnisse, die auf dem privaten Server gespeichert sind, gestohlen werden.

Intelligente Agenten stellen neue Sicherheitsherausforderungen dar

Ein Journalist der IT Times hat bemerkt, dass bei dieser Massenprüfung für Sicherheitslücken 15 große Modelle und Anwendungsprodukte von 10 KI-Herstellern getestet wurden. Zu den getesteten Produkten gehörten sowohl Grundmodelle als auch Modelle für spezifische Branchen, sowie intelligente Agenten und Plattformen für die Modellentwicklung.

Mit der Entwicklung von großen Modellen ist die Künstliche Intelligenz derzeit im Übergang von 'Chat zu Agent'. Die Risiken, die intelligente Agenten mit sich bringen, könnten komplexer sein als die der großen Modelle selbst.

Am 16. September veröffentlichte China Telecom in Zusammenarbeit mit dem dritten Forschungsinstitut des Ministeriums für öffentliche Sicherheit, Huawei, der Zeitschrift Information Security Research, Ant Group, Tsinghua University, Shanghai Jiao Tong University und anderen Partnern das erste Weißbuch über die Sicherheitsgovernance von KI-Intelligent Agents auf der Nationalen Netzwerksicherheits-Woche 2025.

Das Weißbuch zeigt, dass im Vergleich zu großen Sprachmodellen KI-Intelligent Agents nicht nur die üblichen Sicherheitsrisiken auf der Ebene von Modellen und Daten wie 'Jailbreak'-Angriffe, Angriffe mit Adversarial Examples, Prompt-Injection und Datenvergiftung fortsetzen, sondern auch aufgrund ihrer Eigenschaften wie multimodale Wahrnehmung, eigenständige Planung und Ausführung eine Reihe einzigartiger systemischer Risiken entwickeln. Diese Risiken sind oft eng mit den spezifischen Anwendungsfällen verknüpft und können in der Ausführungskette verstärkt werden, was schwerwiegendere Sicherheitsrisiken mit sich bringt. Dies zeigt sich hauptsächlich in folgenden Aspekten:

Falsche Wahrnehmung: Intelligente Agenten 'sehen' die Welt mit verschiedenen Sensoren. Wenn jemand absichtlich stört, könnte der Agent eine Täuschung für die Realität halten und gefährliche Reaktionen zeigen.

Falsche Entscheidungen: Intelligente Agenten können eigene Entscheidungen treffen. Sobald die Inferenz fehlerhaft ist, wird der Fehler verstärkt, was in Bereichen wie autonomem Fahren, Finanzwesen und Medizin schwerwiegende Unfälle verursachen könnte.

Verunreinigte Erinnerung: Intelligente Agenten 'merken' sich die Interaktionen mit Nutzern. Wenn jemand falsche Informationen einspeist, wird der Agent diese fehlerhaften Informationen wiederholt verwenden. Beispielsweise kann die Manipulation der Identitätsinformationen im Gedächtnis des Agenten zu Übergriffen bei nachfolgenden Aufgaben oder Datenschutzverletzungen führen.

Missbrauch von Tools: Intelligente Agenten sind oft mit verschiedenen Plug-ins und externen Systemen verbunden. Wenn es keine ausreichenden Sicherheitskontrollen gibt, können diese Schnittstellen für Hackerangriffe genutzt werden.

Seit Anfang dieses Jahres hat die Staatliche Marktaufsichtsbehörde 10 nationale Standards und 48 technische Dokumente in den Spitzenrichtungen wie multimodalen großen Modellen, intelligenten Agenten und Embodied AI sowie in anderen traditionellen Branchen veröffentlicht. Trotzdem besteht aufgrund der schnellen Entwicklung von Big Data, Künstlicher Intelligenz und Internet der Dinge dringender Bedarf an der Standardisierung, um die Risiken und Unsicherheiten, die durch die Entwicklung digitaler Technologien entstehen, zu verringern.

Die KI-Zeit ist bereits da. Bevor wir uns in Fragen und Entdeckungen stürzen, sollten wir uns vielleicht zunächst fragen: „Sind meine Daten wirklich sicher?“

Dieser Artikel stammt aus dem WeChat-Account „IT Times“ (ID: vittimes). Autor: Jia Tianrong, Redakteure: Wang Xin und Sun Yan. Veröffentlicht von 36Kr mit Genehmigung.