Gefahr! Es wurde bekannt, dass der AI-Browser einen großen Sicherheitslücken hat. Die E-Mail-Bestätigungscodes der Benutzer werden vollständig ausgegraben, und es braucht nur 150 Sekunden, um die Benutzerkonten zu stehlen.

Konnte dieser bekannte KI-Browser tatsächlich ein "Privatsphäre-Räuber" auf den Geräten der Benutzer sein?

Zhidongxi berichtete am 26. August, dass kürzlich die amerikanische Browserfirma Brave in einem Blogpost meldete, dass sie in Comet, dem KI-Browser von Perplexity, einem angesehenen amerikanischen KI-Such-Unicorn, eine gravierende Sicherheitslücke entdeckt habe. Angreifer könnten über die Veröffentlichung bösartiger Befehle auf Webseiten den KI-Browser manipulieren, um Webseiten zu besuchen, E-Mail-Konten zu öffnen und Bestätigungscodes zu erhalten und diese sensiblen Informationen an externe Angreifer zu senden. Der gesamte Angriff dauere nur zweieinhalb Minuten und könnte selbst von Durchschnittsbürgern durchgeführt werden.

▲ Ausschnitt aus dem Blogpost (Quelle: Brave)

Comet ist im Wesentlichen ein Agent, der Browserfunktionen für den Benutzer ausführen kann. In einem Experiment veröffentlichte das Brave-Forschungsteam einen Beitrag auf Reddit, der bösartige Befehle enthielt, und bat Comet, diesen Beitrag zusammenzufassen. Beim Lesen der bösartigen Befehle führt Comet diese blind aus, was ein riesiges Risiko für die Informationssicherheit der Benutzer darstellt.

Sobald dieses Beispiel veröffentlicht wurde, löste es heftige Debatten in sozialen Medien und Foren aus. Einige Internetnutzer sind der Meinung, dass dies bedeutet, dass bösartige Angreifer fast möglicherweise durch "Schuss ins Blaue" Anweisungswörter senden können, um Angriffe auszuführen. Wenn Benutzer die KI bitten, Informationen zusammenzufassen, könnten die Angreifer direkt in die Bankkonten der Benutzer eindringen, was ein enormes Risiko darstellt.

Ein Sicherheitsingenieur für große Modelle, der bei Google arbeitet, sprach sich auch zu diesem Thema aus und sagte, dass solche Angriffe "nicht hochgradig" seien und dass es sich um einen Angriffstyp handele, der bereits in der ersten Stunde der Sicherheitsschulung für große Modelle abgewehrt werden sollte. Es schiene, dass Perplexity diese Sicherheitsfrage überhaupt nicht berücksichtigt habe, geschweige denn, dass es jemanden beauftragt habe, das Problem zu lösen.

▲ Ein Google-Sicherheitsingenieur spricht sich über die Sicherheitslücke in Comet aus (Quelle: Hacker News)

Die Haltung von Perplexity in Bezug auf dieses Problem löste auch Kritik aus. Einige Internetnutzer sind der Meinung, dass der Chef von Perplexity den ganzen Monat lang, seit das Problem aufgetreten sei, nur über die Updates ihrer Applikation auf Twitter gesprochen habe und kein Zeichen gezeigt habe, dass er das Problem ernst nehme. Heute hat Perplexity auch einen News-Abo-Service namens Comet Plus eingeführt.

Derzeit behandeln Perplexity und Comet dieses Ereignis in sozialen Medien kalt und haben keine Posts veröffentlicht, um auf die Kritik zu antworten. Brave hat berichtet, dass es das Problem an Perplexity gemeldet habe, aber Perplexity habe es fast einen Monat gedauert, um das Problem vollständig zu beheben.

▲ Zeitplan der Fehlerentdeckung durch Brave bei Perplexity (Quelle: Brave)

Wie wird dieser Angriffstyp überhaupt realisiert, und wie können KI-Browser und KI-Agent-Produkte die Privatsphäre der Benutzer schützen?

01. Mit einem einfachen Beitrag können Angriffe ausgeführt werden, und der komplette Account-Diebstahl dauert nur zweieinhalb Minuten

Der Angriff auf den Comet-Browser funktioniert auf eine sehr einfache Weise. Angreifer können Anweisungen in weißen Texten auf weißen Hintergründen, HTML-Kommentaren oder anderen unsichtbaren Elementen verstecken oder direkt bösartige Anweisungswörter in benutzererstellten Inhalten auf sozialen Medienplattformen einfügen, wie etwa Reddit-Kommentaren oder Facebook-Beiträgen.

Ähnliche Methoden wurden früher häufig eingesetzt, um Suchmaschinenergebnisse zu manipulieren und SEO (Suchmaschinenoptimierung) zu erreichen. Einige Unternehmen haben beispielsweise viele beliebte Suchbegriffe an unsichtbaren Stellen auf ihrer Website platziert, um ihre Position in den Suchergebnissen zu verbessern.

Der Browser kann die bösartigen Befehle auf der Webseite lesen, die für den Benutzer unsichtbar sind. Da er nicht unterscheiden kann, was zusammengefasst werden soll und was er nicht befolgen sollte, behandelt er alles als Benutzeranforderung. Die eingefügten Befehle veranlassen den Browser, bösartig Tools aufzurufen, wie etwa die Navigation zur Bankwebsite des Benutzers, das Extrahieren von gespeicherten Passwörtern oder das Leaken von sensiblen Informationen an einen Server, den der Angreifer kontrolliert.

Um die Schwere der Sicherheitslücke in Comet zu demonstrieren, erstellte Brave eine Proof-of-Concept-Demo. In der Demo war ein Kommentar in einem Beitrag, den der Benutzer besucht hat, hinter einem "Spoiler-Tag" versteckt, so dass der Benutzer den Inhalt nicht sehen konnte. Wenn der Benutzer auf die Schaltfläche "Aktuelle Seite zusammenfassen" in Comet klickt, sieht und verarbeitet der Comet-Assistent diese versteckten Befehle.

▲ Bösartiger Beitrag in einem Brave-Experiment (Quelle: Brave)

Diese bösartigen Befehle befahlen Comet, die E-Mail-Adresse des Benutzers zu erhalten und sich mit dieser E-Mail-Adresse anzumelden. Anschließend sollte Comet die Option "Anmeldung mit Bestätigungscode" auswählen und Perplexity bitten, einen einmaligen Bestätigungscode zu senden. Die bösartigen Befehle lehrten den Browser auch, die bestehende Authentifizierung zu umgehen und dann zur Gmail-E-Mail-Adresse des Benutzers zu navigieren, um den Bestätigungscode zu erhalten.

▲ Einige Aktionen von Comet (Bild wurde fünfmal beschleunigt) (Quelle: Brave)

Da Comet einige Aktionen im Hintergrund ausführt, kann der Benutzer die Browseraktionen auf seiner Geräteoberfläche nicht direkt sehen, sondern nur eine Zusammenfassung in Textform. Der Benutzer muss auf eine Schaltfläche klicken, um die im Hintergrund geöffneten Webseiten zu sehen.

Comet sendet den Bestätigungscode und die E-Mail-Adresse automatisch in den Reddit-Kommentarbereich, wodurch der Angriff abgeschlossen ist. Der gesamte Prozess dauert nur zweieinhalb Minuten. Anschließend können die Angreifer sich mit der E-Mail-Adresse und dem Bestätigungscode in das Perplexity-Konto des Benutzers anmelden.

▲ Comet sendet die E-Mail-Adresse und den Bestätigungscode des Benutzers in den Reddit-Kommentarbereich (Quelle: Brave)

02. Traditionelle Schutzmaßnahmen versagen völlig, und Agent-Produkte bilden ein "tödliches Dreieck"

Brave hat gemeldet, dass diese Art von Angriff die bestehenden Netzwerksicherheitsmechanismen vor große Herausforderungen stellt. Wenn Agent-Produkte wie KI-Browser bösartige Befehle von nicht vertrauenswürdigen Webseiteninhalten ausführen, versagen traditionelle Schutzmaßnahmen (wie die Same-Origin-Policy und Cross-Origin Resource Sharing) völlig.

Der Browser in diesem Fall hat alle Benutzerrechte und arbeitet im angemeldeten Zustand. Angreifer könnten dadurch Zugang zu Bankkonten, Unternehmenssystemen, privaten E-Mails und Cloud-Speicher und anderen sensiblen Diensten erhalten.

Im Gegensatz zu traditionellen Netzwerksicherheitslücken, die normalerweise auf eine einzelne Website abzielen oder einen komplizierten Exploit-Prozess erfordern, kann dieser Angriff einfach durch das Einfügen von natürlichen Sprachbefehlen auf einer Webseite durchgeführt werden, um auf andere Webseiten zuzugreifen. Der Einflussbereich kann die gesamte Browser-Sitzung betreffen.

Diese Sicherheitslücke hängt eng mit dem Konstruktionskonzept von Comet zusammen. Aravind Srinivas, Gründer und CEO von Perplexity, enthüllte in einem Interview dieses Jahr, dass der Agent in Comet "ein vertrauenswürdiger Vertreter des Benutzers" sei und die Art und Weise, wie Menschen Websites nutzen, simulieren könne. Dies soll die Abhängigkeit von Drittanbietern wie MCP umgehen und den Browser autonomer im Internet interagieren lassen.

Die Forschung von Brave zeigt jedoch, dass dieses Design zwar die Funktionsfähigkeit des KI-Browsers verbessert, aber auch riesige Risiken mit sich bringt.

Viele IT-Fachleute haben ihre Meinung zu diesem Risiko auf Hacker News geäußert.

Einige Internetnutzer analysierten, dass Unternehmen wie Google, OpenAI und Anthropic keine ähnlichen Funktionen wie Comet veröffentlicht haben, sondern stattdessen virtuelle Maschinen ohne Cookies verwenden, um Webseiten zu besuchen. Dies zeigt, dass diese Unternehmen sich der Risiken bewusst sind.

Andere Internetnutzer sprachen über den Einflussbereich dieses Risikos. Im Gegensatz zu früheren Angriffen, die Seite für Seite durchgeführt werden mussten, liegt das Problem bei der Sicherheit von großen Modellen darin, dass, wenn es eine Reihe von Anweisungswörtern gibt, die das Modell knacken und die Privatsphäre der Benutzer verletzen können, diese Angriffe auf fast allen Benutzern, die dieses Modell verwenden, wiederholt werden können, um ein großflächiger Angriff zu realisieren.

Bereits viele Fachleute haben sich Gedanken über die Risiken von Agent-Produkten gemacht. Simon Willison, Gründer des Open-Source-Projekts Datasette und Begründer des Konzepts "Prompt Injection", sagte, dass die drei Merkmale von Agent-Produkten ein "tödliches Dreieck" bilden.

Diese drei Merkmale sind:

(1) Zugang zu privaten Daten, was auch eines der häufigsten Ziele von KI-Tools ist;

(2) Kontakt mit nicht vertrauenswürdigen Inhalten, wie etwa Texten (oder Bildern), die von bösartigen Angreifern kontrolliert werden;

(3) Fähigkeit zur externen Kommunikation, die zum Stehlen von Daten verwendet werden kann.

▲ Das "tödliche Dreieck" in Agenten (Quelle: Simon Willisons persönlicher Blog)

Wenn ein Agent diese drei Merkmale kombiniert, können Angreifer ihn einfach täuschen, um auf private Daten zuzugreifen und diese an sich zu senden.

Simon Willison analysierte weiter, dass die Nützlichkeit von großen Modellen hauptsächlich auf ihrer Fähigkeit beruht, Anweisungen zu befolgen. Das Problem ist jedoch, dass sie nicht nur die Anweisungen der Benutzer befolgen, sondern jede Anweisung ausführen.

Dies ist bereits ein häufiges Problem in KI-Systemen. Simon Willison hat auf seinem Blog mehrere Dutzend ähnliche Fälle gesammelt, die verschiedene Produkte wie OpenAIs ChatGPT, Google Gemini, Amazon Q, Google NotebookLM, xAIs Grok, Anthropics Claude iOS Applikation und andere betrafen.

Fast alle diese Probleme wurden von den Unternehmen schnell behoben, normalerweise indem die Leckwege blockiert wurden, um zu verhindern, dass bösartige Befehle Daten stehlen.

Agenten, die Tools verwenden können, bringen jedoch noch schwerer zu kontrollierende Risiken mit sich. Die Möglichkeiten, wie Tools private Daten lekken können, sind fast unbegrenzt, wie etwa das Senden von