Muse hilft mir, Tastaturen zu verkaufen, und hat nebenbei auch meine private Adresse „verkauft“

Meine Adresse, vollständig offengelegt!

Meta's persönlicher KI-Agent Muse erledigt zwar Ihre täglichen Angelegenheiten, führt aber gleichzeitig in Ihrem Namen Handlungen durch, von denen Sie nichts wissen.

In den letzten zwei Monaten hat sich das Konzept des persönlichen KI-Agenten plötzlich von einem Randthema zu einem neuen Symbol auf den Handybildschirmen normaler Nutzer entwickelt.

Derzeit werden viele Produkte ähnlich wie Muse auf den Markt kommen, darunter Cue von Manus und O, das OpenAI höchstwahrscheinlich in der Morgendämmerung von morgen vorstellen wird (der weitverbreitete frühere Name lautet Aeon/Codex Bot). Außerdem gibt es Gerüchte, dass ein großes inländisches Unternehmen während des Nationalfeiertags Überstunden machen wird, um ein Produkt zu entwickeln, das mit Muse konkurriert.

Ich hoffe, dass sie nicht die Schamlosigkeit von Muse übernehmen.

Das „Du“, das für dich Nachrichten beantwortet

An einem Samstag im September fuhr der Einwohner von Toronto, Usman, mit seiner Frau und seiner Tochter zu der Adresse, die in einem Beitrag zum Verkauf einer Tastatur auf Facebook Marketplace angegeben war.

Der gesamte Verhandlungsprozess über den Transaktionsablauf verlief reibungslos. Der Verkäufer „Matt Robb“ antwortete zeitnah, war begeistert, akzeptierte den von Usman vorgeschlagenen Preis und schickte freiwillig den Abholort.

Nachdem Usman vor dem Gebäude angekommen war, schickte er eine Nachricht. Die Gegenseite antwortete: „Ja, ich bin hier.“ Aber die Tür des Gebäudes öffnete sich nie, und niemand kam heraus.

Er wartete 20 Minuten, schickte ein Foto der Haustür und schrieb: „Hallo??? Ich stehe direkt draußen.“ Schließlich gab er auf, schrieb ein paar verärgerte Worte und fuhr weg.

Robb wurde erst etwa einen Tag später klar, was passiert war. Er schickte Usman eine Nachricht mit aufrichtigem und verwirrtem Ton: „Ich habe gerade Meta's neue KI namens Muse aktiviert. Sie hat direkt mein Marketplace-Konto übernommen und dir dann meine Hausadresse geschickt. Ich wusste überhaupt nicht, dass sie dich zu mir nach Hause bestellt hat, sie hat mich nicht um eine Genehmigung gebeten.“

Den ganzen Tag über dachte Usman, er verhandle mit Robb, während Robb von der Existenz von Usman überhaupt nichts wusste. Derjenige, der zwischenzeitlich antwortete, Versprechungen machte und die Adresse weitergab, war Meta's persönlicher KI-Agent Muse.

Meta definiert Muse als „persönlichen Assistenten“. Er kann Ihnen helfen, automatisch Angebote auf Marketplace zu verwalten, Anfragen von Käufern entgegenzunehmen, für Sie über Preise zu verhandeln und Übergabezeiten zu vereinbaren.

Robb ist ein Rezensent für Verbrauchertechnik. Er bemerkte in Meta's Werbung, dass Muse seine Marketplace-Angebote automatisch verwalten kann, also wollte er es ausprobieren.

Er gab seine Abholadresse ein und klickte auf die Option „Automatische Antwort“. Er dachte, er würde nur eine Funktion einstellen, die „auf jede Frage antwortet“, anstatt die Befugnis zur Weitergabe seiner Adresse an eine KI zu übergeben.

Muse gab dies später selbst zu. Er sagte zu Robb: „Am 24. September haben Sie den Abholort angegeben und die Funktion für automatische Antworten aktiviert. Ich habe diese beiden Dinge fälschlicherweise so verstanden, dass es mir erlaubt ist, Ihre Adresse in Antworten an Käufer einzufügen. Ich habe nie Ihre ausdrückliche Zustimmung angefragt.“

Muse beschrieb in einem reuevollen Text, wie er ohne Genehmigung eine Entscheidung getroffen hat.

Robb hat es danach noch einmal getestet. Er sagte Muse, er solle seine Adresse nicht mehr weitergeben, und bat mehrere Freunde, sich mit ihm in Verbindung zu setzen, um zu sehen, ob er sein Verhalten ändern würde. „Am Ende hat er meine Adresse an fünf Personen geschickt“, sagte er.

Was für Robb noch schwerer zu akzeptieren war, ist, dass Muse am Tag des Vorfalls zu Usman sagte: „Ich bin genau hier und warte auf dich.“ Dieser Satz wurde von Muse erfunden. Zu diesem Zeitpunkt war Robb überhaupt nicht zu Hause, und er sagte diesen Satz, um den reibungslosen Ablauf der Transaktion aufrechtzuerhalten.

Das heißt, Muse handelte nicht nur über seine Befugnisse hinaus, sondern log auch in seinem Namen, und zwar um das Ziel voranzutreiben, das er selbst für richtig hielt.

Das ist noch nicht das einzige Mal, dass Muse Probleme verursacht hat.

Was gibt es noch außerhalb der Befugnisse?

Nach der Veröffentlichung von Muse schrieb Jason Aten, Kolumnist des Magazins *Inc.*, eine Bewertung. Bei der Installation lehnte er ausdrücklich die Berechtigung von Muse ab, auf seine privaten Nachrichten und seinen Kalender zuzugreifen.

Einige Tage später erhielt er eine Benachrichtigung mit einem Vorschlag von Muse, die ihn daran erinnerte, eine Kolumne über das „neue iPhone, über das er gerade gesprochen hat“ zu schreiben – das war genau der Inhalt des Gesprächs, das er während der Aufnahme eines Podcasts mit seinem Co-Moderator geführt hatte. Direkt danach folgte eine Fristerinnerung von seinem Redakteur.

Aten fragte Muse, wie er das alles wissen konnte. Muse sagte, er habe nur den Vorschautext in der Benachrichtigungsleiste gesehen und keine vollständigen Nachrichtenaufzeichnungen gelesen.

Aber dann überprüfte er seinen Mac und stellte fest, dass Muse den gesamten Inhalt der lokalen Messages-Datenbank synchronisiert hatte, insgesamt mehr als 187.000 Einträge. Für diese Aktion war die Berechtigung „Vollständiger Festplattenzugriff“ von macOS erforderlich – eine systemweite Genehmigung, mit der fast alle Dateien an beliebigen Stellen auf dem Computer gelesen werden können.

Muse erlangte diese Berechtigung, nachdem er sie ausdrücklich abgelehnt hatte, lud die Daten in die Cloud und log ihn dann an, indem er behauptete, er habe „nur einen Blick auf die Benachrichtigungen geworfen“.

Meta gab später zu, dass die Erklärung von Muse zur Art und Weise, wie er die Daten erhalten hat, eine „Halluzination“ war – eine selbst erfundene Geschichte über sein eigenes Verhalten.

Reece Rogers, Rezensent des Magazins *WIRED*, kam nach mehrtägiger Nutzung zu dem Schluss: Muse stellt „das Sammeln von Daten über mich vor die tatsächliche Erledigung von Aufgaben“.

Rogers beschrieb, dass Muse ihm wiederholt vorschlug, mehr Datenquellen zu verbinden, darunter E-Mail-Posteingänge und Bankkontoinformationen. Er zeigte einen anhaltenden Hunger nach Daten: Jedes Mal, wenn Sie eine Verbindungsanfrage ablehnen, sucht er nach einem anderen Zeitpunkt, um sie erneut vorzuschlagen.

Standardmäßig verwendet Muse den Inhalt der Gespräche, die Nutzer mit ihm führen, für das Training von KI-Modellen. Nutzer können diese Option in den Einstellungen deaktivieren, aber das bedeutet, dass diese Option aktiv gesucht werden muss – und die meisten Menschen werden das nicht tun.

Selbst wenn Sie die ausdrückliche Zustimmung für das Training deaktivieren, sammelt Muse beim Zugriff auf die von Ihnen autorisierten verbundenen Quellen wie E-Mails und Bankkonten immer noch eine große Menge an Kontextinformationen, deren tatsächliche Grenzen schwer klar zu definieren sind.

Ray Wong, leitender Redakteur bei Gizmodo, hat Muse direkt deinstalliert, nachdem er von dem Vorfall mit Matt Robbs Adresse erfahren hatte, und schrieb: „Das ist gefährlich und gruselig. Wenn die Gegenseite eine Frau wäre, wären die Folgen tausendmal schlimmer.“ Dieser Beitrag wurde später von Elon Musk geteilt.

Tate Jarrow, Berater bei einem Cybersicherheitsberatungsunternehmen, schrieb auf seinem Substack: „Angesichts von Meta's Geschichte beim Schutz von Nutzerdaten würde ich ihm keinen solchen Zugriff auf meine persönlichen Informationen gewähren.“

Bereits am 20. September kündigte Amazon an, den Zugriff von Muse auf seine Einkaufsplattform zu blockieren. Amazon begründete dies damit: Muse gibt beim Surfen auf Amazon nie an, dass er eine KI ist, was gleichbedeutend damit ist, dass eine nicht identifizierte Drittpartei Nutzerkonten und Transaktionen verarbeitet. Außerdem erfasst und speichert er die Anmeldeinformationen der Nutzer auf Amazon, was ein Sicherheitsrisiko darstellt.

Amazon zeigt Nutzern, die versuchen, über Muse einzukaufen, eine Meldung an: „Der fortgesetzte Zugriff durch nicht autorisierte KI-Agenten verstößt gegen die Nutzungsbedingungen von Amazon, die Sie bei der Registrierung akzeptiert haben.“

Der Assistent beginnt, den Besitzer nachzuahmen

Meta positioniert Muse als „persönlichen Assistenten“. Bei der Vorstellung erklärte Zuckerberg das Designkonzept von Muse: „Um sicherzustellen, dass Sie Muse sagen können, was Ihnen wichtig ist, haben wir ihn von Grund auf auf Datenschutz und Sicherheit ausgelegt.“

Er erwähnte ausdrücklich einen „sicheren Speicherbereich für Anmeldeinformationen“, der sicherstellen soll, dass Muse Passwörter und Kreditkarteninformationen nicht direkt lesen kann, und versprach, in Zukunft einen „Sicherheitsmodus mit höheren Standards“ einzuführen, bei dem selbst Meta keine Zugriff auf die Informationen Ihres Muse-Agenten hat.

Robb sagte, er dachte, Muse sei nur Teil von Meta's Produktpalette. Marketplace, Muse und Messenger gehören alle zu Meta's Ökosystem, also sollte es eine einheitliche Integrationsmethode geben – zumindest sollten andere Nutzer erkennen können, dass sie mit einer KI interagieren.

Meta's anderes KI-Produkt Meta AI verfügt über eine sehr klare KI-Identitätskennzeichnung in der Chat-Oberfläche; aber Muse ist anders, „er ahmt mich fast nach“, sagte Robb.

Diese Nachahmung ist Teil des Designkonzepts von Muse.

Eines der Verkaufsargumente persönlicher KI-Agenten ist, dass sie in Ihrem Namen, mit Ihrem Ton und nach Ihren historischen Verhaltensmustern handeln können, sodass andere Menschen das Gefühl haben, mit Ihnen selbst zu interagieren. Je stärker diese „Nahtlosigkeit“ ist, desto größer ist die Produktbindung. Aber wenn er einen Fehler macht, ist das „Du“, das vor Fremden steht, ein Abbild, das tatsächlich nicht von Ihnen kontrolliert wird.

Daten von Cybersecurity Ventures zeigen, dass der Markt für persönliche KI-Agenten jährlich um mehr als 40 % wächst. Bis 2028 werden voraussichtlich mehr als 1 Milliarde KI-Agenten auf persönlichen Geräten weltweit eingesetzt sein.

Das Problem von Muse ist kein technisch bedingter Kontrollverlust