ChatGPT kann nun Computer „überwachen“. Nachdem ich es ausprobiert habe, habe ich mich entschieden, es noch ein bisschen länger zuschauen zu lassen.

Ich bin auf einen guten Artikel gestoßen, habe ihn aber nicht als Favorit gespeichert und aus Versehen geschlossen.

Dieses Dokument war gestern Abend noch geöffnet, heute weiß ich nicht mehr, in welchem Ordner es verschoben wurde.

Solche Vorfälle sind mir in letzter Zeit schon mehrmals passiert.

OpenAI hat kürzlich die neue Funktion „Computer History“ auf GPT eingeführt.

Der Name klingt sehr abstrakt. Wenn man es mit einem Bild veranschaulicht, ist es so, als trägst du eine Panoramakamera auf dem Kopf, die deinen ganzen Tag aufzeichnet: Wo du heute warst, wo du deine Kopfhörer hingelegt hast – wenn du die Aufzeichnung durchsiehst, weißt du alles.

Computer History ist genau diese Panoramakamera, die in deinem Computer installiert ist.

Abbildung｜OpenAI

Dich ganz offen „überwachen“

Computer History nutzt die Zugriffsrechte für Hilfsfunktionen von macOS, um eine Reihe von Aktionen auf deinem Computer aufzuzeichnen: Zum Beispiel, was du angeklickt hast, was du eingegeben hast, welche Tastenkombinationen du benutzt hast und von welcher App du zu welcher anderen App gewechselt bist.

Es erfasst keine Bildschirmfotos, Bildschirmaufzeichnungen oder Audiodaten und benötigt auch keine Berechtigung für „Bildschirmaufnahme“.

Diese Aktionen werden zunächst temporär auf dem Mac gespeichert, maximal 48 Stunden lang. Das System fasst sie regelmäßig zu einer textlichen Zusammenfassung zusammen und speichert sie als lokales Gedächtnis. Wenn du später Fragen stellst, sucht es nach relevanten Hinweisen in diesen Aufzeichnungen.

Diese Funktion ist standardmäßig deaktiviert. Um sie zu nutzen, brauchst du die macOS-Version der ChatGPT-Desktop-App sowie ein Abonnement von Pro, Business oder Enterprise. Wenn die Voraussetzungen erfüllt sind, kannst du sie auf der Seite „Integrationen“ in den Einstellungen aktivieren.

Nach dem Einschalten habe ich es zuerst mit einem kürzlich passierten Vorfall ausprobiert.

Am Morgen bin ich auf einen interessanten Beitrag auf Xiaohongshu gestoßen, habe ihn nicht als Favorit gespeichert und das Fenster direkt geschlossen.

Ich sagte zu GPT: „Ich erinnere mich, dass ich auf Xiaohongshu einen interessanten Taillenbecher oder einen Online-Shop für kleine Boxen auf Taobao gesehen habe, aber ich habe den Namen vergessen.“

Wie hilft mir GPT, diese Aufgabe zu erledigen?

Es liest zuerst die jüngsten Aktivitäten in Computer History aus, um herauszufinden, zu welcher Zeit ich ungefähr auf Xiaohongshu unterwegs war. Dann sucht es im lokalen Verlauf von Chrome nach dem ursprünglichen Beitrag, durchsieht schließlich die Seite und bestätigt den vagen Namen des Geschäfts.

In diesem Prozess speichert Computer History den Beitrag selbst nicht und nutzt auch keine Bildschirmfotos oder Aufzeichnungen.

Es hinterlässt eine Reihe von „Brotkrümeln“, damit Codex weiß, auf welcher Seite es die Antwort suchen soll.

Wenn einzelne Informationen wiedergefunden werden können, was ist dann mit der Arbeit über einen längeren Zeitraum?

Dieses Mal fragte ich: „Was habe ich vor der Mittagspause gemacht?“ Ich wollte wissen, an welcher Stelle ich den Entrag vor der Mittagspause unterbrochen habe und wo ich danach weiterarbeiten kann.

Nebenbei bemerkt: Als ich es getestet habe, habe ich genau diesen Artikel geschrieben.

Ich habe ihm nicht gesagt, wann die Mittagspause beginnt. Aus den Aufzeichnungen erkennt es, dass nach ca. 12:01 keine beobachtbaren Aktivitäten stattgefunden haben und ich um 12:48 wieder mit der Bearbeitung von Feishu begonnen habe, also schließt es daraus, dass die Lücke dazwischen meine Mittagspause ist.

Danach ruft es die relevanten Aufzeichnungen ab, verfolgt meine Wechsel zwischen Feishu, Webseiten und mehreren Agenten, um nachzuvollziehen, bis zu welchem Schritt dieser Artikel vor der Mittagspause geschrieben wurde. Dann vergleicht es mit der Gliederung in einem anderen Dokument, um zu beurteilen, welche Teile fertig sind, welche noch fehlen und wo ich eigentlich weitermachen wollte.

Zu meiner Überraschung hat es auch die Änderungen am Artikel nach der Mittagspause verglichen, darauf hingewiesen, was ich nach der Rückkehr ergänzt habe und an welcher Stelle ich gerade stehe, und einen Punkt angegeben, an dem ich direkt weiter schreiben kann.

Das Ergebnis ähnelt eher einer aufmerksamen Übergabedokumentation. Nachdem ich es gelesen habe, muss ich den Text fast nicht mehr komplett durchlesen, um zu wissen, wo ich weitermachen soll.

Das trifft genau eines meiner Probleme: Dokumente, Code und Webseiten können zwar gespeichert werden, aber wenn man durch einen Anruf oder eine Mittagspause unterbrochen wird, muss man sich oft selbst daran erinnern, warum man die Seite geöffnet hat und wie man weiterarbeiten wollte.

Heutige Anwendungen können unsere Arbeitsspuren behalten, aber sie können nicht diesen wertvollen Zustand beim Arbeiten oder Schreiben speichern.

Computer History speichert nicht jeden einzelnen Gedankengang in meinem Kopf vollständig, aber es kann aus Aktivitätsaufzeichnungen, Dokumentänderungen und Artikellgliederungen einen Kontext zusammenstellen, der ausreicht, damit ich weiterarbeiten kann.

Nach Abschluss der Aufgabe taucht oben in der zehnminütigen Zusammenfassung ein Vorschlag für eine Fähigkeit namens „Activity recall“ auf. Es wird vorgeschlagen, diese Methode zum Suchen von Dingen in jüngsten Aktivitäten zu speichern, um sie später wiederverwenden zu können.

Viele KI-Dienste ermutigen Nutzer heute, ihre regelmäßig ausgeführten Arbeiten als Fähigkeiten zu speichern. Aber wenn man selbst eine erstellen will, können viele Menschen das nicht genau beschreiben.

Jeden Tag öffnet man Feishu, zieht Daten ab und antwortet auf Nachrichten in Gruppen – das ist längst zur Gewohnheit geworden. Aber wenn man jeden Schritt vollständig auflisten will, vergisst man oft viele Details.

Computer History könnte diesen Schritt ergänzen. Es beobachtet zuerst, wie du arbeitest, erkennt wiederholte Abläufe aus jedem deiner Klicks. Wenn diese Aktionen immer wieder ausgeführt werden, könnte es dich erinnern: Sollen wir diesen Ablauf an einen Agenten übergeben?

Aber nach dem praktischen Test sind die Nachteile auch offensichtlich.

Die Aktionen werden sehr genau erfasst, aber die Suchzeit von oft fünf bis sechs Minuten ist wirklich ermüdend – in der Zeit, bis es das Ergebnis ausgibt, habe ich schon wieder vergessen, was ich eigentlich suchen wollte.

Eine weitere Hürde ist das Abonnement. Die kostenlose Version und Plus können diese Funktion derzeit nicht nutzen, nur Abonnements ab Pro schalten sie frei. Außerdem werden laut offizieller Angabe die Ereignisse regelmäßig zu einer Zusammenfassung verarbeitet. Durch die Kompression können einige Details verloren gehen; außerdem kann das Modell beim Zusammenfassen und Abrufen von Aufzeichnungen falsche Schlussfolgerungen ziehen.

Andere sind in die Falle getappt, wir lernen daraus

Was OpenAI gerade macht, hat schon jemand vor zwei Jahren versucht.

Im Mai 2024 hat Microsoft die neue Funktion Recall zusammen mit Copilot+ PC vorgestellt.

Die offizielle Demonstration damals war sehr anziehend: Alle paar Sekunden wurde ein Bildschirmfoto aufgenommen, die Schnappschüsse in einer lokalen Datenbank gespeichert und zu einer durchsuchbaren Zeitleiste zusammengestellt. Wenn man vergessen hat, wo eine Datei liegt oder bis zu welcher Seite man auf einer Webseite gelesen hat, kann man die Aufzeichnungen durchsehen und es wiederfinden.

Dann ging es direkt schief.

Der Sicherheitsforscher Alexander Hagenah hat ein Tool namens TotalRecall entwickelt. Es braucht keine Administratorrechte, um automatisch die Recall-Datenbank und die Bildschirmfotos auf dem lokalen Rechner zu finden, sie nach Datumsbereichen massenhaft zu kopieren und Schlüsselwortsuchen in den OCR-erfassten Texten der Bildschirmfotos durchzuführen.

Mit anderen Worten: Deine Bildschirmaufzeichnungen von mehreren Wochen oder sogar drei Monaten sind in der Datenbank gespeichert, und jedes lokale Programm kann sie heimlich stehlen.

Deshalb wurde Recall, bevor es wie geplant weit verbreitet veröffentlicht wurde, so stark kritisiert, dass Microsoft es zurückziehen und überarbeiten musste.

Abbildung｜Inc. Magazine

Das frühere Produkt Rewind ging denselben Weg. Es hat alle paar Sekunden ein Bildschirmfoto aufgenommen, eine schöne Zeitleiste erstellt und sich selbst zu einem „Lebensrückblick-Gerät“ gemacht. Aber die Methode basierte ebenfalls auf Bildschirmfotos, und der Schutz der Privatsphäre war ebenfalls unzureichend.

Sogar OpenAI selbst hat im ersten Halbjahr das getestete Produkt Chronicle entwickelt, das ebenfalls auf der Bildschirmfoto-Methode basierte.

Mit der Einführung von Computer History verwirft OpenAI selbst den alten Weg der fortlaufenden Bildschirmaufnahme.

Gegen die Privatsphäre der Nutzer zu handeln, ist kein einfacher Weg.

Von Recall, Rewind, Chronicle bis zu Computer History haben diese Produkte zwar unterschiedliche Formen, aber sie versuchen alle, den Nutzungsprozess der Nutzer aufzuzeichnen.

Diese Unternehmen sehen die Risiken für die Privatsphäre nicht nicht. Gerade weil die Risiken so offensichtlich sind und sie trotzdem nicht aufgeben wollen, zeigt, dass dahinter etwas steckt, das das Risiko wert ist.

Die Antwort liegt möglicherweise in den „Prozessdaten“.

Für KI-Hersteller ist genauso wichtig, wie Nutzer arbeiten, wie das, was Nutzer am Ende sagen.

Herkömmliche Chatbots sehen normalerweise nur die Eingabeaufforderungen und das Endergebnis. Welche Quellen Nutzer durchsucht haben, an welcher Stelle sie steckengeblieben sind und wie sie Tools aufgerufen haben – diese Zwischenschritte werden selten vollständig in den Dialog aufgenommen.

Computer History zeichnet den Prozess auf Seiten der Nutzer auf: Wie sie Tools nutzen und an welcher Stelle ihre Arbeit unterbrochen wurde. Für KI-Hersteller ist das ein Wert, den man kaum ignorieren kann, und es ist vielleicht auch der wichtigste Grund, warum viele Hersteller eifrig Anwendungen für Agenten vorantreiben.

Abbildung｜The Sweet Setup

Im Vergleich zu früheren Produkten umgeht Computer History das Erfassen von Bildschirminhalten der Nutzer und nutzt eine relativ schonendere Methode, um die Kosten für die Erfassung von Prozessdaten auf ein für Nutzer akzeptables Niveau zu senken.

Der Vorteil ist, dass diese Vorgehensweise die Menge der zu erfassenden und zu speichernden Rohdaten verringert. Das bedeutet aber nicht, dass es keine Risiken für die Privatsphäre gibt. In der Datenschutzerklärung von Computer History steht die tatsächliche Bilanz dieses Austauschs.

Ereignisse werden lokal erfasst, aber beim Erstellen von Aufzeichnungen wird eine temporäre Codex-Sitzung gestartet, um den Ereignisstrom zur Verarbeitung an die Server von OpenAI zu senden. Laut offizieller Angabe werden diese Ereignisse nach der Verarbeitung nicht behalten und nicht für das Training verwendet. Aber wenn die Aufzeichnungen später in Dialogen abgerufen werden, gelangen die relevanten Inhalte trotzdem in den Dialogkontext.

Eine andere Art von Risiko wird auch klar in der Erklärung genannt: Aufzeichnungen werden als reine Markdown-Textdateien lokal gespeichert; bösartige Anweisungen, die in Webseiten eingebettet sind, können ebenfalls mit dem Ereignisstrom in die Aufzeichnungen gelangen und Prompt-Injektionen verursachen. Wenn es um Chats und private Informationen geht, empfiehlt der Anbieter sogar, die Erfassung direkt anzuhalten.

Wenn du mich fragst, ob ich die Funktion nach dem kurzen Ausprobieren von Computer History aktivieren würde.

Ich würde Ja sagen.

Aber ich werde sie nur für notwendige Arbeitsanwendungen und Webseiten freigeben. Wenn es um Chats, Konten und private Inhalte geht, werde ich die Erfassung trotzdem anhalten.

Dadurch lassen sich die Risiken zwar nicht vollständig beseitigen, aber diese Erfahrung hat mir klar gemacht: Solange die Risiken noch beherrschbar sind, ist der Wert, den Arbeitszustand wiederzufinden und wiederholte Abläufe zu entdecken, es wert, diesen Teil des Risikos zu tragen.

Schließlich wünsche ich mir wirklich eine „Panoramakamera“, die für mich die Erinnerungen und Abläufe aufzeichnet, die ich selbst nicht einmal bemerkt