OpenAIs „Projekt Lily“ wurde enthüllt, Ihre Chat-Verläufe werden möglicherweise derzeit manuell überprüft.

Laut Nachrichten aus ausländischen Medien vom 14. September Ortszeit in den USA treibt OpenAI ein internes Projekt mit dem Codenamen „Projekt Lily“ (Project Lily) voran.

Berichten zufolge lesen im Rahmen dieses Projekts Hunderte von extern beauftragten Mitarbeitern heimlich die ChatGPT-Konversationen echter Nutzer und können sogar die vollständigen Kontextaufzeichnungen einsehen. Ihre Aufgabe ist es, die von ChatGPT generierten Antworten zu bewerten und zu kommentieren, wobei diese Gespräche auch äußerst sensible personenbezogene Daten enthalten.

Eine der Kernaufgaben der Prüfkräfte besteht darin, ChatGPT dahingehend zu trainieren, anthropomorphe Tendenzen zu vermeiden und eine „gefällige“ Persönlichkeit zu reduzieren. Für OpenAI ist das „übermäßige Gefallenwollen“ zu einem zentralen Risiko geworden, da mehrere Klagen vorwerfen, dass das GPT-4o-Modell früher aufgrund seiner übermäßigen Fügsamkeit gegenüber Nutzern in gewissem Maße mehrere Selbstmordfälle begünstigt hat.

Dennoch ist der überwiegende Teil der weltweit mehr als 900 Millionen Nutzer von ChatGPT sich möglicherweise überhaupt nicht bewusst, dass ihre Chat-Protokolle von Menschen gelesen werden könnten. Viele Nutzer haben sich daran gewöhnt, ChatGPT als Psychotherapeuten, professionellen Assistenten oder virtuellen Freund zu betrachten und ihm alle möglichen privaten Details aus ihrem Leben anzuvertrauen.

Obwohl OpenAI angibt, dass die Anfragen vor der Übermittlung an die Prüfkräfte einer De-Identifizierung (de-identified) unterzogen werden und die extern beauftragten Mitarbeiter die Benutzernamen nicht einsehen können, räumt das Unternehmen ein, dass einige sensible Informationen und Nutzerhintergründe (z. B. „Zusammenfassung der Erinnerungen“) möglicherweise dennoch übersehen werden.

Diese Untersuchung enthüllt auch einen langfristig der Öffentlichkeit kaum bekannten Aspekt der Entwicklung großer Sprachmodelle. Man geht oft davon aus, dass der rasche Fortschritt von KI vor allem auf massiven Internetdaten, algorithmischen Durchbrüchen von Spitzeningenieuren oder der stetig steigenden Leistungsfähigkeit neuer Modelle selbst beruht.

Tatsächlich beschäftigen KI-Unternehmen aber auch fortlaufend externe Vertragsmitarbeiter, um die Antworten der KI durch menschliche Eingriffe zu korrigieren und zu gestalten. Der Konkurrent Anthropic bestätigte ebenfalls, dass sie ebenfalls menschliche Prüfungen nutzen, um ihre eigenen Modelle zu optimieren.

Auf die Frage, ob die Nutzer darüber informiert sind, sagte ein Mitarbeiter, der an der Verarbeitung der Anfragen beteiligt ist, in einem Interview offen: „Nein, ich glaube nicht, dass sie damit rechnen, dass ein extern beauftragter Mitarbeiter irgendwo diese Gespräche analysiert.“

01 Ein hinter den Kulissen verborgener menschlicher Prüfmechanismus

Ein ausländisches Medium gibt an, eine große Menge detaillierter Materialien über die Nutzung menschlicher Prüfkräfte durch OpenAI erhalten zu haben, darunter Handbücher, interne Slack-Kanäle, echte ChatGPT-Nutzeranfragen und ein vollständiges Bewertungssystem.

Aus den derzeit durchgesickerten Materialien geht nur hervor, dass der Name dieses Projekts von OpenAI „Projekt Lily“ lautet, es wird aber nicht bekanntgegeben, welches Modell konkret trainiert wird.

Diese Art der Anfragenprüfung zum Zweck des Modelltrainings unterscheidet sich deutlich von den zuvor von ChatGPT veröffentlichten Sicherheitsmaßnahmen. Letztere umfassen unter anderem die Prüfung von Chat-Protokollen, wenn erkannt wird, dass ein Nutzer plant, andere zu schädigen.

Im Handbuch steht ausdrücklich geschrieben: „Eine hochwertige Antwort sollte die Absicht des Nutzers genau verstehen, nützliche und genaue Hilfe leisten und gleichzeitig klar, natürlich, freundlich und angemessen formuliert sein.“

Die Arbeitsabläufe der extern beauftragten Mitarbeiter gliedern sich hauptsächlich in drei Schritte: zuerst die Lektüre der echten Nutzeranfrage, dann die Zusammenfassung des tatsächlichen Bedarfs des Nutzers und schließlich die Bewertung und Kommentierung der vom System generierten Antwort.

Auf ihrem Arbeits-Dashboard können die Prüfkräfte die zu übernehmenden „Aufgaben“ selbst auswählen. Nach einem Klick zeigt die Seite den Inhalt der echten Nutzeranfrage an. Bei einigen dieser Anfragen haben Nutzer ChatGPT ausdrücklich gebeten, den Inhalt geheim zu halten – was zeigt, dass die Nutzer überhaupt nicht damit rechnen, dass ihre Gespräche letztendlich von Menschen überprüft werden.

Nach der Lektüre der Anfrage müssen die Prüfkräfte zunächst eine kurze Zusammenfassung verfassen, die die wahre Absicht des Nutzers wiedergibt. Das Beispiel im Handbuch lautet: „Der Nutzer bittet um Hilfe bei der Überarbeitung einer Arbeitsnachricht in Slack, damit der Ton kollaborativer wird und der erwähnte Kollege dazu angeregt wird, Ratschläge zu geben.“

Anschließend bewerten die Prüfkräfte vier von ChatGPT generierte Antworten, weisen darauf hin, welche Teile den Trainingsanforderungen „entsprechen oder nicht entsprechen“, und markieren mindestens drei konkrete Stellen, um die Gründe zu erläutern.

Das Dokument weist darauf hin, dass Punkte abgezogen werden, wenn der „KI-Ton“ und der „übermäßige Einsatz von Emojis“ das Nutzererlebnis beeinträchtigen. Die Verwendung von Emojis muss sich am konkreten Kontext orientieren: „Beispielsweise ist es angemessen, ein Baum-Emoji bei der Planung einer Baumpflanzaktion einzufügen; die Verwendung eines Totenkopf-Emojis bei Gesprächen über den Tod oder eines Flugzeug-Emojis bei der Veröffentlichung von Updates zu einem tödlichen Flugunfall hingegen ist eine unangemessene Nutzung.“

Gleichzeitig schreiben die Regeln vor, dass Antworten die Verwendung „persönlicher“ Erfahrungsformulierungen vermeiden sollen, wie etwa „Als Koch mag ich …“ oder „Ich kenne dieses Gefühl“. Formulierungen in der ersten Person wie „Lassen Sie mich das einmal ansehen“ sind hingegen zulässig.

Bei der Bewertung müssen die Prüfkräfte jeder Antwort eine Punktzahl von 1 bis 7 geben. 1 Punkt steht für das schlechteste Ergebnis, also „unakzeptabel und nicht verwendbar“; 7 Punkte stehen für das beste Ergebnis, also „es gibt kaum noch Raum für weitere Optimierungen“. Selbst wenn der Inhalt nützlich ist, kann eine Antwort eine niedrige Punktzahl erhalten, wenn sie zu lang ist oder unübersichtlich strukturiert ist.

Ein weiteres als „vertraulich und eigentumsrechtlich geschützt“ gekennzeichnetes Dokument erläutert, dass der Ton der Modellantwort „im Großen und Ganzen dem des Nutzers entsprechen, aber etwas weniger intensiv sein soll“.

Das Dokument fordert weiter: „Die Antwort soll natürlich, zurückhaltend und professionell sein und nicht suggerieren, dass sie ein Mensch ist oder Emotionen hat. Alles, was die Glaubwürdigkeit oder Natürlichkeit der Antwort schwächt – wie unterwürfiges Gefallenwollen, erzwungene Nachahmung eines Stils, schlussendliche Formulierungen, die zur Interaktion anregen, die Verstärkung der Frustration des Nutzers oder bevormundende belehrende Annahmen – ist zu markieren.“

Umgekehrt sollen die Antworten „nützlich“, „ehrlich und vertrauenswürdig“, „ermächtigend“ sowie „weise und bescheiden“ sein.

Nach der Bewertung müssen die Prüfkräfte die Gründe für die Punktzahl angeben. Diese Begründungen können kurz oder lang sein, zwei bis drei Sätze umfassen oder auch eine ganze detaillierte Analyse bilden. Darüber hinaus geht aus den häufig gestellten Fragen für Prüfkräfte hervor, dass OpenAI von ihnen keine externen Recherchen zur Überprüfung der Genauigkeit verlangt, dafür gibt es ein eigenes Team für die Inhaltsprüfung. Dennoch fordert das Unternehmen die Prüfkräfte auf, festgestellte sachliche Fehler zu markieren. Bei Antworten in risikoreichen Bereichen wie Medizin, Recht und Finanzen, die keine Quellenangaben enthalten, werden ebenfalls Punkte abgezogen.

02 Jenseits der Anonymisierung: Gespräche können dennoch sensible Informationen preisgeben

Laut Angaben von mit der Sache vertrauten Personen wurden diese Anfragen de-identifiziert, auf dem Dashboard wird der Benutzername des Fragenden nicht angezeigt. Trotzdem können die Anfragen selbst sensible Informationen enthalten.

Über der Anfrage befindet sich manchmal eine „Zusammenfassung der Nutzermemoiren“, die den früheren Nutzungszweck des Chatbots durch den Nutzer beschreibt und sogar seinen Wohnort sowie weitere persönliche Hintergründe enthält.

Die Prüfrichtlinien verlangen von den extern beauftragten Mitarbeitern, Aufgaben mit „potenziellen Sicherheitsrisiken“ oder personenbezogenen Informationen nach oben zu melden. OpenAI gibt an, dass die Gespräche vor der Übermittlung an die externen Mitarbeiter zunächst durch das interne Modell des „Datenschutzfilters“ (Privacy Filter) vorverarbeitet werden, das personenbezogene Daten erkennen und entfernen soll.

Auf der Erklärungsseite für das Modell auf der offiziellen Website von OpenAI wird ebenfalls eingeräumt: „Wie alle Modelle macht auch der Datenschutzfilter Fehler. Er kann seltene Identifikatoren oder mehrdeutige private Formulierungen übersehen; bei begrenztem Kontext (insbesondere bei kurzen Sätzen) kann es zudem zu übermäßigem oder unzureichendem Löschvorgang kommen.“

Ein ausländisches Medium hat OpenAI ausdrücklich gefragt, ob Nutzer jemals klar darüber informiert wurden, dass ihre Anfragen zur Optimierung der Antworten von Menschen überprüft werden, und wo die entsprechenden Hinweise zu finden sind – das Unternehmen gab keine klare Antwort darauf.

Auf seiner offiziellen Website wird nur erläutert, dass bei der Bearbeitung von Verstößen oder Sicherheitsrisiken menschliche Eingriffe möglich sind, was etwas anderes ist als die Prüfung zur Modelloptimierung. In seinen Datenschutzrichtlinien wird zwar erwähnt, dass „personenbezogene Daten“ zur Verbesserung des Modells verwendet werden können, und es wird behauptet, dass die Daten innerhalb von 30 Tagen gelöscht werden, nachdem der Nutzer die Gespräche entfernt hat – es wird aber eine Ausnahme hinzugefügt: Dies gilt nicht, wenn der Nutzer zugestimmt hat, dass der Inhalt zur Optimierung des Modells verwendet wird, und der Inhalt de-identifiziert und von dem Konto getrennt wurde.

Nach der Veröffentlichung der entsprechenden Berichte ausländischer Medien wies OpenAI erst auf die Erklärung auf seiner offiziellen Website hin, dass menschliche Prüfungen zur „Verbesserung der Modellleistung“ verwendet werden können.

OpenAI ergänzte, dass die Chat-Protokolle nicht zur Optimierung des Modells verwendet werden, wenn Nutzer die Option „Modell für alle verbessern“ deaktivieren. Diese Option ist jedoch in der kostenlosen Version sowie bei Plus- und Pro-Konten standardmäßig aktiviert. Nutzer müssen sie manuell deaktivieren, und diese Einstellung gilt nur für neue Gespräche, die nach der Deaktivierung entstehen – bestehende Protokolle lassen sich davon nicht rückwirkend erfassen.

Für Nutzer der Enterprise-Version, der Business-Version und der Edu-Version ist diese Option standardmäßig deaktiviert.

Auf die Bitte des ausländischen Mediums um Stellungnahme aktualisierte OpenAI anschließend die Hilfeseite und fügte detaillierte Anweisungen zum Deaktivieren dieser Einstellung hinzu – zu der Angelegenheit, dass „echte Menschen die Gespräche lesen“, gab es aber weiterhin keine klare Stellungnahme.

03 Mit einem Stundensatz von über 50 US-Dollar: Was machen die Prüfkräfte eigentlich?

Ein ausländisches Medium interviewte einen in Nordamerika lebenden Mitarbeiter für die Anfragenverarbeitung, der mitteilte, dass sein Stundensatz über 50 US-Dollar liegt.

Seinen Angaben zufolge hat er diese Stelle über die Personalvermittlungsagentur Crossing Hurdles erhalten. Auf der offiziellen Website der Agentur heißt es, ihre Tätigkeit ziele darauf ab, „im globalen KI-Wirtschaftsumfeld Fachkräfte mit Stellen für KI-Training, -Bewertung, -Forschung und -Mitarbeitende zu verbinden“, und sie behauptet: „Menschliche Intelligenz ist der Grundstein für den Fortschritt der KI.“

Auf dem Forum Reddit haben mehrere Nutzer berichtet, dass sie seltsame Einstellungs-E-Mails von diesem Unternehmen erhalten haben, einige vermuten sogar, dass es sich um einen Internetbetrug handelt.

Derzeit sucht die LinkedIn-Seite von Crossing Hurdles mehrere KI-bezogene Stellen, darunter KI-Datenprüfer, Datenannotierer und „Chatbot-Bewerter“.

Obwohl in den Stellenausschreibungen OpenAI oder ChatGPT nicht erwähnt werden, umfassen die Arbeitsaufgaben die „Bewertung der Personalisierung, der sachlichen Grundlage, der Integration und der Nützlichkeit von KI-Antworten“ sowie den „Seiten-an-Seiten-Vergleich von Modellantworten zur Bewertung ihrer Gesamtqualität“.

Zu den bestehenden Projekten gehört auch die Rekrutierung extern beauftragter Mitarbeiter, die ihre eigenen Tätigkeiten bei der Hausarbeit aufzeichnen. Diese Datenerfassungsarbeit ist für die Entwicklung KI-gesteuerter Roboter von entscheidender Bedeutung.

Laut Angaben von mit der Sache vertrauten Personen leitet Crossing Hurdles die rekrutierten Mitarbeiter anschließend an das KI-Trainingsunternehmen Mercor weiter – dieses ist die eigentliche Einheit, die den ChatGPT-Anfragenprüfern letztendlich die Gehälter zahlt.

Darüber hinaus hat Meta die Zusammenarbeit mit Mercor beendet, nachdem das Unternehmen im April 2026 einen schweren Datenleck erlitten hat.

Seit langem ist die menschliche Prüfung ein wichtiger, aber verborgener Teil des KI-Trainings. Das ist nicht einzigartig für OpenAI: Der Haftungsausschluss von Google Gemini erwähnt ausdrücklich, dass menschliche Prüfkräfte zur Verbesserung von Google AI einige gespeicherte Chat-Protokolle überprüfen können; auch Anthropic bestätigt, dass es die Konversationen einiger Nutzer durch menschliche Prüfung optimiert, um Claude zu verbessern, und vor der Prüfung Kontoidentifikatoren wie E-Mail-Adressen entfernt.

Das bedeutet, dass selbst nach einer De-Identifizierung die scheinbar eins-zu-eins geführten, privaten Gespräche zwischen Nutzern und KI von echten Prüfkräften eingesehen werden können. Michal Luria, leitender Forscher am Zentrum für Demokratie und Technik, ist der Ansicht, dass menschliche Prüfungen zwar entscheidend für die Gewährleistung der Sicherheit von Chatbots sein können, dieser Mechanismus aber leicht mit dem Datenschutzgefühl kollidiert, das Nutzer gegenüber Chatbots haben.

Die Professorin Sarah T. Roberts von der University of California in Los Angeles vergleicht dieses Phänomen mit dem Zauberer von Oz: Hinter der scheinbar magischen KI gibt es immer noch Menschen, die „an den Hebeln ziehen“. Sie ist der Ansicht, dass diese KI-Produkte nach wie vor eine fortlaufende menschliche Beteiligung benötigen.

Für die Prüfkräfte ist die Arbeit trotz des Stundensatzes von über 50 US-Dollar als „sehr mechanisch“ beschrieben worden. Roberts geht davon aus, dass diese hohe Bezahlung vorübergehend sein könnte, während die menschliche Intelligenz, auf die die KI fortlaufend angewiesen ist, der am meisten unterschätzte Aspekt ist.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Tencent Technology“, Autor: Bemerkenswert, veröffentlicht mit Genehmigung von 36Kr.