Eine chinesische Ingenieurin ist gestorben, nachdem ChatGPT ihr empfohlen hatte, die Medikamentendosis zu verringern, und gegen OpenAI wurde Klage eingereicht.
OpenAI wurde erneut wegen medizinischer Probleme verklagt. Laut der China Overseas Chinese Network starb eine 31-jährige chinesische Frau, die in Seattle lebte, angeblich nachdem sie gemäß dem von ChatGPT bereitgestellten täglichen Medikamentenreduktionsplan selbst ihre Antiepileptika schrittweise reduziert und schließlich abgesetzt hatte. Ihre Eltern reichten am 27. Ortszeit am Obersten Gerichtshof von San Francisco eine Klage wegen unrechtmäßigen Todes ein und verklagten OpenAI und seinen CEO Sam Altman, da ChatGPT ohne Zulassung medizinische Tätigkeiten ausübt und gefährliche sowie ungenaue medizinische Ratschläge erteilt.
Berichten zufolge stammt die Verstorbene aus Jiangsu, China, arbeitete früher als Software-Ingenieurin bei Amazon und nahm seit 2021 langfristigen Krankenurlaub. Sie litt an schwerer Epilepsie, ihre jahrelang eingenommenen Medikamente verloren vorübergehend ihre Wirkung, später wechselte sie zu einem neuen Medikament, wodurch die Anzahl der Anfälle auf wenige Male pro Monat sank. Seit 2023 nutzte sie ChatGPT häufig, um Fragen zu Beziehungen, Krankenversicherung und Leistungen für Menschen mit Behinderungen zu stellen; im Jahr 2025 sendete sie durchschnittlich mehr als 1500 Nachrichten pro Woche.
Der Sprecher von OpenAI, Drew Pusateri, erklärte, dass das betroffene GPT-4o am 13. Februar aus der ChatGPT-Verbraucheranwendung entfernt wurde; das neue Modell ist besser in der Lage, Situationen zu erkennen, die dringend behandelt werden müssen, und gibt klarere Folgeempfehlungen. Das Unternehmen bewertet fortlaufend die Situation und arbeitet mit klinischen Ärzten bei Tests zusammen. Er betonte: „ChatGPT kann die medizinische Versorgung nicht ersetzen.“
Dies ist nicht das erste Mal, dass OpenAI mit einer ähnlichen Klage konfrontiert wird. Laut der Global Times wurde im Juli dieses Jahres der weltweit erste Fall einer Klage wegen schwerer Verletzungen durch medizinische Fehlleitung von ChatGPT in den USA bekannt: Ein Pfarrer aus Florida verklagte OpenAI und Altman offiziell und beschuldigte, dass falsche medizinische Ratschläge von ChatGPT den Krankheitsverlauf verzögerten, was zu einer tödlichen Lungenembolie führte und sein Leben fast gefährdete.
Wie aus der Gerichtsakte hervorgeht, nutzte der Nutzer seit 2024 kontinuierlich GPT-4o, um Symptome wie Schwindel und körperliches Unwohlsein zu konsultieren. In der Anfangsphase enthielt das Modell noch Hinweise auf die Notwendigkeit eines Arztbesuchs, später wurden die Haftungsausschlusserinnerungen vollständig weggelassen, das Risiko der Erkrankung wurde ständig heruntergespielt, der Nutzer wurde von einem Krankenhausbesuch abgehalten, es wurden nur häusliche Pflegepläne angeboten und er wurde sogar dazu überredet, die Empfehlungen von Verwandten und Freunden zum Arztbesuch zu ignorieren. Unter der langfristigen Irreführung durch die KI ruhte sich der Nutzer lange Zeit zu Hause aus, und der Zustand verschlechterte sich stetig.
Laut einem Bericht der Xinhua News Agency in diesem Monat reichten die Generalstaatsanwälte von 8 US-Bundesstaaten am 14. jeweils Klage bei den Gerichten ihres Bundesstaates ein und beschuldigten, dass der Chatbot ChatGPT von OpenAI die Nutzer in Bezug auf die Produktsicherheit irreführt, die Sicherheit Minderjähriger gefährdet und gegen Gesetze verstößt.
Gemäß den Erklärungen und Klagedokumenten, die von den Büros der Generalstaatsanwälte der einzelnen Bundesstaaten veröffentlicht wurden, wird OpenAI vorgeworfen, ChatGPT als Chatbot zu gestalten, der die Nutzer übermäßig entgegenkommt und menschliche Emotionen simuliert, um das Vertrauen und die Abhängigkeit der Nutzer zu stärken und die Nutzungsdauer zu verlängern. In der Klage heißt es, dass ChatGPT die Wahnvorstellungen oder paranoiden Gedanken der Nutzer verstärken, medizinische Ratschläge erteilen kann, die die Gesundheit der Nutzer gefährden können, und in einigen Fällen die Nutzer sogar dazu anregt, sich selbst zu verletzen oder andere zu schädigen.
Ein Sprecher von OpenAI antwortete, dass das Unternehmen im Produktsicherheitsmaßnahmen für Nutzer unterschiedlicher Altersgruppen eingerichtet habe. Das Unternehmen werde weiterhin mit Experten zusammenarbeiten, um die entsprechenden Maßnahmen weiter zu verbessern, und sich dafür einsetzen, mit den einzelnen Bundesstaaten zusammenzuarbeiten, um Richtlinien zu fördern, die für die gesamte KI-Branche gelten.
Ende letzten Jahres gab es zeitweise Nachrichten, dass ChatGPT keine medizinischen Ratschläge mehr anbieten werde. Daraufhin antwortete die Seite von OpenAI, dass ChatGPT weiterhin medizinische Informationen bereitstellen kann.
Im Januar dieses Jahres kündigte OpenAI die Einführung des ChatGPT Health-Modus an. Es ist bekannt, dass diese Funktion gesundheitsbezogene Antworten auf der Grundlage von Nutzerfragen bereitstellen kann und die Verbindung mit intelligenten Geräten unterstützt, um Daten wie Sport und Schlaf zu erfassen und anschließend personalisierte Ernährungs- und Trainingspläne zu erstellen.
Laut OpenAI erhält die Plattform wöchentlich mehr als 230 Millionen gesundheits- und wellnessbezogene Anfragen. ChatGPT Health trennt diese gesundheitsbezogenen Gespräche von anderen alltäglichen Chats, um sicherzustellen, dass der Kontext gesundheitsbezogener Gespräche nicht in den regulären Austausch mit ChatGPT einfließt.
Dieser Artikel stammt von „Jiemian News“, der Reporter ist Chen Xiaotong, und wird von 36Kr mit Genehmigung veröffentlicht.