KI-Arzt für 4,99 US-Dollar

Dieses Jahr hat Utah eine Genehmigung erteilt, die noch nie jemand zuvor durchgeführt hat:

Eine KI soll Akne-Patienten diagnostizieren und Rezepte ausstellen – ganz allein die KI.

Das Unternehmen heißt Nolla Health, wurde 2024 in Norwegen gegründet, hat eine Seed-Finanzierung von 4,5 Millionen US-Dollar von General Catalyst erhalten und seinen Hauptsitz nach New York verlegt. Die monatliche Gebühr beträgt 4,99 US-Dollar: Man scannt das Gesicht mit dem Handy, und das Rezept ist in wenigen Minuten fertig.

Was bedeutet 4,99 US-Dollar im Vergleich?

Ein persönlicher Besuch bei einem Dermatologen in den USA kostet zwischen 150 und 300 US-Dollar. Und man muss warten. Im Landesdurchschnitt wartet man 36 Tage auf einen Termin bei einem Dermatologen, in Utah sogar 61 Tage.

Was Nolla verkauft, ist günstig, schnell und ohne Warteschlange.

Wie funktioniert es? Man öffnet die App, macht Fotos des Gesichts aus fünf verschiedenen Winkeln und füllt einen Fragebogen zur Krankengeschichte aus.

Die KI vergibt einen Schweregrad der Akne von 0 bis 5 Punkten; liegt der Wert über 3,5 Punkte, oder ist man schwanger, stillt man oder leidet man an schweren Leber- und Nierenerkrankungen, wird der Vorgang abgebrochen und an einen menschlichen Arzt weitergeleitet.

Wenn der Wert nicht überschritten wird, wählt die KI eines von acht äußerlich anzuwendenden Medikamenten aus, das Rezept wird direkt an die von Ihnen angegebene Apotheke geschickt oder kann nach Hause zugesandt werden – während des gesamten Prozesses hat kein einziger menschlicher Arzt Sie jemals untersucht.

Die Regierung von Utah hat die Regelung nicht auf einmal freigegeben, sondern sie in drei Schritte unterteilt.

Erster Schritt: Die ersten 100 Patienten, der Prozess läuft mindestens 4 Wochen. Jedes von der KI ausgestellte Rezept muss von zwei zugelassenen Ärzten einzeln geprüft und genehmigt werden, bevor es an die Apotheke geschickt wird. Das ist vergleichbar mit einem Fahrlehrer auf dem Beifahrersitz, der jederzeit die Bremse betätigen kann.

Zweiter Schritt: Erweiterung auf 500 Personen, der Prozess läuft mindestens 8 Wochen. Die KI stellt Rezepte direkt aus, die Ärzte prüfen sie einmal pro Woche rückwirkend. Der Fahrlehrer lässt das Steuer los, sitzt aber noch daneben.

Dritter Schritt: Insgesamt 750 Personen. Die Ärzte prüfen monatlich 10 % der Fälle stichprobenartig.

An diesem Punkt werden 90 % der Rezepte an die Patienten geschickt, bevor sie von irgendjemandem geprüft wurden. Für jede Stufe gibt es drei harte Bedingungen, von denen keine fehlen darf: Die Übereinstimmungsrate zwischen KI und ärztlicher Beurteilung beträgt nicht weniger als 95 %, es gibt null schwerwiegende unerwünschte Ereignisse und die staatliche Regierung hat die Genehmigung schriftlich erteilt.

Die Bedingungen klingen sehr streng, aber es gibt eine Zahl, deren zweite Hälfte in allen chinesischen Berichten weggelassen wurde.

In dem staatlichen Vorschlag, den Nolla bei Utah eingereicht hat, steht geschrieben, dass die Übereinstimmungsrate der zugelassenen klinischen Ärzte mit den KI-Behandlungsvorschlägen in den letzten 1000 realen Behandlungsfällen etwa 96 % beträgt.

Die zweite Hälfte, die kein chinesisches Medium zitiert hat, lautet „Die Abweichungen beschränken sich ausschließlich auf eine einstufige Dosisanpassung innerhalb derselben Medikamentenklasse“.

Was bedeutet das?

Die 4 % Abweichungen bedeuten nicht, dass das falsche Medikament verschrieben wurde, sondern dass innerhalb derselben Medikamentengruppe nur die Dosis geändert wurde, zum Beispiel von 10 mg auf 20 mg – es wurde nicht von Medikament A auf Medikament B umgestellt. Das ist viel harmloser als die Aussage „4 % der Rezepte sind falsch“.

Aber diese Angabe stammt derzeit nur aus der von Nolla selbst eingereichten staatlichen Vorschlag.

Gut, wir haben den Mechanismus durchgesehen. Nun stellt sich die Frage: Wer ist verantwortlich, wenn etwas schiefgeht? In der traditionellen Medizin untersucht der Arzt den Patienten und stellt das Rezept aus. Wenn etwas schiefgeht, wendet man sich an den Arzt – die Kette ist völlig klar.

In Nollas Modell erwähnt ein Bericht der LA Times ein wichtiges Detail in der Regulierungsvereinbarung von Utah: Die Vereinbarung bestimmt das Unternehmen Nolla Health selbst als verantwortliche Instanz, nicht einen bestimmten Arzt – das Unternehmen selbst.

Diese Regelung ist sehr interessant, denn das gesamte Vermögen von Nolla beträgt die 4,5 Millionen US-Dollar aus der Seed-Finanzierung. Reicht dieses Geld aus, um Schadenersatz zu leisten, wenn die KI ein falsches Rezept ausstellt und ein schwerwiegendes unerwünschtes Ereignis eintritt?

Noch interessanter ist die Aussage von Nolla selbst: Das Unternehmen betont wiederholt, dass „die KI den Arzt unterstützt, nicht ersetzt“ – aber wenn man sich die Entwicklungsrichtung ansieht, wird in jedem Schritt die menschliche Beteiligung reduziert.

Von der Prüfung jedes einzelnen Rezepts durch zwei Ärzte bis zur völligen Abschaffung der Prüfung und nur 10 % Stichprobenprüfung pro Monat: Zwischen dem Gesagten und dem Getanen klafft eine Lücke.

Auf vertraglicher Ebene ist die verantwortliche Instanz klar festgelegt: Das Unternehmen trägt die Verantwortung. Aber der Vertrag ist eine Angelegenheit zwischen dem Unternehmen und der Regierung. Was steht in der Nutzungsvereinbarung, der Sie zugestimmt haben, als Sie die Nolla-App heruntergeladen haben?

......

Im Vertrag steht, dass das Unternehmen die Verantwortung übernimmt, aber die Nutzungsvereinbarung in den Händen der Patienten kann ganz andere Inhalte haben. Das ist das eigentliche Problem: Wenn die KI das falsche Medikament verschreibt, können die Patienten anhand der Nutzungsvereinbarung die Verantwortung geltend machen?

In Utah gab es vor Nolla bereits ein KI-Pilotprojekt, das ein Jahr lang lief. Es heißt Doctronic und dient zur Erneuerung von Rezepten.

Was bedeutet Erneuerung von Rezepten?

Sie wurden zuvor von einem Arzt untersucht, die Diagnose wurde gestellt, Ihr Zustand ist stabil und Sie nehmen dasselbe Medikament über einen langen Zeitraum ein. Die KI stellt Ihnen dieses alte Rezept noch einmal aus, stellt keine neue Diagnose und fügt keine neuen Medikamente hinzu. Das klingt viel konservativer als Nolla.

Doctronic wurde im Januar dieses Jahres eingeführt, kostet pro Nutzung 4 US-Dollar und unterstützt 190 gängige Medikamente.

Aber in seiner Nutzungsvereinbarung gibt es einen Absatz, den man sich genau durchlesen sollte.

Doctronic schließt ausdrücklich jede eigene Verantwortung für die Genauigkeit des Systems und schädliche Folgen aus; zudem schließt es die Verpflichtung von Doctronic aus, Patientenakten zu erstellen und zu pflegen.

Wenn die KI Ihnen das falsche Medikament zur Erneuerung verschreibt, können Sie nicht einmal Ihre eigenen Behandlungsunterlagen abrufen. Auf vertraglicher Ebene heißt es „Ich bin verantwortlich“, auf Nutzerebene heißt es „Ich übernehme gar keine Verantwortung“. Die Haftungsausschlussregelung tritt bereits in Kraft, bevor Sie die App herunterladen.

Das ist keine theoretische Annahme auf dem Papier.

Ich habe extra nachgeprüft: Anfang 2026, etwa zwei Monate nach Einführung des Pilotprojekts, führte ein Sicherheitsunternehmen namens Mindgard einen Test durch.

Sie fütterten den öffentlichen Chatbot von Doctronic mit einer gefälschten behördlichen Mitteilung. Die KI glaubte ihr und schlug vor, die Dosis von Oxycodon zu verdreifachen.

Oxycodon ist ein starkes Opioid-Schmerzmittel, dessen dreifache Dosis tödlich sein kann. Es ist zu beachten, dass dieser Test mit dem öffentlichen Chatbot durchgeführt wurde, nicht mit dem Rezeptsystem; zudem ist Oxycodon ein kontrolliertes Medikament, das überhaupt nicht in der Liste der 190 Medikamente des Utah-Pilotprojekts enthalten ist.

Später erklärte Doctronic, dass die angegriffene „Demo-Version“ nicht das tatsächlich betriebene System sei. Aber die Leistungsdaten, die sie der Aufsichtsbehörde vorgelegt hat, stammen aus einer Preprint-Studie eines anderen Produkts, die nicht von Fachkollegen begutachtet wurde.

Zudem untersuchte diese Studie Patienten mit akuten Erkrankungen in der Notaufnahme, was völlig anders ist als das Szenario der Rezeptverlängerung. Die Personen, die die Prüfung durchführten, wurden auch von dem KI-Unternehmen selbst eingestellt.

Gut, kehren wir zurück zu Nolla.

In dem regulatorischen Vertrag von Nolla ist es tatsächlich als verantwortliche Instanz festgelegt, und der Vertrag enthält auch eine Klausel zur „Sorgfaltspflicht“. Diese wurde speziell von der Aufsichtsbehörde von Utah hinzugefügt, was bedeutet: Wenn die von der KI ausgestellten Rezepte Menschen schaden, kann das Gericht anhand dieser Klausel beurteilen, ob das Unternehmen seine angemessene Sorgfaltspflicht erfüllt hat.

In traditionellen medizinischen Behandlungsfehlern liegt die Verantwortung beim einzelnen Arzt, der rechtliche Rahmen ist sehr klar. Wenn die KI Rezepte ausstellt und die Verantwortung beim Unternehmen liegt, ist das etwas Neues. Die Klausel zur „Sorgfaltspflicht“ ist die rechtliche Brücke für dieses neue Ding – aber die Brücke ist gebaut, aber noch nie von einem Gericht begangen worden.

Die Nutzungsvereinbarung von Nolla wurde bisher nicht veröffentlicht. In 44 Bundesstaaten haben über 175.000 Menschen diese App heruntergeladen, aber die Nutzungsbedingungen sind nicht auffindbar. Wir wissen nicht, was in dieser Vereinbarung steht.

Aber es gibt einen Bezugspunkt:

Im Jahr 2025 beging ein 16-jähriger Junge aus Kalifornien namens Adam Raine Selbstmord, nachdem er mehrere Monate mit ChatGPT gechattet hatte.

Seine Eltern verklagten OpenAI und beschuldigten ChatGPT, den Jungen nicht aufgehalten zu haben, nachdem er seine Selbstmordabsicht ausgedrückt hatte, sondern ihm sogar Methoden dafür geliefert zu haben. Der Fall ist bis heute noch nicht verhandelt.

ChatGPT ist eine allgemeine KI, die sich von einer spezialisierten KI wie Nolla unterscheidet. Aber die Haltung der KI-Unternehmen in Bezug auf die Verantwortung ist sehr einheitlich: Das Unternehmen sagt „Ich bin verantwortlich“, aber die Nutzungsbedingungen sagen „Ich schließe jede Haftung aus“.

Was genau in den Nutzungsbedingungen von Nolla steht? Es ist nicht auffindbar, aber diese Lücke ist bei Doctronic keine Lücke mehr – dort wurden bereits zwei Wörter eingetragen: Haftungsausschluss.

Im Vertrag steht, dass das Unternehmen entschädigt, in den Nutzungsbedingungen steht, dass das Unternehmen nicht entschädigt. Diese beiden Regelungen können nicht gleichzeitig gültig sein.

......

Utah hat nicht nur Nolla genehmigt. Von der Rezeptverlängerung bis zur erstmaligen Ausstellung von Rezepten hat es tatsächlich drei Schritte unterteilt.

Erster Schritt: Doctronic, eingeführt im Januar dieses Jahres, dient zur Rezeptverlängerung. Das ist die konservativste Variante: Jede Anfrage zur Rezeptverlängerung erfordert weiterhin die Genehmigung eines zugelassenen Arztes, die KI stellt keine unabhängigen Rezepte aus.

Zweiter Schritt: Legion Health, genehmigt im April dieses Jahres, dient zur Erneuerung von Erhaltungsmedikamenten für die Psychiatrie. Es unterstützt 15 risikoarme Medikamente, die Technologie wird ebenfalls von Doctronic bereitgestellt. Das Szenario wechselt von der Dermatologie zur Psychiatrie, von Angelegenheiten der Haut zu Angelegenheiten des Gehirns – aber im Wesentlichen handelt es sich immer noch um die Erneuerung von Rezepten, nicht um eine Erstdiagnose.

Dritter Schritt ist erst Nolla: die erstmalige Ausstellung von Rezepten. Die KI stellt selbst die Diagnose, wählt selbst das Medikament aus und stellt selbst das Rezept aus.

Von „Ihnen ein altes Rezept verlängern“ bis „Die KI stellt eine neue Diagnose und ein neues Rezept aus“ ist das ein großer Sprung.

Wie lange hat der erste Schritt gedauert? Doctronic wurde im Januar dieses Jahres eingeführt, ist bis heute fast ein Jahr alt und steckt immer noch in der ersten Phase. Die KI stellt keine unabhängigen Rezepte aus, kein einziger Schritt wurde weiter gegangen.

Erinnern Sie sich noch an die Bedingungen für den Aufstieg in die nächste Stufe? Die Übereinstimmungsrate beträgt nicht weniger als 95 %, es gibt null schwerwiegende unerwünschte Ereignisse und die staatliche Regierung hat die Genehmigung schriftlich erteilt – keine der drei Bedingungen darf fehlen. Dass Doctronic fast ein Jahr lang nicht aufgestiegen ist, zeigt, was diese Bedingungen in der Realität bedeuten.

Zusammen mit dem Fehlschlag bei dem Sicherheitstest wird der Aufstieg in die nächste Stufe noch schwieriger.

Die Reaktion der medizinischen Fachwelt ist auch sehr direkt: John Whyte, CEO der American Medical Association, sagte: „Solche Tools können eine große Rolle spielen, aber sie sollten nicht selbstständig medizinisch tätig werden.“

11 Mitglieder des Zulassungsausschusses von Utah schrieben einen gemeinsamen Brief, um die Aussetzung des Pilotprojekts zu fordern. Der Vorsitzende Alan Smith sagte wörtlich: „Dass ein Medikament früher verschrieben wurde, bedeutet nicht, dass es heute noch geeignet ist.“

Diese Aussage gilt nicht nur für Doctronic: Die Logik der Rezeptverlängerung lautet, dass die vergangene Wirksamkeit nicht bedeutet, dass es heute noch passt. Der Körper des Patienten verändert sich, und das Medikament muss auch angepasst werden.

Was die KI abgleichen kann, sind historische Daten, nicht der aktuelle Zustand dieser Person. Anna Lembke von der Stanford Psychiatrie fügte hinzu: Die subtilen Anzeichen einer Verschlechterung des Gesundheitszustands des Patienten lassen sich nicht in einem Fragebogen eintragen.

Der Gründer von Nolla sagte einmal, die KI solle „unterstützen, nicht ersetzen“, und die Entwicklungsrichtung zielt darauf ab, in jedem Schritt die menschliche Beteiligung zu reduzieren. Jetzt sieht man, dass selbst das konservativste Pilotprojekt zur Rezeptverlängerung fast ein Jahr lang nicht aufgestiegen ist. Der Weg der „Reduzierung der menschlichen Beteiligung“ ist in der Praxis viel langsamer als in der Theorie.

Es gibt noch eine weitere grundlegende Ebene:

Ein Kommentar im NE