Agent als "Chefassistent" des Arztes: Die Auswertungsgeschwindigkeit von medizinischen Bildern ist extrem hoch, und die Mensch-Maschine-Kooperation bleibt nach wie vor die optimale Lösung.
Kürzlich fand die fünfte akademische Konferenz für KI in der medizinischen Bildgebung in Shanghai statt. Vor Ort wurde ein öffentlicher „Mensch-Maschine-Bildauswertungswettbewerb“ zum zentralen Diskussionsthema der Veranstaltung.
In China pflegen Unternehmen für KI-gestützte medizinische Bildgebung seit jeher, Bildauswertungswettbewerbe zwischen „Menschen und künstlicher Intelligenz“ zu veranstalten, um das „Urteilsvermögen“ ihrer eigenen KI-Lösungen zu demonstrieren. Im Gegensatz zu den branchenüblichen internen Bewertungen hat der Konferenzveranstalter diesmal 10 echte Bildgebungsfälle aus Krankenhäusern der höchsten Versorgungsstufe in verschiedenen Regionen gesammelt, die für Ärzte als „noch nie gesehene“ Fälle gelten. Es wurden 7 Wettbewerbsgruppen eingerichtet, die entweder die Zusammenarbeit von „Arzt + KI“ oder die unabhängige Erstellung von Diagnoseberichten durch KI-Agenten umfassen. Diese Teilnehmer haben die Ausarbeitung von 10 Diagnoseberichten im Voraus abgeschlossen, danach lassen Ärzte und Experten vor Ort die Arbeiten bewerten, um die tatsächlichen Unterschiede in Berichtsqualität und Produktionseffizienz direkt zu verdeutlichen.
Das Modell direkt vor Dutzenden von Spitzenexperten in Echtzeit praktisch einzusetzen, ist äußerst anspruchsvoll. Schließlich wird jeder ausgegebene Bericht unter genaue Lupe genommen. Der KI-Teilnehmer Deepwise teilte 36Kr mit, dass dies eine „Prüfung ohne Offenlegung der Prüfungsinhalte“ sei. „Das Organisationskomitee hat uns keine spezifischen Informationen zu den Fällen mitgeteilt, sodass die KI keine Möglichkeit hatte, im Voraus zu lernen. Vor dem Wettbewerb waren wir auch sehr nervös und wussten nicht, wie sie sich verhalten würde.“
Nach dem Wettbewerb erhielten der unabhängig teilnehmende KI-Agent für CT-Gesamtbrust und der KI-Agent für DR-Ganzkörper von Deepwise das von der Konferenz vergebene „Mut-Zertifikat für noch nie Gesehenes“
Aus den vor Ort veröffentlichten Ergebnissen geht hervor, dass die Kombination aus langjährig erfahrenen Ärzten und Mehrzweck-KI-Agenten mit durchschnittlich 85,2 Punkten die höchste Punktzahl erzielte; die Kombination aus weniger erfahrenen Ärzten und KI-Agenten erreichte 83,8 Punkte und erzielte bei einigen Fällen sogar die höchste Punktzahl der gesamten Veranstaltung. Die Punktzahl der unabhängig arbeitenden KI-Agenten betrug 66,2 Punkte, was unter den Ergebnissen von unabhängig erstellten Berichten durch Ärzte und der Mensch-Maschine-Zusammenarbeit liegt, aber mit nur 20 Minuten und 32 Sekunden die schnellste Arbeitszeit aller Gruppen aufwies (die Arbeitszeiten aller Gruppen lagen zwischen 66 und 88 Minuten).
Arbeitszeit und Punktzahl der 7 teilnehmenden Gruppen bei der Erstellung von 10 Diagnoseberichten (die Bezeichnungen „wenig erfahren“ und „hoch erfahren“ stehen für weniger erfahrene Ärzte bzw. langjährig erfahrene Ärzte)
Ein weniger erfahrener teilnehmender Arzt, der die Aufgabe erhielt, Berichte mit traditionellen Fallvorlagen manuell zu erstellen, gab offen zu: Ohne KI-Unterstützung und mit traditionellen Vorlagen zur Berichterstellung offenbaren weniger erfahrene Ärzte oft ihre Erfahrungsdefizite, neigen dazu, Fehler bei der Herderkennung und der qualitativen Bewertung von Zeichen zu machen, und die Gesamtqualität der Berichte schwankt stark. Dies ist derzeit auch der allgemeine Arbeitsalltag vieler junger Radiologen in Krankenhäusern auf unterer Versorgungsstufe in China.
In den Gruppen, die mit Mehrzweck-KI-Agenten zusammenarbeiten, erhalten Ärzte eine von der KI vorab ausgearbeitete Liste von Zeichen und einen ersten Berichtsentwurf, sodass die Abdeckung der Herderkennung höher ist und das Risiko von Fehlern durch das menschliche Auge bei der Bildauswertung verringert werden kann.
Dennoch treten neue praktische Probleme auf: Die von KI-Agenten ausgegebenen Inhalte enthalten teilweise falsch-positive Ergebnisse, sodass Ärzte jeden Punkt im ursprünglichen Bild erneut überprüfen und validieren müssen. Wenn die von der KI angegebene Urteilslogik nicht mit der eigenen klinischen Erfahrung übereinstimmt, müssen zusätzliche Zeit für die Prüfung und Bewertung aufgewendet werden, was bei einigen Fällen die gesamte Arbeitszeit sogar verlängert. „Derzeit fehlen im klinischen Alltag klare Betriebsnormen für KI: Wie sollen wir die von der KI ausgegebenen Inhalte vertrauen und die Grenzen der Nutzung festlegen? Das ist auch ein sehr praktisches Problem im täglichen Arbeitsalltag der Fachkräfte vor Ort.“
Gleichzeitig gab es ein interessantes Phänomen während des Wettbewerbs: Viele Prüfexperten haben bei der Erläuterung der Bewertungsergebnisse die Herkunft der Berichte falsch eingeschätzt. Zum Beispiel behauptete ein Experte, dass ein Bericht aufgrund „vertrauter Schreibweise und Formulierungen“ von einem langjährig erfahrenen Arzt mit traditionellen Vorlagen erstellt wurde – tatsächlich stammte er aber von einem langjährig erfahrenen Arzt, der ein spezialisiertes KI-Modell verwendet hat. Das bedeutet, dass die von KI generierten Berichte in Bezug auf Terminologie und Struktur inzwischen immer näher an die Ausdrucksgewohnheiten menschlicher Ärzte heranrücken und die Grenze zwischen Mensch und Maschine allmählich verschwimmt.
Diese praktische Prüfung erregte große Aufmerksamkeit bei den teilnehmenden Unternehmen und Ärzten vor Ort, da sie zu einem entscheidenden Zeitpunkt der technologischen Weiterentwicklung in der Branche der medizinischen Bildgebung stattfindet.
In den vergangenen Jahren haben sich chinesische Unternehmen für KI-gestützte medizinische Bildgebung hauptsächlich auf spezialisierte Modelle konzentriert, wobei jedes Modell auf eine einzelne Aufgabe ausgerichtet ist: Lungenknoten, Koronargefäße, Hirnblutungen und weitere Bereiche entsprechen jeweils eigenständigen Produkten, die Probleme wie die Erkennung spezifischer Herde und die quantitative Messung lösen. Viele dieser Produkte haben bereits die Zulassung als Medizinprodukt erhalten und werden in Krankenhäusern eingesetzt. Dennoch zeigen sich allmählich die Grenzen dieser spezialisierten Modelle: Zum Beispiel muss ein CT-Bericht in der Radiologie mehrere Organe des gesamten Körpers und Dutzende von abnormen Zeichen abdecken. Ärzte müssen zwischen mehreren KI-Modulen hin- und herschalten, um sie aufzurufen, was die Werkzeuge fragmentiert macht und kaum in den vollständigen Arbeitsablauf der Radiologie für die Berichterstellung passt.
Mit der Verbreitung von Technologien für große Sprachmodelle haben sich in den letzten ein bis zwei Jahren viele Hersteller von medizinischer Bildgebung in China gemeinsam in Richtung multimodaler medizinischer KI-Agenten entwickelt. Sie versuchen, die verteilten Einzelaufgabenmodelle zu integrieren, um die vollständige Bildauswertungslogik von Radiologen zu simulieren: Nach einmaliger Eingabe eines Bildes können Analysen für mehrere Organe und verschiedene Krankheiten durchgeführt werden, um direkt einen vollständigen ersten Berichtsentwurf zu erstellen.
Während dieser Konferenz hat Deepwise auch zwei klinische KI-Agentenprodukte für CT-Gesamtbrust und DR-Ganzkörper vorgestellt, die genau das Ergebnis dieser technologischen Umorientierung sind. Laut Mao Xinsheng, Gründer und Vorsitzender von Deepwise, wird das Unternehmen in Kürze auch ein „medizinisches Weltmodell“ veröffentlichen.
Die allgemeine Erwartung der Branche ist es, Ärzte von wiederholenden Aufgaben wie der Auflistung von Zeichen, Messungen und der Erstellung von ersten Berichtsentwürfen zu entlasten, sodass sich ihr Arbeitsfokus auf die Überprüfung und umfassende Bewertung verlagert. Wenn technologische Konzepte jedoch in die reale klinische Umgebung überführt werden, weichen die Ergebnisse oft von denen in Demonstrationsumgebungen ab. Dieser „Mensch-Maschine-Wettbewerb“ soll diese Abweichungen vollständig aufzeigen.
Mao Xinsheng ist der Ansicht, dass die spezialisierten Modelle der vorherigen Generation gut für Aufgaben der Kategorie „Erkennung“ geeignet sind: Nach dem Training mit annotierten Daten können sie Herde erkennen, segmentieren und quantifizieren, mit klaren Fähigkeitsgrenzen. Ihr Vorteil ist die hohe Kontrollierbarkeit, ihr Nachteil ist die festgelegte Aufgabenfähigkeit: Für jede neue Krankheit müssen neue Daten annotiert und neue Modelle trainiert werden, sodass es kaum möglich ist, unzählige atypische und seltene Fälle im klinischen Alltag generalisiert zu verarbeiten. Die Veränderung durch große Modelle liegt darin, dass die Modelle nun über Fähigkeiten zum Schlussfolgern, Induzieren und Formulieren von Texten verfügen. Sie geben nicht mehr nur die Koordinaten von Herden und Messwerte aus, sondern können die Denkweise der radiologischen Diagnose nachahmen, den Bildauswertungsablauf aufteilen, Zeichen zusammenfassen und vollständige medizinische Texte erstellen, sodass sie in der Lage sind, die gesamte Kette von der Bildsignalerfassung bis zum endgültigen Bericht abzudecken.
Wenn man diese beiden Technologiegenerationen vergleicht: Die frühere KI ähnelte einem „Facharztpraktikanten“, der nur eine einzige Krankheit erkennen konnte und von Ärzten schrittweise angeleitet werden musste. Die heutigen KI-Agenten ähneln eher einem „Chefassistenten“: Wenn man ein Bild eingibt, kann es selbst die Fälle klassifizieren, Herde markieren und erste Berichtsentwürfe erstellen, sodass Ärzte nur noch die Inhalte überprüfen und unterschreiben müssen.
Das direkte Ergebnis dieser Veränderung ist die Neugestaltung des Arbeitsablaufs: Ärzte wandeln sich von „Berichterstellern“ zu „Berichtprüfern“.
Auf Produktebene wurden frühere spezialisierte KI-Produkte meist nur als einzelne unterstützende Werkzeuge beschafft, um eine bestimmte Screening-Aufgabe in der Abteilung zu lösen. Ihr Wert lag hauptsächlich darin, Fehldiagnosen zu verringern und die Effizienz bei bestimmten Krankheiten zu steigern. KI-Agenten zielen hingegen auf den vollständigen Arbeitsablauf der Radiologie ab: Sie sollen den gesamten Prozess der Berichtserstellung begleiten und können theoretisch sowohl hochbelastete Abteilungen in Krankenhäusern der höchsten Versorgungsstufe unterstützen als auch Diagnosefähigkeiten in Einrichtungen auf unterer Versorgungsstufe ergänzen.
Dennoch ergeben sich daraus neue praktische Probleme: Einerseits enthalten die Ausgaben von KI-Agenten mehr Inhalte und komplexere Logikketten, Fehler treten nicht mehr nur in Form von einfachen Fehlern bei der Erkennung auf, sondern auch in Form von Fehlschlüssen und abweichenden Beschreibungen, was höhere Anforderungen an die Validierung und die Zulassungsbewertung von Produkten stellt. Andererseits ist noch kein System vorhanden, um den klinischen Wert solcher Produkte in Krankenhäusern zu bemessen und passende Qualitätskontrollnormen sowie Nutzungsvorschriften für Ärzte einzuführen – das gesamte System hat sich noch nicht an die technologischen Veränderungen angepasst.
Mao Xinsheng wies darauf hin, dass selbst bei technologischen Durchbrüchen die Einführung von KI-Produkten im medizinischen Bereich noch immer auf die Optimierung mit einer großen Menge von realen multizentrischen Fällen angewiesen ist. Modelle, die nur mit Daten aus einem einzigen Zentrum trainiert wurden, können kaum die komplexen und vielfältigen klinischen Szenarien in Krankenhäusern verschiedener Versorgungsstufen in China abdecken.
Auf kommerzieller Ebene hat sich die Wettbewerbslogik ebenfalls verändert. „Früher ging es darum, wer zuerst die Produktzulassung erhält. Heute geht es darum, wer Krankenhäuser wirklich dazu bringen kann, für KI-Dienste zu zahlen, diese dauerhaft zu nutzen und die Verträge zu verlängern. Das sind zwei völlig unterschiedliche Bewertungssysteme. Die eigentliche Herausforderung liegt auf politischer Ebene: Denn medizinische KI ist im Wesentlichen ein „digitaler Mitarbeiter“, aber das derzeitige Gebührensystem stuft sie noch als gewöhnliche Software ein“, ist Mao Xinsheng überzeugt.
Mit anderen Worten: Große KI-Modelle und KI-Agenten eröffnen neue Möglichkeiten für die KI-gestützte medizinische Bildgebung und lösen das Problem der Fragmentierung traditioneller spezialisierter Modelle. Die technologische Umsetzung bedeutet jedoch nicht direkt die Realisierung des klinischen Werts. Nach der Phase der Verbreitung von einzelnen Werkzeugen ist die KI-gestützte medizinische Bildgebung nun an einem Punkt angekommen, an dem der Arbeitsablauf neu gestaltet wird. Die technologischen Fähigkeiten haben einen großen Sprung nach vorne gemacht, während die dazugehörigen klinischen Normen, die Wertbewertung und die regulatorischen Wege sich noch in der gemeinsamen Erprobungsphase befinden.