Hat KI es tatsächlich geschafft, anhand der Physiognomie über Leben und Tod zu urteilen?

Am 20. Oktober veröffentlichte das internationale medizinische Fachjournal *The Lancet Digital Health* eine Studie: KI kann allein anhand eines gewöhnlichen Gesichtsfotos Unterschiede im Sterberisiko von Krebspatienten erkennen.

Die Brigham Health Group des Massachusetts General Hospital in den USA hat ein KI-Modell namens FAHR-Face entwickelt, das aus Gesichtsfotos Hinweise auf den Überlebenszustand der Patienten sucht.

Die Forscher testeten das Modell an 3820 Krebspatienten, die nicht an der Modellentwicklung teilgenommen hatten, davon wurden 122 Personen von der KI als extrem hohes Risiko eingestuft, und innerhalb von 90 Tagen nach der Fotoaufnahme starben 64 dieser 122 Personen.

Anschließend führten die Forscher eine externe Validierung mit Daten von fast 4900 niederländischen Krebspatienten durch und beobachteten ähnliche Ergebnisse.

Für den gesamten Vorhersageprozess muss die KI keine Krankenakten einsehen, CT-Bilder analysieren oder die Ergebnisse von Blutuntersuchungen berücksichtigen. Sie braucht nur ein Gesicht zu betrachten.

01

KI kann das Sterberisiko allein anhand eines Gesichts vorhersagen

Der wichtigste Punkt dieser Studie ist, dass die KI tatsächlich Krebspatienten mit unterschiedlichem Sterberisiko voneinander unterscheiden kann.

Um dies zu erreichen, trainierte das Forschungsteam zunächst ein visuelles Basismodell namens FAHR-Face mit mehr als 40 Millionen Fotos von gewöhnlichen menschlichen Gesichtern.

Die Trainingsmethode ähnelt ein wenig dem Puzzlespiel: Die Forscher verdeckten zufällig etwa 75 % der Fläche der Fotos und ließen die KI versuchen, das vollständige Foto anhand der verbleibenden Teile wiederherzustellen. Nach wiederholtem Training lernte die KI allmählich, die Struktur menschlicher Gesichter und die Zusammenhänge zwischen verschiedenen Gesichtsmerkmalen zu erkennen.

Auf dieser Grundlage begannen die Forscher, ihr das Vorhersagen des Sterberisikos beizubringen. Sie sammelten 34363 Gesichtsfotos von Krebspatienten sowie entsprechende Überlebensaufzeichnungen, einschließlich der Angabe, ob der Patient bereits verstorben ist, wann er verstorben ist oder wie lange er bis zur letzten Nachuntersuchung überlebt hat.

Anschließend verwendeten die Forscher eine Lernmethode für Rangordnungen, um die KI dazu zu bringen, die Überlebenszeit verschiedener Patienten zu vergleichen. Zum Beispiel: Nach der Fotoaufnahme von zwei Patienten stirbt einer innerhalb von drei Monaten, der andere überlebt länger. Das Modell muss versuchen, dem ersteren einen höheren Wert für das Sterberisiko zuzuweisen.

Durch eine große Anzahl solcher Vergleiche lernte die KI allmählich, das relative Sterberisiko verschiedener Patienten anhand von Gesichtsmerkmalen zu beurteilen.

Schließlich wandelten die Forscher die vom Modell ausgegebenen Bewertungen in einen Bereich von 0 bis 1 um. Je höher der Wert ist, desto höher schätzt die KI das Sterberisiko des Patienten ein.

Um zu überprüfen, ob die Bewertungen des Modells korrekt sind, suchten die Forscher weitere 3820 Krebspatienten, die nicht am Training teilgenommen hatten.

Als Ergebnis hat die KI neben den eingangs erwähnten 122 Patienten mit extrem hohem Risiko weiteren 975 Patienten einen Risikowert zwischen 0 und 0,1 zugewiesen. Von diesen 975 Personen starben nur 20 innerhalb von 90 Tagen nach der Fotoaufnahme, was einem Anteil von nur 2,1 % entspricht.

Im Vergleich dazu erreichte der 90-Tage-Sterbeanteil der Patienten mit extrem hohem Risiko 52,5 %, der Unterschied zwischen den beiden Enden beträgt mehr als das 25-fache. Die vom Modell vergebenen hohen und niedrigen Risikowerte entsprechen tatsächlich völlig unterschiedlichen Sterbeanteilen.

Und dieser Unterschied existiert nicht nur in den beiden extremen Bereichen mit dem höchsten und niedrigsten Risiko. Die Forscher teilten die Patienten nach den von der KI vergebenen Risikowerten von niedrig bis hoch in vier Gruppen ein und stellten fest, dass mit steigendem Wert die Überlebensrate der Patienten deutlich abnimmt.

Selbst wenn Faktoren wie Alter, Geschlecht, Krebsart und Behandlungssituation in die statistische Analyse einbezogen werden, ist das Sterberisiko der Gruppe mit dem höchsten Risiko immer noch 3,23 Mal so hoch wie das der Gruppe mit dem niedrigsten Risiko.

Allerdings gibt es hier noch ein Problem: Dieses Modell funktioniert in amerikanischen Krankenhäusern gut, kann es ähnliche Ergebnisse liefern, wenn man ein anderes Krankenhaus und eine andere Gruppe von Patienten verwendet?

Die Forscher suchten weitere 4892 Patienten aus dem Maastro-Strahlentherapiezentrum in den Niederlanden und testeten sie mit demselben Modell.

Als Ergebnis beobachteten sie erneut ein ähnliches Muster: Je höher die von der KI vergebene Bewertung ist, desto höher ist im Allgemeinen das Sterberisiko des Patienten. Und dieser Unterschied bleibt auch bestehen, wenn Faktoren wie Alter, Geschlecht und Ort des Krebses berücksichtigt werden.

Sowohl bei den Testdaten aus amerikanischen Krankenhäusern als auch bei der unabhängigen Patientenkohorte aus einem anderen niederländischen Krankenhaus kann dieses Modell deutliche Unterschiede im Sterberisiko zwischen Krebspatienten erkennen.

Was hat die KI eigentlich auf den Gesichtern dieser Patienten gesehen?

02

Was hat die KI eigentlich auf menschlichen Gesichtern gesehen?

Tatsächlich verfügt FAHR-Face nicht nur über die oben erwähnte Funktion zur Vorhersage des Sterberisikos. Das Forschungsteam hat ein weiteres Modell namens FAHR-FaceAge entwickelt, das speziell dazu dient, das geschätzte Gesichtsalter einer Person zu ermitteln.

Die Idee dieses Modells ist relativ leicht verständlich: Bei Menschen im Alter von 60 Jahren sehen manche aus wie Anfang 50, andere wirken aber viel älter. Die Forscher sind der Ansicht, dass der Grad, in dem eine Person älter aussieht als ihr tatsächliches Alter, auch ihren Gesundheitszustand widerspiegeln kann.

Sie trainierten das Modell mit Hunderttausenden von Gesichtsfotos, bei denen das Alter markiert war, und berechneten dann die Differenz zwischen dem von der KI geschätzten Gesichtsalter und dem tatsächlichen Alter. Die Ergebnisse zeigten, dass unter Krebspatienten diejenigen, die älter aussehen als ihr tatsächliches Alter, oft auch einem höheren Sterberisiko ausgesetzt sind.

Zum Beispiel, nachdem Faktoren wie Alter, Geschlecht und Krebsart berücksichtigt wurden, haben Patienten, deren von der KI geschätztes Gesichtsalter mindestens 5 Jahre über ihrem tatsächlichen Alter liegt, ein um etwa 21 % höheres Sterberisiko als andere Patienten.

Aber das Forschungsteam hat hier nicht Halt gemacht.

Sie wollten wissen, ob es neben dem sichtbaren Alter einer Person noch andere Informationen im Gesicht gibt, die mit dem Sterberisiko zusammenhängen. Daher analysierten sie jeweils das Altersmodell und das Sterberisikomodell und erstellten Aufmerksamkeits-Heatmaps für die beiden KI-Modelle.

Die Ergebnisse zeigten, dass die Stellen, auf die sich beide Modelle konzentrieren, offensichtlich unterschiedlich sind.

Bei der Vorhersage des Alters konzentriert sich die KI hauptsächlich auf die Nasolabialfalten, die Stirn und die Schläfen; bei der Vorhersage des Sterberisikos achtet sie aber mehr auf die Bereiche unter den Augen und um den Nasenrücken.

Die Forscher verglichen die beiden Modelle auch mit statistischen Methoden. Bei den 4892 Patienten in den Niederlanden betrug der Korrelationskoeffizient zwischen der Differenz zwischen Gesichtsalter und tatsächlichem Alter und dem von der KI vergebenen Sterberisikowert nur 0,16, was bedeutet, dass der Zusammenhang zwischen beiden sehr schwach ist.

Und wenn die Forscher beide Indikatoren zusammen verwenden, um das Überlebensrisiko der Patienten vorherzusagen, behalten sie beide ihre unabhängige Vorhersagewirkung bei, und das kombinierte statistische Modell zeigt eine verbesserte Leistung.

Das heißt, aus demselben Gesichtsfoto kann die KI zwei verschiedene, sich gegenseitig ergänzende Informationen zur Risikovorhersage extrahieren.

Aber es stellt sich die Frage: Was sind diese Informationen eigentlich?

Das Forschungsteam stellt in seiner Arbeit die These auf, dass die Merkmale unter den Augen und in der Nähe der Nase mit den seit langem von Ärzten beobachteten Gesichtsveränderungen bei schwerkranken Patienten zusammenhängen könnten. Zum Beispiel, wenn der Körper des Patienten allmählich schwächer wird, können sich Zustand von Gesichtsfett, Muskulatur und Haut verändern, und diese Veränderungen können Spuren auf den Fotos hinterlassen.

Allerdings haben die Forscher noch nicht nachgewiesen, welche spezifischen physiologischen Veränderungen die KI genau erkannt hat.

Prof. Miroslaw Bober, Experte für maschinelles Lernen an der Universität Surrey in Großbritannien, wies in einer Expertenbewertung, die vom britischen Science Media Center veröffentlicht wurde, auch auf dieses Problem hin. Er ist der Ansicht, dass diese Studie zwar nachweist, dass es einen statistischen Zusammenhang zwischen den Gesichtsmerkmalen der Patienten und dem Überlebensrisiko gibt, aber die Fähigkeit, das Ergebnis vorherzusagen, bedeutet nicht, dass die Ursache bereits geklärt ist.

Übrigens erinnert dies an die traditionelle chinesische Medizin, die die vier Diagnosemethoden „Betrachten, Hören, Befragen und Pulsfühlen“ anwendet. Das „Betrachten“ bedeutet, den Gesichtsfarbton, den Ausdruck und die Körperform einer Person zu beobachten, um Hinweise auf den Gesundheitszustand zu finden. Auch in der modernen Medizin achten Ärzte darauf, ob der Patient äußere Veränderungen wie Abmagerung oder Abgespanntheit zeigt.

Interessanterweise zitiert die Arbeit dieser Studie sogar speziell medizinische Literatur zum „Hippokratischen Gesicht“ – das „Hippokratische Gesicht“ bezieht sich auf ein besonderes Gesichtsaussehen, das bei einigen schwerkranken, insbesondere todnahen Patienten auftreten kann: tiefliegende Augenhöhlen, eingefallene Schläfen, eine spitz zulaufende Nase sowie blasse oder dunkelgraue Gesichtsfarbe. Bereits vor mehr als zweitausend Jahren dokumentierte Hippokrates diese Merkmale und nutzte sie als Hinweis, um zu beurteilen, ob der Zustand eines Patienten schwerwiegend ist.

Heute versucht die KI, die Beobachtungen, die Ärzte in der Vergangenheit aufgrund von Erfahrung durchführten, in quantifizierbare Risikoindikatoren umzuwandeln.

Aber es gibt noch keine Antwort darauf, ob sie neue Hinweise entdeckt hat, die das menschliche Auge kaum wahrnehmen kann, oder ob sie die körperlichen Veränderungen, die Ärzte bereits beobachten können, in Zahlen umwandelt.

03

Wie viele medizinische Informationen stecken noch in einem einzigen Gesicht?

Interessanterweise sind einige der von den Forschern verwendeten Fotos gewöhnliche Aufnahmen, die die Krankenhäuser normalerweise nur zur Überprüfung der Identität der Patienten machen.

Und es ist nicht das erste Mal, dass sie Gesichtsfotos untersuchen.

Im Mai 2025 veröffentlichte das Team bereits die ursprüngliche FaceAge-Studie in *The Lancet Digital Health*. Damals versuchten sie, die KI Ärzte bei der Vorhersage der Überlebenszeit von Patienten mit fortgeschrittenem Krebs unterstützen zu lassen.

Die Forscher suchten 100 Patienten, die eine palliative Behandlung erhielten, und baten Ärzte und Forscher zu beurteilen, ob sie ein halbes Jahr später noch am Leben sein würden. Nach Hinzufügung der von FaceAge bereitgestellten Informationen verbesserte sich die Vorhersageleistung: Der AUC-Wert, ein Indikator zur Messung der Vorhersagefähigkeit, stieg von 0,74 auf 0,80.

Bei der aktuellen FAHR-Face haben die Forscher bereits begonnen, direkt aus Fotos das Sterberisiko vorherzusagen.

Das Attraktivste an dieser Forschungsrichtung ist, dass sie wirklich sehr praktisch ist.

Für CT und Magnetresonanztomographie werden spezielle Geräte benötigt, für pathologische Untersuchungen müssen Gewebeproben entnommen werden, während für Gesichtsfotos nur eine gewöhnliche Kamera erforderlich ist. Für Ärzte bedeutet dies, dass es in Zukunft möglicherweise eine kostengünstige, einfach durchzuführende und den Patienten nicht belastende zusätzliche Bewertungsmethode geben wird.

Raymond Mak, Forschungsleiter und Strahlenonkologe, erwähnte, dass Ärzte bei der Entscheidung, ob sie für einen Patienten eine Operation, Strahlentherapie oder andere hochintensive Behandlungen anordnen, den körperlichen Zustand des Patienten und seine Fähigkeit, die Behandlung zu ertragen, bewerten müssen. Er hofft, dass die KI diese Beurteilungen in Zukunft objektiver und einheitlicher machen kann.

Allerdings gibt es noch viele Probleme zu lösen, bevor dieses Ziel tatsächlich erreicht wird.

Erstens sind gewöhnliche Fotos zwar leicht zu erhalten, aber sie können auch leicht von den Aufnahmebedingungen beeinflusst werden.