Basierend auf 14.000 echten Daten haben die Universität Washington/Microsoft u. a. GigaTIME vorgeschlagen und ein Panoramabild des Tumor-Immun-Mikromilieus erstellt.

Ein Forschungsteam bestehend aus dem Microsoft Research Institute, der University of Washington und Providence Genomics hat den multimodalen Künstlichen - Intelligenz - Rahmen GigaTIME vorgeschlagen. Dieser Rahmen stützt sich auf fortschrittliche multimodale Lerntechniken und kann aus herkömmlichen H&E-Schnitten virtuelle mIF-Attlanten generieren. Das Forschungsteam hat es auf die Kohorte von über 14.000 Krebspatienten der Providence Health Care Group in den USA angewendet, die 24 Krebsarten und 306 Subtypen umfasst. Schließlich wurden fast 300.000 virtuelle mIF-Bilder erzeugt, wodurch eine systematische Modellierung des Tumor - Immunmikromilieus in einer großen und vielfältigen Bevölkerung ermöglicht wurde.

Im Verlauf der Krebsentwicklung dominiert das Tumor - Immunmikromilieu nicht nur das Wachstum, die Invasion und die Metastasierung von Tumorzellen, sondern beeinflusst auch stark die Therapieantwort und die Endprognose der Patienten. Dies ist kein "Eins - Mann - Show" der Krebszellen, sondern ein hochdynamisches Ökosystem, in dem Immunzellen, Fibroblasten, Endothelzellen und andere Zelltypen miteinander interagieren und in eine extrazelluläre Matrix eingebettet werden, deren Struktur und Funktion neu gestaltet wurden, um ein präzises und komplexes pathologisches Netzwerk zu bilden.

Der Schlüssel zur Auflösung dieses Netzwerks liegt darin, den Funktionszustand und die Interaktionen der Zellen zu verstehen, und die Aktivierungslevel bestimmter Proteine sind die wichtigen "molekularen Codes". Traditionell ist die Immunhistochemie (IHC) mit ihrer Fähigkeit, die Lokalisation von Proteinen direkt anzuzeigen, ein klassisches Werkzeug zur Entschlüsselung dieser Codes. Beispielsweise wird die PD - L1 - Färbung bereits weit verbreitet zur Identifizierung des Status der Immuncheckpoints eingesetzt, um die Wirksamkeit der Immuntherapie vorherzusagen. Allerdings kann die IHC nur die Information über ein Protein auf einmal erfassen und hat Schwierigkeiten, die reale Situation der Koexistenz mehrerer Proteine wiederherzustellen. Dies stellt die Hauptschwelle für ein tieferes Verständnis der Interaktionsmechanismen zwischen Tumor - und Immunzellen dar.

Um diese Beschränkung zu überwinden, wurde die Multiplex - Immunfluoreszenz (mIF) - Technologie entwickelt. Sie kann die räumliche Verteilung mehrerer Proteine auf einem Gewebeschnitt gleichzeitig darstellen und die Kontextinformationen der Gewebestruktur vollständig bewahren. Doch diese Technologie ist teuer und der Prozess ist aufwändig. Von der Färbung über die Bildgebung bis zur Analyse ist alles sehr zeitaufwändig, was es schwierig macht, eine große Datenmenge zu sammeln und die klinische Umsetzung voranzutreiben.

Im Gegensatz dazu sind die klinisch weit verbreiteten und kostengünstigen H&E - gefärbten Schnitte. Obwohl sie nicht direkt die Proteinaktivität anzeigen können, bewahren sie die gesamte Gewebestruktur und die Details der Zellmorphologie vollständig. Die darin verborgenen Merkmale könnten möglicherweise indirekt den Funktionszustand der Zellen widerspiegeln, doch diese feinen und komplexen Muster liegen oft außerhalb der Erkennungskapazität des menschlichen Auges.

In den letzten Jahren haben die Fortschritte in der Künstlichen - Intelligenz - Technologie neue Möglichkeiten eröffnet. Durch das Pretraining auf einer riesigen Menge pathologischer Bilder hat die KI eine starke Fähigkeit zur visuellen Analyse und Merkmalsgewinnung gezeigt. Dies führt zu einer Schlüsselidee: Könnte man mit Hilfe der KI aus den leicht zugänglichen H&E - Bildern die Informationen über die Proteinaktivierung "entschlüsseln", die ursprünglich nur mit der teuren mIF - Technologie erfasst werden konnten?

Basierend auf dieser Idee hat das Forschungsteam aus dem Microsoft Research Institute, der University of Washington und Providence Genomics den multimodalen Künstlichen - Intelligenz - Rahmen GigaTIME vorgeschlagen, der auf fortschrittlichen multimodalen Lerntechniken basiert und aus herkömmlichen H&E - Schnitten virtuelle mIF - Atlanten generieren kann. Das Forschungsteam hat es auf die Kohorte von über 14.000 Krebspatienten der Providence Health Care Group in den USA angewendet, die 24 Krebsarten und 306 Subtypen umfasst. Schließlich wurden fast 300.000 virtuelle mIF - Bilder erzeugt, wodurch eine systematische Modellierung des Tumor - Immunmikromilieus in einer großen und vielfältigen Bevölkerung ermöglicht wurde.

Die zugehörigen Forschungsergebnisse wurden unter dem Titel "Multimodal AI generates virtual population for tumor microenvironment modeling" in der Zeitschrift Cell veröffentlicht.

Highlights der Studie:

* GigaTIME wandelt mithilfe von multimodaler KI H&E - pathologische Schnitte in räumliche Proteomikdaten um und erzeugt aus herkömmlichen H&E - Schnitten eine virtuelle Bevölkerung, die den Zellzustand enthält.

* Unterstützt umfangreiche klinische Entdeckungen und die Patientenstratifizierung und offenbart neue räumliche und kombinierte Proteinaktivierungsmuster.

Link zur Studie:

https://www.cell.com/cell/fulltext/S0092 - 8674(25)01312 - 1

Datenmenge: Aufbau einer vollständigen geschlossenen Schleife von Training bis Anwendung

Beim Training des Modells muss zunächst ein grundlegendes Problem gelöst werden: Die klinisch weit verbreitete und kostengünstige H&E - Färbung kann die Proteinaktivität nicht direkt anzeigen, während die mIF - Technologie, die die räumlichen Beziehungen mehrerer Proteine aufdecken kann, aufgrund ihrer hohen Kosten und Komplexität schwer in großem Maßstab eingesetzt werden kann. Um ein KI - Modell zu erstellen, das diese beiden Bildgebungstechniken verbindet, hat das Forschungsteam mit Hilfe der COMET - Plattform 441 mIF - Bilder aus 21 H&E - gefärbten Schnitten gesammelt. Wie in der folgenden Abbildung gezeigt, decken diese Bilder 21 Schlüsselbiomarker ab, von Kernproteinen wie DAPI und PHH3 über Oberflächenproteine wie CD4 und CD11c bis hin zu zytoplasmatischen Proteinen wie CD68. Sie bieten eine wichtige Grundlage für die Analyse der Zusammensetzung, des Funktionszustands von Immunzellen und der Aktivität von Tumorzellen im Tumormikromilieu.

Datensammlung und Kanaldistribution in den Trainingsdaten

Nachdem die paarweisen Bilder erhalten wurden, besteht die größere Herausforderung darin, wie man daraus hochwertige Trainingsdaten extrahiert. Dazu hat das Team, wie in der folgenden Abbildung gezeigt, einen strengen Verarbeitungsablauf entwickelt: Zuerst wurde das VALIS - Tool verwendet, um die H&E - Bilder und die mIF - Bilder auf Pixelebene exakt auszurichten; dann wurde der StarDist - Algorithmus eingesetzt, um jede Zelle in den Bildern zu identifizieren und zu segmentieren; schließlich wurden die Bildbereiche mit der höchsten Registrierungsqualität anhand des Dice - Koeffizienten ausgewählt.

Nach mehrfacher Qualitätssicherung hat das Team aus den ursprünglichen Daten mit 40 Millionen Zellen 10 Millionen hochwertige Zellen ausgewählt und in Trainingssatz, Validierungssatz und unabhängigen Testsatz aufgeteilt. Darüber hinaus wurden in der Studie Brustkrebs - und Hirntumormuster aus Gewebemikroarrays als externer Validierungssatz eingeführt. Diese Muster unterscheiden sich in der Gewebestruktur und - morphologie deutlich von den Trainingsdaten - sie bestehen aus zylindrischen kleinen Gewebestücken, die durch leere Bereiche getrennt sind, anstatt aus großen zusammenhängenden Gewebeschnitten in den Trainingsdaten. Dadurch wurde die Generalisierungsfähigkeit des Modells bei neuen Mustertypen und bisher nicht gesehenen Krebsarten effektiv getestet.

Vorverarbeitungsablauf der Trainingsdaten

Im Bereich der Modellanwendung hat die Studie zwei umfangreiche und sich ergänzende virtuelle Bevölkerungsstudienkohorten aufgebaut. Die erste Kohorte stammt aus dem klinischen Netzwerk der Providence Health Care Group in den USA und umfasst H&E - Schnitte von 14.256 Krebspatienten aus 51 Krankenhäusern und über 1.000 Arztpraxen. Sie deckt 24 Hauptkrebsarten und 306 Subtypen ab und integriert gleichzeitig umfangreiche klinische Informationen wie Genombiomarker, pathologische Stadien und Überlebensverläufe. Der einzigartige Wert dieser Datensammlung liegt in ihren realen Eigenschaften: Die Patientengruppe ist äußerst vielfältig, und die Krankheitsstadien reichen von frühen bis späten Stadien, was die komplexen Situationen in der klinischen Praxis realistisch widerspiegelt.

Die zweite Kohorte stammt aus dem Cancer Genome Atlas (TCGA) in öffentlichen Datenbanken und umfasst 10.200 H&E - Schnitte, hauptsächlich aus frühen, unbehandelten Operationsproben. Diese beiden Kohorten unterscheiden sich stark in Bezug auf die Patientenherkunft, die Krankheitsstadien und die klinischen Hintergründe. Dieses differenzierte Design bietet ausgezeichnete Bedingungen für die Validierung der Zuverlässigkeit und Universalität des Modells: Wenn das Modell in diesen so unterschiedlichen Datensammlungen konsistente und solide biologische Schlussfolgerungen ziehen kann, wird dies stark darauf hinweisen, dass es großes Potential für die klinische Anwendung hat.

Verteilung der Daten der Providence Health nach Krebsarten

GigaTIME: Aufbau einer intelligenten Brücke zwischen Morphologie und Funktion

Das GigaTIME - Modell geht direkt auf die Schlüsselprobleme in der Forschung zum Tumor - Immunmikromilieu ein: Die teure und wenig effiziente mIF - Technologie ist schwer zu verbreiten, während die klinisch üblichen H&E - gefärbten Bilder die Proteinfunktionsaktivität nicht direkt widerspiegeln können. Das Modell lernt mithilfe der Künstlichen Intelligenz, aus H&E - Bildern virtuelle mIF - Bilder zu generieren, und bietet so einen machbaren Weg, um das Tumor - Immunmikromilieu in der Bevölkerung auf kostengünstige und systematische Weise zu analysieren.

Das Modell verwendet einen sorgfältig entworfenen Patch - Encoder - Decoder - Rahmen, der auf einem verschachtelten U - Netzwerk basiert. Der Vorteil dieser Architektur besteht darin, dass sie sowohl die lokalen Feinheiten als auch die globale Gewebestruktur der Bilder erfassen kann. Genauer gesagt extrahiert der Encoder - Teil des Netzwerks durch Faltung und Subsampling schrittweise mehrschichtige Merkmalsdarstellungen aus den eingegebenen 256×256 - Pixel - H&E - Bildpatchs; der Decoder - Teil rekonstruiert diese abstrakten Merkmale durch Upsampling und Merkmalsfusion zu virtuellen mIF - Bildern mit räumlicher Auflösung. Diese Design ermöglicht es dem Modell, sowohl die feine Morphologie einzelner Zellen zu berücksichtigen als auch die Gewebemuster von Zellpopulationen zu verstehen.

GigaTIME nimmt H&E - Ganzschnittsbilder entgegen und gibt mIF - Informationen über 21 Proteinkanäle aus.

Beim Ausgabeteil spiegelt das Design des Modells eine tiefe Überlegung zu biologischen Problemen wider. Für 21 vordefinierte Proteinkanäle führt GigaTIME für jeden Pixel in den eingegebenen Bildern eine binäre Klassifizierung durch, um zu entscheiden, ob an dieser Position die Aktivierung eines bestimmten Proteins vorliegt. Schließlich wird ein pixelgenaues Proteinaktivitätsatlas erzeugt. Diese lokalen Vorhersageergebnisse können nahtlos zusammengefügt werden, um das virtuelle mIF - Bild des gesamten Gewebeschnitts wiederherzustellen, was wiederum die Berechnung verschiedener quantitativer Indizes wie die Aktivierungsdichte und das räumliche Verteilungsmuster von bestimmten Proteinen in Tumorbereichen ermöglicht und eine solide Datenbasis für die anschließende Hochdurchsatzanalyse und die klinische Assoziationsforschung bietet.

Virtuelle mIF - Scores einer großen Bevölkerung, die durch GigaTIME erzeugt wurden

Um sicherzustellen, dass das Modell effektiv lernt, wurde die Trainingsstrategie systematisch optimiert. Die Verlustfunktion kombiniert geschickt den Dice - Verlust und den binären Kreuzentropieverlust: Der erste legt den Schwerpunkt auf die Gewährleistung der globalen Übereinstimmung der räumlichen Kontur zwischen der vorhergesagten Aktivitätsregion und der realen Region, während der zweite sich auf die Verbesserung der Genauigkeit der Klassifizierung jedes Pixels konzentriert. Die gemeinsame Wirkung beider gewährleistet sowohl die genaue Wiederherstellung des globalen räumlichen Musters als auch die Zuverlässigkeit auf Detailebene. Das Modell wurde auf 8 NVIDIA A100 - GPUs über 250 Epochen hinweg ausgiebig trainiert, mit einer Batch - Größe von 16 und einer Lernrate von 0,0001. Alle wichtigen Hyperparameter wurden auf der Grundlage der Leistung im Validierungssatz systematisch eingestellt.

Es ist besonders hervorzuheben, dass der Erfolg des Modells stark von der Qualität der Trainingsdaten abhängt. Das Forschungsteam hat durch strenge Bildregistrier