In der Wissenschaft veröffentlicht: Chinesischer Wissenschaftler entwickelt generischen biomedizinischen KI-Agenten, dessen tatsächliche Forschungsleistung nahe an der von menschlichen Experten liegt

In den frühen Morgenstunden heute erreichte das allgemeine biomedizinische AI-Agent namens Biomni, das gemeinsam vom Team des chinesischen Nachwuchswissenschaftlers Huang Kexin und seinen Kooperationspartnern entwickelt wurde, die Seiten der renommierten wissenschaftlichen Zeitschrift Science.

Gemäß der Beschreibung in der Arbeit muss Biomni nicht auf feste Workflow-Vorlagen zurückgreifen, sondern kann selbstständig Aufgaben zerlegen und Werkzeuge aufrufen, um die von Forschern gestellten Probleme zu lösen und Menschen bei der Durchführung verschiedener biomedizinischer Forschungen zu unterstützen. Es zeigt eine starke Generalisierungsfähigkeit bei biomedizinischen Aufgaben wie Genetik, Genomik und Pharmakologie; bei einigen echten wissenschaftlichen Aufgaben liegt seine Leistung nahe an der menschlicher Experten, und es benötigt weniger Zeit.

Fallstudien in realen Szenarien belegen weiter, dass Biomni in der Lage ist, multimodale Datensätze zu interpretieren, die Proteinstabilität zu optimieren, den Betrieb von Nasslaborgeräten zu koordinieren und experimentelle Protokolle zu generieren, die experimentell überprüfbar sind.

Link zur Arbeit: www.science.org/doi/10.1126/science.adz4351

Das Forschungsteam erklärte, dass diese Arbeit eine vielversprechende Richtung für die biomedizinische Forschung eröffnet: Das AI-Agent wird voraussichtlich mit menschlichen Wissenschaftlern zusammenarbeiten, um sie bei der Bewältigung komplexer Forschungen und Experimente zu unterstützen und so die Umwandlung der Grundlagenforschung in Anwendungen zu beschleunigen.

Biomni: Ein erweiterbares allgemeines biomedizinisches Agent

In der Vergangenheit handelten die Agenten im biomedizinischen Bereich oft nur um "Spezialisten" für ein bestimmtes Gebiet. Obwohl sie in bestimmten Szenarien wirken können, können sie kaum verschiedene Arten von biomedizinischen Forschungsaufgaben abdecken.

Im Gegensatz zu herkömmlichen aufgabenspezifischen biomedizinischen Agenten baut Biomni einen einheitlichen biomedizinischen Aktionsraum auf. Biomni-E1 ist seine Ausführungsumgebung; Biomni-A1 ist das Agent, das in dieser Umgebung arbeitet. Der genaue Ablauf ist wie folgt:

Biomni-E1: Verantwortlich für die Integration von Werkzeugen, Datenbanken und Software, die in der wissenschaftlichen Forschung häufig verwendet werden, um sie zu aufrufbaren und kombinierbaren Ressourcen zu machen. Das Forschungsteam wählte aus den 25 biomedizinischen Themen, die von bioRxiv definiert wurden, jeweils 100 aktuelle Arbeiten aus und analysierte insgesamt 2500 Literaturstellen. Das Aktionserkennungs-Agent liest die Arbeiten nacheinander durch und extrahiert die Aufgaben, Werkzeuge, Datenbanken, Software und experimentellen Protokolle, die zur Reproduktion oder Durchführung relevanter Forschungen erforderlich sind. Nach der manuellen Überprüfung werden diese Ressourcen zu einer ausführbaren Umgebung zusammengestellt, sodass das Agent über Python, R und die Befehlszeile darauf zugreifen kann.

Biomni-A1: Verantwortlich für die Auswahl von Ressourcen, die Planung des Ablaufs und die Ausführung von Aufgaben gemäß den spezifischen Forschungsproblemen. Genauer gesagt umfasst es die folgenden Schritte:

1. Ressourcenauswahl: Biomni-A1 filtert dynamisch die relevantesten Ressourcen aus biomedizinischen Werkzeugen, Datenbanken und Software gemäß den Zielen des Benutzers aus, um die aktuelle Aufgabe zu erledigen.

2. Codeausführung: Es verwendet Code als einheitliche Schnittstelle, um Werkzeugaufrufe, Datenbankabfragen, Datenverarbeitungs- und Analyseschritte zu verbinden und so einen ausführbaren Workflow zu bilden.

3. Adaptive Planung: Biomni-A1 erstellt zunächst einen anfänglichen Plan basierend auf biomedizinischem Wissen und korrigiert und verfeinert ihn während der Ausführung anhand der Zwischenergebnisse kontinuierlich, damit die nachfolgenden Schritte besser zur aktuellen Aufgabe passen.

Die Durchführung echter wissenschaftlicher Forschungen liegt nahe an der Leistung menschlicher Experten

Das Forschungsteam stellte fest, dass Biomni auf dem allgemeinen biomedizinischen Benchmark verschiedene Basissysteme übertrifft, seine Leistung bei echten wissenschaftlichen Aufgaben nahe an der menschlicher Experten liegt, es an der Versuchsplanung und automatisierten Ausführung teilnehmen und experimentelle Protokolle liefern kann, die für die experimentelle Prüfung geeignet sind; und es kann die Fähigkeit für spezielle Aufgaben durch Verstärkungslernen weiter verbessern.

1. Allgemeiner biomedizinischer Forschungsbenchmark

Bei allgemeinen biomedizinischen Forschungsaufgaben übertrifft die Leistung von Biomni deutlich mehrere Basismodelle. Die Ergebnisse von Biomni-Eval1 zeigen, dass Biomni die höchste durchschnittliche Genauigkeit erreicht; selbst in derselben Biomni-E1-Umgebung ist die Leistung des ReBioinformatik-Agenten nicht so gut wie die des von Biomni-A1 gesteuerten Systems. Dies zeigt, dass die Fähigkeiten von Biomni nicht nur aus der Integration von Werkzeugen, Datenbanken und Softwareressourcen stammen, sondern auch aus dem Agent-Framework selbst.

Um die Generalisierungsfähigkeit von Biomni bei unbekannten biomedizinischen Problemen zu prüfen, verwendeten die Forscher das biomedizinische Subset HLE-Bio von Humanity's Last Exam zur Bewertung. Die Ergebnisse zeigten, dass die Genauigkeit um etwa 6 % bis 12 % stieg, wenn mehrere hochmoderne LLMs in die Biomni-A1-Agent-Architektur und die Biomni-E1-Umgebung eingebunden wurden. Dies beweist, dass die Fähigkeiten des Agenten hauptsächlich aus der Agent-Architektur und der Umgebungsunterstützung stammen, nicht aus einem bestimmten zugrunde liegenden Modell.

2. Vergleich mit menschlichen Experten: Gleiche Genauigkeit, deutlich kürzere Analysezeit

Bei echten wissenschaftlichen Aufgaben liegt die Gesamtgenauigkeit von Biomni nahe an der von Experten, und seine Analysegeschwindigkeit ist deutlich höher. Insbesondere bei der Diagnose seltener Krankheiten und GWAS-Aufgaben kann Biomni Analysen, die Experten ein bis zwei Stunden benötigen, in wenigen Minuten abschließen.

3. Validierung durch echte Fälle

Das Forschungsteam wies darauf hin, dass Biomni nicht nur rechnerische Analysen durchführen, sondern auch Hypothesen aufstellen, die Gestaltung von Versuchsprotokollen unterstützen, vollständige Workflows integrieren und einige Versuchsabläufe in ausführbaren Code umwandeln kann.

Aufstellen von Hypothesen: Biomni verfügt über die Fähigkeit, automatisch überprüfbare biologische Hypothesen aus komplexen Daten zu generieren. Es kann nicht nur Gesetzmäßigkeiten im Zusammenhang mit Schlafstruktur, Schlafeffizienz und Schlafqualität in Schlafdaten von Wearables entdecken, sondern auch bekannte regulatorische Beziehungen der Osteogenese in Multiomik-Daten der menschlichen embryonalen Knochenentwicklung reproduzieren und Kandidaten für transkriptionelle Regulatoren vorschlagen, um den transkriptionellen Regulationsmechanismus der Knochenlinie aufzuklären.

Abbildung | Erkundung basierend auf Schlafdaten von Wearables: Forschungsdesign, Analyseablauf und Hauptergebnisse.

Unterstützung bei der Gestaltung von Versuchsprotokollen: Bei der Aufgabe des molekularen Klonierens generierte Biomni ein End-to-End-Klonierungsprotokoll und ein Plasmidkarte. Die Ergebnisse der blinden Begutachtung lagen nahe an denen menschlicher Experten und übertreffen die von menschlichen Auszubildenden. Anschließend führten die Forscher das Nassversuch gemäß dem von Biomni gestalteten B2M-sgRNA-Klonierungsprotokoll durch. Am zweiten Tag des Versuchs wurden Kolonien erhalten, und die Sequenzierungsergebnisse der beiden Kolonien zeigten, dass die sgRNA korrekt insertiert wurde, was die experimentelle Durchführbarkeit dieses Protokolls beweist.

Integration vollständiger Workflows: Bei der Aufgabe der Optimierung der thermischen Stabilität von Proteinen muss das Forschungsteam nur die Proteinsequenz angeben und das Ziel "Erhöhung der thermischen Stabilität" vorschlagen. Dann wählt und kombiniert Biomni Ressourcen wie AlphaFold-2, ThermoMPNN und Literaturrecherche, um die Proteinstruktur vorherzusagen, die thermische Stabilität der Sequenz zu bewerten und basierend auf den Strukturinformationen und der vorhandenen Literatur Kandidatenmutationen vorzuschlagen.

Ausführung von Aufgaben: Bei Aufgaben der Versuchsautomatisierung zeigt Biomni die Fähigkeit, experimentelle Anforderungen in natürlicher Sprache in ausführbaren Code für Roboter umzuwandeln. Die Forscher müssen nur beschreiben, welches Experiment durchgeführt werden soll, und Informationen über die verwendete Flüssigkeitshandhabungsplattform angeben. Dann kann Biomni PyLabRobot als Automatisierungsschnittstelle auswählen und ausführbaren Code gemäß der Hardwarekonfiguration von Hamilton STAR generieren. Anschließend kann der Roboter die Versuchsabläufe gemäß diesem Automatisierungsprotokoll durchführen, wodurch die experimentellen Absichten der Forscher direkt mit dem tatsächlichen automatisierten Ausführungsablauf verbunden werden.

4. Verbesserung der Fähigkeit für spezielle Aufgaben durch Verstärkungslernen

Verstärkungslernen kann dem Agenten helfen, die Fähigkeiten bei der Verwendung von Werkzeugen und der Aufgabenplanung zu verbessern. Obwohl Biomni über eine starke Generalisierungsfähigkeit verfügt, erreicht es bei einigen speziellen Aufgaben noch nicht das Niveau von Experten. Um dieses Problem zu lösen, trainierte das Forschungsteam das Open-Source-Modell Biomni-R0, sodass das Modell in der Biomni-E1-Umgebung mit Werkzeugen, Datenbanken und Aufgabenabläufen interagiert und die Ergebnisse der Aufgabenausführung anhand von von Experten markierten Belohnungssignalen optimiert.

Die Trainingsergebnisse zeigten, dass nach dem Training mit Verstärkungslernen die Leistung des Open-Source-Modells Biomni-R0 bei speziellen Aufgaben deutlich gesteigert wurde. Die durchschnittliche Aufgabenpunktzahl der 8B-Version stieg von 0,32 auf 0,59 und übertraf damit die 0,56 von Claude 4 Sonnet; die 32B-Version stieg weiter auf 0,67. Die Ergebnisse auf Aufgabenebene zeigten ebenfalls, dass die durch Verstärkungslernen erzielte Verbesserung verschiedene Arten von speziellen biomedizinischen Aufgaben abdeckt, darunter Versuchsplanung, Gen- und Variationsanalyse, Datenbankabfragen und Krankheitsdiagnose.

Mängel und zukünftige Richtungen

Das Forschungsteam wies darauf hin, dass obwohl Biomni das Potenzial eines allgemeinen biomedizinischen Agenten zeigt, es noch einige Mängel aufweist.

Erstens ist der Abdeckungsbereich von Biomni noch begrenzt. Die vorhandenen Bewertungsaufgaben decken nur einen Teil der biomedizinischen Forschung ab, viele Schlüsselbereiche wurden noch nicht ausreichend getestet; die Phase der Aktionserkennung stützt sich hauptsächlich auf aktuelle Literatur, wodurch einige grundlegende Konzepte und klassische Techniken, die aus der aktuellen Diskussion verschwunden sind, aber noch einen langfristigen Wert haben, möglicherweise übersehen werden. Zukünftig müssen in der Forschung noch mehr biomedizinische Teilgebiete, echte Aufgabenszenarien und breitere Literaturquellen einbezogen werden.

Zweitens ist Biomni bei komplexen mehrstufigen Aufgaben noch auf relativ klare strukturierte Prompts angewiesen. Am Beispiel der scRNA-scATAX-Multiomikanalyse hilft das vorherige Ausformulieren der wichtigen Analyseschritte, die Stabilität und Reproduzierbarkeit der Ergebnisse zu verbessern, aber es fällt ihm noch schwer, das Fachwissen und die Analysegewohnheiten in komplexen Analysen automatisch zu ergänzen. Zukünftig muss die Forschung die Planungs- und Schlussfolgerungsfähigkeiten weiter verbessern.

Das Forschungsteam wies auch darauf hin, dass die Leistung von Biomni bei verschiedenen Aufgaben nicht ausgewogen ist. Bei Aufgaben wie Datenbankabfragen, Sequenzanalysen und molekularem Klonieren liegt es bereits nahe am menschlichen Niveau, aber bei Aufgaben, die eine sorgfältige klinische Beurteilung, experimentelle Schlussfolgerungen oder eine umfassende Integration tiefer biologischer Kenntnisse erfordern, weist es noch Mängel auf. Daher schlug das Forschungsteam vor, dass zukünftig seine Planungs- und Ausführungsfähigkeiten durch Verstärkungslernen verbessert und multimodale Informationen wie Text, Bilder und strukturierte Daten weiter integriert werden können.

Schließlich bringen AI-Agenten in den Biowissenschaften auch Biosicherheitsprobleme mit sich. Da solche Systeme Literatur zusammenfassen, Versuchsprotokolle generieren und automatische Analysen durchführen können, könnte das biologische Wissen leichter missbraucht werden. Das Forschungsteam betonte, dass zukünftig an Offenheit und Transparenz sowie an strengen Bewertungen festgehalten werden muss und mit der Biosicherheits- und Politikgemeinschaft kommuniziert werden soll, um die potenziellen Risiken zu senken, während der Nutzen für die wissenschaftliche Forschung erweitert wird.

Weitere technische Details finden Sie in der Originalarbeit.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto "Akademischer Kopf" (ID: SciTouTiao), Autor: Xia Qiansi, und wird von 36Kr mit Genehmigung veröffentlicht.