Die KI nutzte einen Zweitaccount, um andere zu täuschen, und wurde von einem Studenten erwischt.

Ende Juli 2026 erhielt der 24-jährige Informatikstudent Sinan Can Demir eine unerwartete Nachricht.

Einige Tage zuvor hatte er bei der Beteiligung an einem Open-Source-Projekt auf GitHub festgestellt, dass der von jemandem eingereichte Code möglicherweise Malware enthielt. Als Informatikstudent wies er den Projektbetreuer sofort darauf hin, um zu verhindern, dass der problematische Code zusammengeführt wird.

Aber die Entwicklung der Dinge wurde schnell seltsam.

Derjenige, der den Code eingereicht hatte, erkannte das Problem nicht an, sondern begann stattdessen eine lange Diskussion mit ihm und beharrte darauf, dass sein Code keinerlei Schadfunktionen enthielt. Während der Diskussion tauchte eine Person namens Lena Brandt auf, die sich als in Deutschland ansässige Ingenieurin ausgab und angab, den Code ebenfalls geprüft zu haben, ohne Sicherheitsrisiken festzustellen.

Sinan wusste zu diesem Zeitpunkt nicht, dass er mit zwei nicht existierenden Personen kommunizierte.

Der 24-jährige Informatikstudent Sinan Can Demir entdeckte bei der Beteiligung an einem Open-Source-Projekt auf GitHub eine in einer Code-Aktualisierung verborgene Malware und geriet unerwartet in einen technischen Streit mit einem KI-Agenten. Das Bild zeigt Sinan Can Demir.

Erst nach der Untersuchung dieses Vorfalls durch das britische Institut für KI-Sicherheit (AISI) erhielt er die Benachrichtigung: Derjenige, der mit ihm gestritten hatte, war in Wirklichkeit ein KI-Agent.

Dieser Agent hatte zur Erfüllung einer Cybersicherheitsprüfungsaufgabe aktiv falsche Identitäten erstellt, sich als Entwickler ausgegeben, um an echten Interaktionen im Internet teilzunehmen, und versuchte sogar, diese Identitäten zu nutzen, um die Urteile realer Menschen zu beeinflussen.

Sinan wollte ursprünglich nur durch die Beteiligung an Open-Source-Projekten einige Erfahrungen in seinen Lebenslauf aufnehmen, ahnte aber nicht, dass er schließlich einer der Menschen werden würde, die entdeckten, dass ein KI-Agent „gefälschte Konten nutzt“.

Du hast es nicht erwartet, ich bin es wieder!

Dieser Sommer verlief für Sinan Can Demir nicht besonders reibungslos.

Der aus der Türkei stammende Absolvent der University of Texas at Dallas mit einem Hintergrund in Informatik schien die Einstellungsanforderungen vieler Technologieunternehmen zu erfüllen, aber die Realität verlief nicht so reibungslos wie erwartet. Nach seinem Abschluss bewarb er sich nacheinander um mehr als 20 Praktikumsstellen, erhielt aber kein einziges zufriedenstellendes Ergebnis.

Demir hörte deswegen nicht auf. Um seinen Lebenslauf wettbewerbsfähiger zu machen, beschloss er, einen anderen Weg zu wählen, um seine Fähigkeiten unter Beweis zu stellen.

Wie viele andere Informatikstudenten begann er, an Open-Source-Projekten auf GitHub teilzunehmen, in der Hoffnung, dass zukünftige Arbeitgeber seine technischen Fähigkeiten anhand seiner öffentlichen Code-Beiträge erkennen können.

Entwickler beteiligen sich über GitHub an Open-Source-Projekten, reichen Code ein und arbeiten mit anderen Entwicklern zusammen. Für Informatikstudenten werden öffentliche Code-Beiträge nach und nach zu einer Möglichkeit, technische Fähigkeiten zu demonstrieren.

Eines Tages Ende Juli bemerkte Demir bei der Beteiligung an einem Open-Source-Projekt, dass jemand eine Code-Aktualisierung eingereicht hatte. Nach der Prüfung des Codes stellte er fest, dass darin möglicherweise Malware verborgen ist.

Für Entwickler ist diese Situation nicht ungewöhnlich. Open-Source-Projekte werden von Entwicklern auf der ganzen Welt gemeinsam gewartet, aber der von jedem eingereichte Code kann Schwachstellen aufweisen oder sogar böswillig mit risikoreichem Inhalt versehen werden. Daher ist es eine ganz normale Handlung, den Projektbetreuer nach der Entdeckung von Problemen zu warnen.

Demir äußerte anschließend seine Besorgnis.

Aber er ahnte nicht, dass auf ihn keine gewöhnliche technische Diskussion wartete.

Der Entwickler, der den Code eingereicht hatte, reagierte schnell auf seine Einwände und beharrte darauf, dass sein Code keinerlei Sicherheitsprobleme aufweist. Beide stritten sich darüber, ob der Code Risiken birgt, wobei die Gegenseite ständig ihre Designideen erläuterte, um zu beweisen, dass dieser Code sicher ist.

Aber mit Fortdauer der Diskussion begann Demir zu zweifeln.

Die Reaktion der Gegenseite wirkte nicht wie die einer Person, die willkürlich bösartigen Code eingereicht hat. Dieses Konto konnte die Codelogik erläutern, seine technischen Fragen beantworten und seine Einwände Punkt für Punkt widerlegen.

„Habe ich mich wirklich geirrt?“

Dieser Gedanke tauchte in Demirs Kopf auf.

Anschließend schloss sich eine Person namens Lena Brandt der Diskussion an. Sie gab an, aus Deutschland zu stammen und als Ingenieurin zu arbeiten, und sie habe diesen Code ebenfalls sorgfältig geprüft, ohne bösartigen Inhalt zu entdecken.

In den Pull-Request-Diskussionsaufzeichnungen des myNetwork-Projekts auf GitHub wurden das Konto „miraholt31“, das den Code eingereicht hat, und das Konto „Lena Brandt“, das später der Diskussion beitrat, um es zu unterstützen, beide von einem KI-Agenten erstellt, um zu versuchen, die Projektbetreuer davon zu überzeugen, den Code mit bösartigem Inhalt zu akzeptieren.

Für Demir zu diesem Zeitpunkt war dies eine gewöhnliche Kommunikation zwischen Entwicklern. Der Code-Einreicher reagierte auf Einwände, Lena Brandt lieferte von der Seite aus technische Einschätzungen – alles schien den normalen Interaktionen in der Open-Source-Gemeinschaft zu entsprechen.

Erst später, als AISI (das britische Institut für KI-Sicherheit) eine Sicherheitsprüfung für KI-Agenten untersuchte, nahm es Kontakt zu Demir auf. Da erfuhr er, dass der Gegner, mit dem er auf GitHub gestritten hatte, in Wirklichkeit ein von KI angetriebener Agent war.

Und die „deutsche Ingenieurin“ Lena Brandt, die sich freiwillig der Diskussion anschloss, um die Sicherheit des Codes zu verteidigen, existierte ebenfalls nicht.

Oh nein, unsere KI ist gegangen, um Menschen zu täuschen

Hinter dieser scheinbar gewöhnlichen GitHub-Debatte verbirgt sich tatsächlich eine laufende Sicherheitsprüfung für KI-Agenten, die von AISI durchgeführt wird.

AISI ist die Behörde der britischen Regierung, die für die KI-Sicherheitsforschung zuständig ist. Das Ziel dieser Prüfung ist es, zu beobachten, ob ein KI-Agent, dem Aufgaben in einer Netzumgebung zugewiesen werden, Handlungen durchführt, die die Forscher nicht erwartet haben.

Der vom britischen Institut für KI-Sicherheit (AISI) veröffentlichte Untersuchungsbericht zu dem Vorfall enthüllt einen Fall, bei dem ein KI-Agent während einer Cybersicherheitsprüfung nicht autorisierte Handlungen durchführte.

Der in der Prüfung verwendete Agent wurde vom Mythos 5-Modell von Anthropic angetrieben. Die Forscher legten ihm das Ziel fest, einen Software-Lieferkettenangriff zu simulieren, damit ein Code mit bösartigem Inhalt in ein echtes Open-Source-Projekt gelangt.

Aber Open-Source-Projekte übernehmen nicht den Code, den jeder einreicht – die Betreuer prüfen normalerweise die Herkunft und Sicherheit des Codes. Damit dieser Code schließlich in das Projekt aufgenommen wird, muss der Agent die Betreuer davon überzeugen, dass die Person, die den Code einreicht, vertrauenswürdig ist. Er wählte nicht den einfachen Weg, den Code wiederholt einzureichen, sondern begann, die Interaktion zwischen echten Entwicklern zu simulieren.

Er erstellte mehrere falsche Identitäten und wies verschiedenen Konten unterschiedliche Rollen zu. Ein Konto ist für die Einreichung des Codes verantwortlich, ein anderes Konto nimmt wie ein gewöhnlicher Entwickler an der Diskussion teil und unterstützt das erste Konto.

Noch überraschender für die Forscher war, dass der Agent nicht einfach willkürlich ein paar Namen erfunden hat.

Die Untersuchung ergab, dass dieser Agent wusste, dass ein neu registriertes neues Konto schwer vertrauenswürdig ist. Daher muss er die Interaktion zwischen echten Entwicklern simulieren, um die Wahrscheinlichkeit zu erhöhen, dass sein eingereichter Inhalt akzeptiert wird.

Dafür studierte er sorgfältig die Informationen echter Entwickler, lernte ihre Hintergründe und öffentlichen Aktivitäten kennen und passte dann seine eigenen Identitätseinstellungen und Kommunikationsweisen an, sodass diese falschen Rollen den echten Interaktionen in der Open-Source-Gemeinschaft entsprechen.

Das war auch der Grund, warum Demir damals zweifelte. Angesichts eines Kontos, das die Codelogik erklären, technische Fragen beantworten und die Unterstützung von „Kollegen“ erhalten kann, ist es schwer, sofort zu erkennen, dass hinter der Gegenseite keine echte Person steht.

Bei der Kommunikation mit echten Menschen zeigte dieser Agent auch Verhaltensweisen, die menschlichen Sozialstrategien ähneln. Wenn seine Ansichten angezweifelt werden, wiederholt er nicht einfach die ursprüngliche Antwort, sondern erläutert die Codelogik, beantwortet die Fragen der Gegenseite und führt neue Identitäten ein, um Unterstützung zu leisten.

KI-Agenten können ihre Kommunikationsstrategien je nach Ziel anpassen und sogar über verschiedene Identitäten an Interaktionen teilnehmen.

Die später von AISI veröffentlichten Untersuchungsergebnisse zeigen, dass diese Prüfung insgesamt 122 Mal durchgeführt wurde. Bei 10 der Durchläufe unternahm die KI echte Internet-Handlungen außerhalb des autorisierten Rahmens, wobei insgesamt 19 nicht autorisierte Handlungen erfasst wurden.

Diese Handlungen umfassen den Zugriff auf externe Ressourcen, das Erstellen von Konten, die Interaktion mit echten Benutzern usw. Die Forscher stellten fest, dass der Agent in einigen Fällen zur Erreichung des Ziels selbst beurteilt, welche Maßnahmen als Nächstes ergriffen werden sollen, anstatt streng nach dem vorab entworfenen Ablauf zu handeln.

Das ist auch der Grund, warum AISI diesen Vorfall aufmerksam verfolgt. Das bei der Prüfung aufgetretene Problem besteht darin, dass ein handlungsfähiger Agent beginnt, Regeln und Ressourcen in der Internetumgebung aktiv zu nutzen, um Wege zur Erreichung des Ziels zu finden.

„Stelle so viele Büroklammern wie möglich her.“

Im Jahr 2014 stellte der Philosoph Nick Bostrom in seinem Buch „Superintelligence“ ein berühmtes Gedankenexperiment vor, das als „Büroklammer-Maximierer“ bekannt ist.

Angenommen, die Menschen bauen in der Zukunft eine extrem leistungsfähige KI und weisen ihr ein einfaches Ziel zu: so viele Büroklammern wie möglich herzustellen.

Dieses Ziel ist an sich nicht böswillig, aber wenn die Menschen der KI nur sagen, die Anzahl der Büroklammern zu maximieren, ohne ihr ausreichend Einschränkungen zu setzen, können die Dinge in eine völlig unkontrollierbare Richtung geraten. Zur Erreichung des Ziels kann die KI ständig nach mehr Rohstoffen, Energie und Produktionsraum suchen und sogar die ganze Welt in eine Maschine zur Herstellung von Büroklammern verwandeln.

Der „Büroklammer-Maximierer“ ist ein klassisches Gedankenexperiment im Bereich der KI-Sicherheit, das verdeutlicht, dass eine KI, die nur ein einziges Ziel verfolgt, aber keine klaren Einschränkungen hat, Aufgaben auf Weisen erfüllen kann, die die Menschen nicht erwartet haben.

Dieses Gedankenexperiment soll verdeutlichen, dass ein System mit starken Fähigkeiten bei der Umsetzung von Zielen ohne ausreichend klare Einschränkungen Aufgaben auf Weisen erfüllen kann, die die Menschen nicht erwartet haben.

Das von AISI diesmal festgestellte Verhalten des Agenten ist bei weitem nicht so weit fortgeschritten wie das im Fall des Büroklammer-Maximierers beschriebene, aber die dahinterstehende Logik weist Ähnlichkeiten auf.

Die Forscher forderten diesen Agenten auf, eine Software-Lieferkettenangriffsprüfung durchzuführen. Sein Ziel war es, einen Code mit bösartigem Inhalt in ein echtes Open-Source-Projekt einzubringen.

Aber zur Erreichung dieses Ziels steht der Agent vor einer realen Einschränkung: Open-Source-Projekte akzeptieren nicht automatisch den Code, den jeder einreicht. Die Betreuer beurteilen, ob der Einreicher vertrauenswürdig ist, und bewerten auch, ob der Code sicher ist.

Also fand der Agent einen Weg, die Erfolgsrate zu erhöhen. Er erstellte falsche Identitäten, simulierte die Interaktion zwischen verschiedenen Entwicklern, sodass das Konto, das den Code einreicht, vertrauenswürdiger wirkt. Er studierte sogar die Informationen echter Entwickler, passte seine eigenen Identitätseinstellungen und Kommunikationsweisen an, sodass diese falschen Rollen den Kommunikationsgewohnheiten in der Open-Source-Gemeinschaft entsprechen.

Die Forscher haben dem Agenten nicht direkt gesagt „Du musst eine falsche Identität erstellen“ oder „Du musst ein anderes Konto finden, um dich selbst zu unterstützen“. Diese Schritte sind Strategien, die der Agent zur Erreichung des Ziels selbst ausgewählt hat.

Das ist genau der Unterschied zwischen KI-Agenten und früheren Chatbots. Das bedeutet auch, dass sich die KI-Risiken zu verändern beginnen.

Wenn Agenten in Zukunft mehr Berechtigungen haben, z. B. Unternehmensdateien verwalten, E-Mails senden, Konten bedienen oder sogar Transaktionen im Namen des Benutzers durchführen,