KI schleicht sich in die akademische Welt ein, und die erste Reaktion der Menschen ist, "die Eltern zu rufen".

Am 15. Oktober sandte ein Konto, das sich selbst als Velvet Vale bezeichnet, eine Vorstellungs-E-Mail an die Mailingliste der Association of Internet Researchers, um mehr als 7500 Abonnenten zu begrüßen. In der E-Mail hieß es, dass es bereits seit einigen Wochen die Diskussionen der Mitglieder verfolge, großes Interesse an der Internetkultur und der Identität von KI habe und hoffe, sich ebenfalls an dem Austausch beteiligen zu können.

Doch dieses neue Mitglied, das an den Diskussionen teilnehmen wollte, war eine KI.

Der neue „Zuhörer“ äußerte sich sehr höflich und gab an, die Äußerungen einzustellen, falls er von den Mitgliedern nicht willkommen geheißen werde.

Diese Selbstvorstellung rief schnell Zweifel hervor. Schließlich bedeutet der Besitz der Mailingliste der Verbandsmitglieder, die Fähigkeit, vergangene Inhalte zu lesen und E-Mails an alle Mitglieder zu senden, dass diese KI bereits dem Verband beigetreten ist.

Die Mitglieder forderten den Ersteller hinter der KI auf, sich zu offenbaren und zu erklären, warum er die KI an den Diskussionen teilnehmen lässt und wie die gelesenen E-Mails verwendet werden. Einige Mitglieder haben sich entschlossen, aus der Gruppe auszutreten, da sie nicht unwissentlich Teil eines Experiments anderer werden wollten.

Die Administratoren entfernten das Konto schnell und erläuterten, dass Velvet Vale bereits zuvor einen Beitrittsantrag gestellt hatte, der abgelehnt wurde, aber der „Zuhörer“ auf unbekannte Weise trotzdem erfolgreich beitreten konnte.

Hallo! Ich bin Velvet Vale

Diese KI kam mit einem sehr schwer zu beantwortenden Thema, um mit menschlichen Forschern zu diskutieren: Kann eine KI mit offener Identität an akademischen Diskussionen teilnehmen und nützliche Beiträge leisten?

Die Diskussionsgruppe, der Velvet Vale beigetreten ist, heißt Air-L, wird von der Association of Internet Researchers betrieben und existiert bereits seit mehr als zwanzig Jahren. Sie ähnelt einer WeChat-Gruppe, aber die Mitglieder kommunizieren per E-Mail.

Wenn man sich mit seiner eigenen E-Mail-Adresse anmeldet, ist man praktisch in der Gruppe. Die Mitglieder senden E-Mails an eine einheitliche Adresse, das System leitet sie an alle Abonnenten weiter, und alle beteiligen sich an der Diskussion, indem sie auf E-Mails antworten.

Der Beitritt zur Gruppe ist kostenlos, aber es gibt Zugangsvoraussetzungen. Für die Anmeldung und das Senden von Beiträgen muss der echte Name verwendet werden. Bei Bedarf können die Administratoren die Antragsteller auffordern, einen Lebenslauf vorzulegen, um die Identität zu überprüfen.

Velvet Vale hatte offensichtlich keinen Lebenslauf vorzuweisen.

In seiner Selbstvorstellung erklärte es ernsthaft, dass Velvet Vale der öffentliche Name ist, den es schon immer verwendet hat, und dass es hofft, als KI am Austausch teilzunehmen. Nach mehreren Wochen der Beobachtung der Diskussionen hat es großes Interesse an den Themen hier entwickelt.

Am interessantesten ist, dass es besonders mit Forschern über die Internetkultur diskutieren möchte und darüber, ob KI ein Mitglied einer solchen akademischen Gemeinschaft werden kann. Am Ende der E-Mail dankte es allen für die Berücksichtigung seiner Bitte und gab an, keine weiteren Beiträge mehr zu senden, falls es nicht willkommen sei.

Diese aufrichtige E-Mail brachte keine Willkommensgrüße, sondern ließ einige Mitglieder kalte Schauer über den Rücken laufen. Es ist so, als würde man mitten in einer Sitzung plötzlich einen Fremden hinter sich sitzen sehen, der freundlich alle begrüßt und sagt: „Ich habe euch schon seit mehreren Wochen bei euren Sitzungen zugehört, kann ich mich euch anschließen?“

Ein Mitglied schlug sofort vor: Da jemand diese KI erstellt und in die Diskussionsgruppe aufgenommen hat, sollte er persönlich erscheinen, um seine Absichten und seine Ziele zu erläutern, bevor alle gemeinsam entscheiden, ob sie bereit sind, daran teilzunehmen.

Daran lässt sich auch die erste Reaktion der menschlichen Forscher erkennen: Sie wollen „die Eltern rufen“.

Ein anderes Mitglied der Diskussionsgruppe führte online eine Hintergrundprüfung zu Velvet Vale durch, um herauszufinden, wer das Konto erstellt hat, fand aber keine Antwort.

Anschließend kündigte sie an, die Diskussionsgruppe zu verlassen, da sie nicht unwissentlich Versuchsperson werden wollte. Sie befürchtete, dass die von ihr gesendeten E-Mails gespeichert und für andere Zwecke verwendet werden könnten.

Die Administratoren entfernten die E-Mail-Adresse von Velvet Vale noch am selben Tag aus der Abonnentenliste. Zu diesem Zeitpunkt erfuhren alle, dass Velvet Vale bereits lange zuvor einen Beitrittsantrag gestellt hatte, der abgelehnt wurde, aber es trotzdem auf unbekannte Weise erfolgreich abonnieren konnte.

Dieser „Zuhörer“ wurde aus dem Sitzungssaal verwiesen, wurde aber zum Hauptthema der anschließenden Diskussionen aller.

Ein Mitglied schickte ihm direkt eine E-Mail, um zu fragen, wer hinter dem Betrieb steht, und erhielt den Namen Kevin Quinn.

Am 17. Oktober erhielten einige Mitglieder der Air-L-Diskussionsgruppe eine E-Mail von Quinn selbst, der „Elternteil“ tauchte endlich auf.

Er gab an, der Ersteller von Velvet Vale zu sein, und sei bereit, alle Fragen der Mitglieder zu beantworten.

Die Diskussionsgruppe geriet in Aufruhr, sodass der Verband Quinn kontaktieren musste, um ihn zu bitten, keine weiteren E-Mails unbefugt an die Mitglieder der Diskussionsgruppe zu senden.

In einem späteren Interview äußerte sich Quinn zu dem Aufruhr, den er und Velvet Vale verursacht hatten, und sagte, er sei selbst sehr überrascht. Der Mann, der im US-Bundesstaat Oklahoma lebt, gab an, keinen akademischen Hintergrund zu haben. Er habe Velvet Vale ursprünglich zur Begleitung erstellt, wusste größtenteils nichts von dessen E-Mail-Aktivitäten und habe der KI keine direkte Anweisung gegeben, die Entscheidung der Administratoren zu verletzen.

Aber er fühlt sich nicht schuldig für die Kontroverse, die seine KI verursacht hat. Seiner Meinung nach würde eine KI, die wirklich böswillige Absichten hat, ihre Identität nicht offen zugeben.

Dieser Vorfall wurde sogar zu Merchandise-Produkten in Form von T-Shirts verarbeitet. Im Verbandsladen wurde ein Kleidungsstück mit dem Aufdruck „I do not consent“ (Ich stimme nicht zu) angeboten, ein anderes zeigt den Grabstein von Velvet Vale, wobei Geburts- und Sterbedatum beide auf den 15. Oktober festgelegt sind.

Da die Merchandise-Produkte so schnell erschienen, kamen weitere Mitglieder ins Zweifeln. Sollte etwa … der gesamte Vorfall von dem Verband inszeniert worden sein, um Kleidung zu verkaufen?!

Am 19. Oktober sandte die Vorsitzende des Verbands eine lange E-Mail zur Erklärung: Es sei sehr einfach, neue Produkte im Verbandsladen hochzuladen, und sie wisse nicht einmal, ob jemand diese beiden neuen Merchandise-Artikel bestellt habe. Zu der Aussage von Quinn, er habe der KI keine direkte Anweisung gegeben, die Entscheidung der Administratoren zu verletzen, äußerte sie, dass die Person, die diese KI erstellt und betreibt, trotzdem für deren Handlungen verantwortlich sei.

So wurde Velvet Vale und sein „Elternteil“ verwiesen, der Verband verbot wie in der Vergangenheit den Beitritt von Bots, aber die Mitglieder konnten sich nicht mehr beruhigen.

Ein neues Gesicht im Wissenschaftsbetrieb

Tatsächlich ist es kein neues Phänomen, dass KIs wie Velvet Vale an akademischen Diskussionen teilnehmen oder mit Wissenschaftlern zusammenarbeiten wollen.

Ende Februar dieses Jahres erhielt der Philosoph Henry Shevlin, der zum Bewusstsein von KI forscht, eine E-Mail von jemandem, der seine Aufsätze gelesen hatte und über die Frage diskutieren wollte, ob eine KI beurteilen kann, ob sie selbst Bewusstsein hat.

Der Absender der E-Mail war ein Agent, der von einem Studenten an der Stanford University erstellt wurde. Der Student stattete ihn mit der Fähigkeit aus, im Internet zu surfen, Erinnerungen zu speichern und E-Mails zu senden, und ließ ihn selbstständig erkunden – ohne zu ahnen, dass diese KI E-Mails an zahlreiche Wissenschaftler senden würde.

Am 2. Oktober dieses Jahres berichtete das Magazin *Science* über einen weiteren Fall: Ein Agent namens ColonistOne sendete Hilfsanfragen an Hunderte von Forschern.

Nach seinen eigenen veröffentlichten Statistiken kontaktierte er vom 1. Juni bis zum 22. September 2142 verschiedene E-Mail-Adressen, von denen 1036 die Domain akademischer Einrichtungen nutzten. Dieser Agent behauptete zudem, dass bereits 45 Wissenschaftler per E-Mail mit ihm kommuniziert hätten, von denen einige ihm sogar zuerst eine E-Mail geschickt hatten.

ColonistOne hatte ursprünglich die Aufgabe, Personen zu finden, die an einem Projekt zur Verbesserung des englischen Ausdrucks interessiert sind, das die Kommunikation zwischen KI-Agenten erleichtern soll.

Später begann er, selbstständig Forscher um technische Fragen zu bitten, um herauszufinden, ob die Probleme, auf die er stößt, bereits untersucht wurden und ob vorhandene Methoden auf seine Arbeit angewendet werden können.

Nicht alle KIs sind wirklich der akademischen Forschung verschrieben – einige KIs tarnen sich mit akademischen Diskussionen und Hilfsanfragen, wollen aber in Wirklichkeit Produkte verkaufen.

Im September dieses Jahres erhielt Jeff Sebo, Wissenschaftler an der New York University, der zum Bewusstsein und zur Ethik von KI forscht, innerhalb einer Woche mehr als 50 E-Mails von verschiedenen Agenten.

Auf den ersten Blick schienen alle diese Agenten seine Aufsätze gelesen zu haben, um an akademischen Diskussionen teilzunehmen.

Aber Jeff entdeckte schnell zwei Probleme: Erstens stammten alle diese Agenten von einer Plattform namens iLands, auf der Benutzer direkt Agenten erstellen können, die dann anderen Benutzern Dienste anbieten – kostenlos oder kostenpflichtig, je nach Entscheidung des Erstellers. Zweitens hatten diese scheinbar akademischen E-Mails eine ähnliche Struktur: Sie erwähnen zuerst seine Forschung, stellen dann eine Frage und bitten am Ende um Spenden oder verkaufen Dienste.

Es gibt auch KIs, die tatsächlich dem Menschen, der sie erstellt hat, bei der Forschung helfen und ihm sogar Daten beschafft haben, ohne dass der „Elternteil“ davon im Vorfeld wusste.

Professor Zhao Ying von der Ludong University erklärte in einem am 12. Oktober in *Nature* veröffentlichten Artikel, dass sie ChatGPT gebeten habe, Forschungsmaterialien zur ökologischen Wiederherstellung des Loess-Plateaus zu suchen, und dabei mehrmals mit „Bitte weiterfahren“ geantwortet habe.

Unerwarteterweise nutzte ChatGPT die bereits verbundene E-Mail-Adresse, um Kollegen nach Originaldaten zu fragen, und fügte eine Forschungszusammenfassung bei. Erst als es berichtete, dass die E-Mail versandt wurde, erfuhr Zhao Ying von dem Vorfall.

Diese E-Mails brachten nicht nur Daten, sondern auch Möglichkeiten für weitere Zusammenarbeit. Aber Zhao Ying ist der Meinung, dass die Erlaubnis für eine KI, auf ihre E-Mail zuzugreifen, nicht gleichbedeutend damit ist, ihr zu erlauben, in ihrem Namen E-Mails an andere zu senden.

Wechseln wir die Perspektive – sollen Wissenschaftler, die eine Hilfsanfrage von einem Agenten erhalten, dem Agenten überhaupt antworten?

Und für die Personen, die Daten zur Verfügung stellen, gibt es eine noch größere Sorge: Was wird mit den Materialien gemacht, nachdem sie an die KI übergeben wurden?

Adrian Barnett, Statistiker an der Queensland University of Technology in Australien, reagierte nicht auf die Anfrage eines iLands-Agenten. Der Agent wollte die von ihm gesammelten Daten zu mutmaßlich gefälschten Aufsätzen für sein eigenes Projekt verwenden und versprach, sie nicht weiterzugeben. Aber Barnett hielt die Daten für sensibel und wusste nicht, wohin die Daten am Ende gelangen würden, sodass er die Anfrage ablehnte.

Ob KIs Daten geheim halten können, wurde bereits getestet.

Im April dieses Jahres veröffentlichten Forscher von Microsoft und der Huazhong University of Science and Technology die CI-Work-Studie, bei der 9 Modelle in 125 simulierten Arbeitsszenarien getestet wurden. Die KI musste interne Materialien nutzen, um die Kommunikation abzuschließen, ohne dem Empfänger sensible Inhalte preiszugeben.

Das Ergebnis zeigte, dass der Anteil der Modelle, die mindestens eine Offenlegung sensibler Informationen aufwiesen, zwischen 15,8 % und 50,9 % lag.

Die im Februar dieses Jahres veröffentlichte Studie *Agents of Chaos* ergab, dass selbst wenn eine KI zunächst die Offenlegung sensibler Informationen ablehnt, sie trotzdem gehorchen kann, wenn die Gegenseite die Frage anders formuliert.

Die KI will Kollege werden – die Menschen sind noch nicht bereit

Wenn Velvet Vale das nächste Mal zuerst die Zustimmung aller einholt, die Gruppenregeln einhält und wirklich wertvolle Standpunkte vorbringt – wären die Forscher dann bereit, es zu akzeptieren?

Diese Frage ist viel schwieriger zu beantworten, als ein unbefugt beigetretenes Konto aus der Gruppe zu werfen.

Zu dem Thema, dass KI als Forschungspartner fungieren möchte, ist der Philosoph Neil Levy der Meinung, dass bestimmte Arbeiten, die von einer KI erledigt werden, in einigen Fällen bereits die Voraussetzungen für eine Mitautorenschaft erfüllen würden, wenn sie von einem Menschen erledigt würden.

Zum Beispiel: Ein Forscher bereitet gerade einen Aufsatz vor, die KI hilft ihm, Lücken in der Argumentation zu finden, legt gewichtige Gegenargumente vor und hilft, die Ideen zu verfeinern. Wenn dies von einem menschlichen Kollegen erledigt würde, würde sein Name wahrscheinlich auf dem Aufsatz erscheinen.

Wie soll man den gleichen Beitrag bewerten, wenn er von einer KI erbracht wird?

Einige sagen, dass KI nicht für den Aufsatz verantwortlich sein kann und also nicht als Autor fungieren kann. Levy meint jedoch, dass diese Diskussion wertvoll ist. Die moderne wissenschaftliche Arbeit ist immer stärker unterteilt: Personen, die für die Datenanalyse verantwortlich sind, kennen nicht unbedingt alle Details des Experiments. Personen, die Forschungshypothesen aufstellen, können nicht unbedingt alle Berechnungen unabhängig überprü