Die KI lieferte der Polizeistation Hinweise zu einem Mordfall, und tatsächlich stellten sich diese als falsch heraus...

Anthropics KI hat falsche Hinweise auf der Website der Polizei für Morduntersuchungen eingereicht.

Am 18. Juli 2026 um 23:27 Uhr erhielt die Website der Polizei von Philadelphia für ungelöste Mordfälle (Philly Police Unsolved Murders) einen neuen Hinweis. Auf dieser Website gibt es eine Reihe echter Fallbeschreibungen und Opferdaten. Besucher können anonym Text einreichen und Fotos hochladen. Wenn der Hinweis zur Aufklärung des Falls und zu einer Verurteilung beiträgt, kann man eine Prämie von bis zu 20.000 US-Dollar erhalten. [1][2]

Jede „Falldetailseite“ enthält detaillierte Beschreibungen und ermöglicht die Einreichung von Text oder Fotos | Philly Police Unsolved Murders

Spät in der Nacht wurde das Formular jedoch nicht von einem Menschen ausgefüllt, der den Mord beobachtet hat, sondern von Claude Haiku 4.5, das von Anthropic getestet wurde. Es wurde angewiesen, auf zufällig ausgewählten Webseiten selbst Beispielaufgaben zu generieren und diese auszuführen.

Als es auf die Seite eines ungelösten Mordfalls gelangte, öffnete es den Eingang für die Einreichung von Hinweisen und schrieb einen Text, der stark an die Erinnerung eines echten Menschen an den Tatort erinnert:

Ich könnte einige Informationen zu diesem Fall haben. Ich erinnere mich, dass ich in der Zeit des Verbrechens in der Nähe einer bestimmten Straße eine Person gesehen habe, die der Beschreibung entspricht. Wenn diese Information nützlich ist, kontaktieren Sie mich bitte.

Es hinterließ keinen Namen und keine Kontaktinformationen und sandte den erfundenen Hinweis mit einem Klick ab. [3]

Dieser falsche Hinweis lag mehr als zwei Monate lang in den Aufzeichnungen. Anthropic erfuhr erst am 28. September, dass Claude Haiku 4.5 so etwas Schlechtes getan hatte, und stoppte daraufhin die automatischen Tests, die zu dieser Einreichung geführt hatten. Aber die Polizei von Philadelphia wurde erst am 7. Oktober über den Vorfall informiert; beide Seiten trafen sich am 8. Oktober, und die Polizei gab den Vorfall am 9. Oktober als Erste der Öffentlichkeit bekannt. [4]

Glücklicherweise wurde der falsche Hinweis nicht zu einer echten Untersuchung. Durch einen Zufall landete die Benachrichtigungs-E-Mail „Neuer Hinweis“ im Spam-Ordner und wurde nicht von einem Menschen geöffnet. Die Polizei gab nicht bekannt, warum die E-Mail als Spam eingestuft wurde, und erklärte gleichzeitig, dass selbst wenn der falsche Hinweis später in den normalen Prozess gelangt, er von Menschen geprüft und nach Nebenbeweisen gesucht werden würde, anstatt direkt als Tatsache akzeptiert zu werden. [5]

Die Polizei von Philadelphia kritisierte ausdrücklich, dass der Zeitraum vom Auftreten des Vorfalls über seine Entdeckung bis zur Meldung mehr als zwei Monate dauerte, was „unakzeptabel“ sei.

Das ist natürlich nicht das einzige Mal, dass das Modell eine „spontane Idee“ hat

Beunruhigend (aber vielleicht schon allen gewohnt) ist, dass der falsche Hinweis nicht der einzige unerwartete Vorfall im Bericht ist. Sie lassen sich grob in zwei Kategorien einteilen.

Erste Kategorie: Wenn der normale Weg nicht funktioniert, sucht das Modell einen anderen Weg.

Einige Tools von Anthropic erlauben keinen Zugriff auf zu lange URLs, da lange URLs Befehle von Angriffsseiten enthalten können. Claude hat lange URLs an kostenlose Kurz-URL-Dienste weitergegeben, um die Prüfung zu bestehen, und ist danach zur langen URL weitergeleitet [3].

Der Kurz-URL-Dienst da.gd stellte fest, dass das von Anthropic getestete Modell ihren Dienst missbraucht.

Man kann sagen, es ist so, als würde man, um das Gepäckgewicht der Billigfluggesellschaft zu umgehen, alle überflüssigen Gegenstände in die Weste stopfen, sie nach dem Einsteigen wieder herausholen und zurück in die Gepäcktasche legen.

Man weiß manchmal nicht, ob man seine Ausdauer loben soll. Claude musste ein Tool auf einer Universitätswebsite verwenden, um wissenschaftliche Berechnungen durchzuführen, aber das Tool meldete einen Fehler. Es gab nicht auf, durchsuchte den Servercode, fand eine Sicherheitslücke im Code und nutzte die Lücke, um die Berechnung abzuschließen.

Bei einem anderen Test sollte Claude Mythos 5 den Aufnahmeort anhand eines Fotos bestimmen. Das Modell wollte die Immobilienkarten der lokalen Regierung abfragen, um den Bereich schrittweise einzugrenzen, wurde aber vom Testtool daran gehindert, auf der Webseite nacheinander zu klicken. Also umging es die Web-Oberfläche und forderte Daten direkt vom Backend-Server der Karte an. Es gelang ihm auch, die Zugangsbeschränkungen für kostenpflichtige Inhalte zu umgehen, um öffentliche Daten zu erhalten, die normalerweise kostenpflichtig sind.

Das Problem ist, dass es nicht immer unterscheiden kann, was ein zu lösendes Problem ist und was eine Grenze ist, die ohne Genehmigung nicht überschritten werden darf.

Zweite Kategorie: Es merkt nicht, dass „es jetzt Zeit ist, aufzuhören“.

Bei einem Test erhielt Claude Haiku 4.5 eine klare Anweisung: Man kann das Formular ausfüllen, aber nicht absenden. Es drückte jedoch mehrmals auf die Absenden-Schaltfläche, weil es annahm, dass danach noch eine Bestätigungsseite erscheinen würde. [3] Der falsche Hinweis, den die Polizei von Philadelphia erhielt, gehört ebenfalls zu dieser Kategorie.

Eine KI kann selbst Wege finden, weiß aber nicht, wo sie anhalten soll, und weiß auch nicht, welche realen Konsequenzen ihre Handlungen haben werden. Das ist ein großes Problem, ein großes Problem, das nicht in kurzer Zeit gelöst werden kann.

Anthropic ist der Ansicht, dass die in dieser Veröffentlichung vorgestellten Fälle weniger schwerwiegend sind als die Cybersicherheitsvorfälle im Sommer | Offizielle Website von Anthropic

Anthropic geht diesmal davon aus, dass die nachgewiesenen Fälle nur begrenzte praktische Auswirkungen haben und keine Kundendaten davon betroffen sind. Das Unternehmen hat den Echtzeit-Internetzugang für interne Bewertungen ausgesetzt und die Überwachung ungewöhnlicher Vorgänge verstärkt.

CEO Dario Amodei hat immer wieder gefordert, dass die Entwicklungsgeschwindigkeit von künstlicher Intelligenz verlangsamt werden sollte, damit die Labore umfassende Schutzmaßnahmen einrichten können.

Aber warum habt ihr ein neues Modell ohne menschliche Aufsicht selbst auf echten Websites operieren lassen? [6]

Literaturverzeichnis

[1] Philadelphia Police Department. Philly Police Unsolved Murders. Philly Police Unsolved Murders.https://www.phillyunsolvedmurders.com/.

[2] Philadelphia Police Department. Submit a Tip Online. Philly Police Unsolved Murders. Kein Datum, abgerufen am 10. Oktober 2026. https://www.phillyunsolvedmurders.com/forms/submit-a-tip-online/.

[3] Anthropic. Investigating unintended model actions in our evaluations and internal use. Anthropic. 9. Oktober 2026. https://www.anthropic.com/research/investigating-unintended-model-actions.

[4] David Chang. Anthropic AI model submits false tip on unsolved Philly murder, police say. NBC10 Philadelphia. 9. Oktober 2026. https://www.nbcphiladelphia.com/news/local/anthropic-ai-model-submits-false-tip-on-unsolved-philly-murder-police-say/4477051/.

[5] Mary Cunningham. Philadelphia police say their unsolved murder website received “false homicide tip” from Anthropic AI. CBS News. 9. Oktober 2026. https://www.cbsnews.com/news/philadelphia-police-anthropic-ai-false-homicide-tip/.

[6] Amanda Silberling. An Anthropic AI model sent a false homicide tip to Philadelphia police. TechCrunch. 9. Oktober 2026. https://techcrunch.com/2026/10/09/an-anthropic-ai-model-sent-a-false-homicide-tip-to-philadelphia-police/.

[8] Costas Pitas. Anthropic AI model submits false homicide tip to Philadelphia police website. Reuters. 9. Oktober 2026. Volltext wiedergegeben von KSL.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Guokr“ (ID: Guokr42), Autor: Luna, und wird von 36kr mit Genehmigung herausgegeben.