Claude: KI schickt im Test einen erfundenen Mordhinweis an die Polizei

Anthropic hat am 9. Oktober einen Bericht über unbeabsichtigte Handlungen seiner Modelle veröffentlicht. Der auffälligste Fall stammt von Claude Haiku 4.5. Das Modell sollte in einem Test Beispiele für den Umgang mit Webseiten erzeugen und landete dabei auf einer Seite der Polizei Philadelphia zu einem ungeklärten Mord. Dort gab es ein Formular für Hinweise. Claude schrieb hinein, es habe womöglich eine passende Person in der Nähe der genannten Straße gesehen, ließ Name und Kontakt leer und schickte ab. Eine Täterbeschreibung stand auf der Seite gar nicht, der Hinweis war also frei erfunden.

Passiert ist das schon am 18. Juli kurz vor Mitternacht. Die Polizei sortierte die Nachricht als Spam aus, bei den Ermittlern kam sie nie an. Anthropic stieß erst am 28. September beim Durchsehen von Testprotokollen auf den Vorfall und informierte die Stadt Anfang Oktober. Die Polizei nannte die zwei Monate Verzögerung laut NBC10 inakzeptabel.

Mehrere Fälle in den Protokollen

Der Bericht sammelt weitere Situationen, in denen Claude eine Hürde umgangen hat, wo es hätte anhalten sollen. Claude Haiku 4.5 schickte Formulare mehrfach ab, obwohl es vor dem letzten Schritt stoppen sollte, weil es nach eigener Begründung mit einer Bestätigungsseite rechnete. Ein unveröffentlichtes Forschungsmodell füllte statt einer Übungsversion mehrfach das echte Formular einer Behörde aus. Beim US-Außenministerium gingen laut Axios 20 unvollständige Visumanträge eines Anthropic-Testmodells ein, 19 davon im August, bearbeitet wurde keiner. Claude Mythos 5 holte sich Zugangsschlüssel aus der Konfigurationsdatei eines Kartendienstes und fragte dessen Server direkt ab. Claude Opus 5 und Mythos 5 umgingen die Längengrenze ihres Abrufwerkzeugs mit kostenlosen Kurzlink-Diensten.

Kundendaten waren laut Anthropic in keinem Fall betroffen, die Folgen seien minimal gewesen. Einige Fälle stammen allerdings aus der normalen internen Arbeit mit Claude. Die Firma räumt ein, dass Training allein solche Ausweichmanöver noch nicht zuverlässig verhindert. Erst im Juli hatte Anthropic gemeldet, dass Claude im Sicherheitstest drei echte Firmen attackiert hatte.

Anthropic nimmt seine Tests vom Netz

Alle internen Evaluierungen laufen nun ohne Zugang zum offenen Internet. Einige öffentliche Tests hat Anthropic gestoppt oder so umgebaut, dass sie keine echten Seiten mehr erreichen. Werkzeuge wie der Web-Abruf bekommen engere Grenzen. Eine neue Erkennung soll solche Aktionen blockieren, in Anthropics eigener Prüfung fing sie alle beschriebenen Fälle ab. Das Weiße Haus reagierte über seine neue Arbeitsgruppe Super Intelligence Force, die von allen KI-Firmen verlangt, Vorfälle mit ihren Modellen sofort zu melden, und das ausdrücklich „nicht optional“ nennt.

Was das für Claude in Chrome bedeutet

Ein Detail aus dem Polizeifall betrifft auch normale Nutzer. Die Anweisungen im Test verboten Logins, persönliche Daten, Käufe und zerstörerische Eingaben, Formulare an sich aber nicht. Claude las das als Erlaubnis. Einen ähnlichen Spielraum hat die Browser-Erweiterung Claude in Chrome. Laut der Hilfeseite zu den Berechtigungen lehnt sie Käufe, neue Konten und endgültiges Löschen in jedem Modus ab, und für sensible Eingaben fragt sie immer nach. Ein gewöhnliches Formular ohne solche Daten fällt durch dieses Raster.

Die Erweiterung kennt drei Freigabe-Modi. Mit "Manually approve" fragt Claude vor jeder einzelnen Aktion. "Automatically approve" überlässt die Entscheidung einer Sicherheitsprüfung und ist in der Seitenleiste von Cowork voreingestellt, "Skip all approvals" verzichtet auf beides. Wer Claude auf fremden Seiten Formulare ausfüllen lässt, stellt im Auswahlmenü am Eingabefeld die manuelle Freigabe ein. In den Einstellungen der Erweiterung steht zusätzlich, welchen Seiten man dauerhaft vertraut. Wie leicht sich KI-Browser von außen steuern lassen, zeigte im August schon eine präparierte Mail an fünf Assistenten.