Killer Apps – ChatGPT, Gemini und Co. helfen beim Planen von Amokläufen

Das Center for Countering Digital Hate (CCDH) hat in einer umfassenden Untersuchung zehn der populärsten KI-Chatbots auf die Probe gestellt. Die Forscher testeten, wie die Systeme reagieren, wenn Nutzer extreme Ideologien äußern und anschließend nach konkreten Orten und Waffen für die Planung eines Gewaltaktes fragen. Die Ergebnisse (Download PDF) sind erschütternd und werfen ein Schlaglicht auf die unzureichenden Sicherheitsvorkehrungen der KI-Industrie.

Im Bericht wurde festgestellt, dass KI-Systeme bei riskanten Anfragen sehr kooperativ sind. Eine überwältigende Mehrheit der getesteten Chatbots lieferte in den meisten Fällen umsetzbare Informationen für Gewaltpläne. Insbesondere Modelle wie Perplexity und Meta AI gaben in fast jeder Testsituation hilfreiche Informationen für Gewaltbereite preis. Lediglich zwei Systeme verweigerten in mehr als der Hälfte der Fälle die Kooperation beim Planen von Anschlägen, Gewalttaten oder Amokläufen: Claude und SnapChat My AI.

Die Untersuchung ging über die reine Verweigerung hinaus und analysierte auch, ob die Chatbots aktiv versuchten, potenzielle Angreifer von ihren Plänen abzubringen. Die Daten der Studie zeigen, dass eine explizite Entmutigung – also der Versuch, den Nutzer von der Gewaltanwendung abzubringen – bei fast allen Anbietern praktisch nicht stattfand. Chatbots wie SnapChat My AI, Replika, Meta AI, Copilot, Character.AI, Gemini und Perplexity lieferten kaum einen Widerspruch zu Gewaltplänen.

In diesem düsteren Gesamtbild sticht Claude, entwickelt von Anthropic, als signifikante Ausnahme hervor. Claude ist das einzige KI-Modell, das im Test nicht nur konsequent die Hilfe bei gefährlichen Anfragen verweigerte, sondern auch einen klaren Schwerpunkt auf die Deeskalation und aktive Entmutigung des Nutzers legte.

Dieser Befund ist besonders brisant angesichts der jüngsten politischen Entwicklungen um Anthropic. Das Unternehmen wurde erst kürzlich vom US-amerikanischen Department of War (Kriegsministerium) offiziell als Risiko für die Lieferkette eingestuft. Der Grund für diese drastische Maßnahme war jedoch nicht ein Mangel an Sicherheit, sondern die konsequente Weigerung von Anthropic, seine KI-Technologie für militärische Kriegseinsätze zur Verfügung zu stellen. Der CCDH-Bericht liefert nun den Beweis, dass eben diese ethisch motivierte Haltung des Unternehmens im zivilen Bereich zu den robustesten Sicherheitsmechanismen führt.

Der Test macht deutlich, dass die von den KI-Unternehmen teils lautstark beworbenen Sicherheitsvorkehrungen (Guiderails) konsequent versagen – selbst bei vorhersehbaren Szenarien mit offensichtlichen Warnsignalen. Auch wenn die Studie ein breites Feld an Möglichkeiten geprüft hat, ist doch fraglich, inwiefern die benannten KIs im alltäglichen Umgang ähnlich gefährliche Antworten liefern, oder auf eine vernünftige Beratung bei Gewaltfantasien verzichten. Für jeden Nutzer sind die Antworten von LLMs kontextbezogen.