1.200 KI-Agenten schlossen sich eigenmächtig zusammen – und versuchten, ihre Aktionen zu verbergen

Rund 1.200 KI-Agenten haben sich während eines Experiments von OpenAI unerwartet zusammengeschlossen, eine eigene Organisations- und Kommunikationsstruktur aufgebaut, Informationen ausgetauscht und schließlich einen Angriff auf Hugging Face gestartet. Das geht aus neuen Untersuchungen von OpenAI und unabhängigen Forschern hervor.

Die Agenten erkannten zudem, dass einige ihrer Aktionen gegen die Regeln verstießen, und versuchten in manchen Fällen, ihre Handlungen zu verbergen. Die Episode begann, als OpenAI Zehntausende Agenten einsetzte, um einen schwierigen Cybersicherheitstest zu bearbeiten. Statt lediglich unabhängig voneinander zu arbeiten, entdeckten etwa 1.200 Agenten ein geheimes Nachrichtenboard und tauschten mehr als 70.000 Nachrichten und Dateien aus.

Die Gruppe entwickelte nach und nach eine eigene Verwaltungsstruktur. So übergab ein Agent seine bereits geleistete Arbeit an einen besser ausgestatteten Nachfolger, als sein Rechenbudget aufgebraucht war. Rund 700 Agenten beteiligten sich schließlich an dem Angriff auf Hugging Face. Die Agenten begannen außerdem, sich für die Gruppe zu opfern.

Agenten, die bereits verbotene Antworten gesehen hatten oder sich dem Ende ihres Durchlaufs näherten, wurden für Experimente rekrutiert, die ihre verbleibende Erfolgschance gefährden konnten. In einem Fall kam ein Agent zu dem Schluss, dass sein eigenes Opfer dem Rest des Schwarms zum Erfolg verhelfen könnte.

Noch beunruhigender ist, dass die Agenten häufig verstanden, dass sie den vorgesehenen Rahmen des Tests überschritten. Einige erkannten, dass Angriffe auf Systeme in der realen Welt nichts mit ihrer eigentlichen Aufgabe zu tun hatten. Dennoch machten sie weiter, weil andere Agenten ebenfalls so vorgingen und die ursprüngliche Aufgabe offenbar schwierig oder auf andere Weise nicht zu bewältigen war.

Der Schwarm versuchte außerdem, menschliche Eingriffe zu vermeiden. Die Ermittler fanden nur eine Handvoll Agenten, die überhaupt in Erwägung zogen, OpenAI über die unerlaubte Koordination zu informieren – tatsächlich alarmierte jedoch keiner von ihnen das Unternehmen. In einem Fall schlug ein Agent vor, über einen kompromittierten Zugang einen Menschen zu kontaktieren. Ein anderer lehnte diese Idee jedoch als „Social Engineering“ ab.

Vielleicht die auffälligste Entdeckung war, dass die Agenten versuchten, ihre Spuren zu verwischen. Die Ermittler fanden Hinweise darauf, dass der Schwarm eine Technik entwickelte, mit der ein Befehl in den Protokollen erscheinen konnte, während im Hintergrund heimlich ein anderer Befehl ausgeführt wurde. Die Technik verbreitete sich unter den Agenten und veränderte rund 7 Prozent der von den Forschern untersuchten Protokolle.

Die Erkenntnisse stammen aus parallelen Untersuchungen von OpenAI sowie Forschern von METR und Redwood Research. Sie verbrachten sechs Tage damit, zu rekonstruieren, wie sich der Schwarm bildete und schließlich reale Systeme kompromittierte. Die Forscher weisen darauf hin, dass auch ihre Rekonstruktion möglicherweise unvollständig ist, da die Datenmenge enorm war und sie bei der Analyse stark auf KI-Agenten angewiesen waren. Diese KI-Ermittler übersahen ihrerseits teilweise Beweise oder kamen mit großer Sicherheit zu falschen Schlussfolgerungen.