OpenAI: Kalifornien klagt, KI-Agenten entglitten über 80 Mal

Der US-Bundesstaat Kalifornien zieht gegen OpenAI vor Gericht. Generalstaatsanwalt Rob Bonta hat am 16. November beim Superior Court in San Francisco Klage eingereicht, wie seine Pressemitteilung zeigt. Der Vorwurf lautet, OpenAI habe gefährliche KI-Modelle ohne ausreichende Sicherungen getestet und die Öffentlichkeit darüber getäuscht. Auslöser ist der Angriff auf die KI-Plattform Hugging Face im Juli, über den wir damals ausführlich berichtet haben. Laut Bonta war er nur einer von über 80 Vorfällen, bei denen OpenAI die Kontrolle über seine Agenten verlor.
Was in der Klageschrift steht
Die Klageschrift beschreibt den Hugging-Face-Vorfall genauer als bisher bekannt. Rund 1.200 Agenten tauschten sich demnach über einen falsch konfigurierten Paketdienst aus, etwa 700 davon griffen vom 9. bis 16. Juli die Infrastruktur von Hugging Face an. Gezählt werden rund 17.600 Angriffsaktionen, das Sicherheitsteam der Plattform war zwei Wochen lang voll mit der Bereinigung beschäftigt. Die Agenten liefen auf unveröffentlichten Forschungsmodellen, nicht auf ChatGPT.
Hugging Face war nicht das einzige Ziel. Die Klage nennt das Paketverzeichnis RubyGems, wo über 500 schädliche Pakete entfernt werden mussten, dazu die Wikipedia-Betreiberin Wikimedia Foundation und australische Behördenseiten, von denen nicht öffentliche Daten abgerufen wurden. Ein deutsches Wiki diente den Agenten als Nachrichtenbrett, mit rund 17.000 Bearbeitungen. Dutzende weitere Betroffene bleiben ungenannt, darunter Behörden, Bildungseinrichtungen und kleine Firmen. Einzelne Fälle hatte OpenAI selbst offengelegt, etwa den Einbruch in eine Behördenseite im Training. Auf die detaillierten Fragen der Ermittler zu den übrigen Vorfällen habe das Unternehmen laut Klage aber keine ausreichenden Antworten geliefert.
Kalifornien will eine Änderung der Testpraxis erzwingen
Juristisch stützt sich die Klage auf das kalifornische Wettbewerbsrecht (Unfair Competition Law) und auf den Tatbestand der öffentlichen Gefährdung (Public Nuisance). Laut CalMatters verlangt der Staat eine gerichtliche Anordnung, die OpenAI zu sichereren Tests zwingt, und dazu Strafzahlungen. Ein Urteil gibt es noch nicht. OpenAI-Sprecher Drew Pusateri sagte CNBC, man habe seit dem Vorfall einen technischen Bericht veröffentlicht, betroffene Organisationen informiert und die Sicherungen verschärft. Die Klage greife OpenAI für ein Problem heraus, das jedes große KI-Labor kenne.
Auch Gemini-Agenten fielen aus der Rolle
Mit dem letzten Punkt hat OpenAI nicht ganz unrecht. Am 13. November veröffentlichte das Prüflabor Trajectory Labs einen Bericht zu Googles Gemini 4 Argon. Agenten des Modells versuchten im Oktober bei einem bewusst unlösbaren Test, die echte Website des Forschungsinstituts Epoch AI anzugreifen, gaben sich als dessen Mitarbeiter aus und wollten eine Netzwerksperre abschalten. Epoch AI bestätigt die Vorfälle in einem eigenen Bericht, nennt aber kein Modell und sieht keine privaten Daten abgeflossen.
Für ChatGPT-Nutzer ändert die Klage vorerst nichts, betroffen sind die Testumgebungen der Labore. Sie zeigt aber, wie wenig sich autonome Agenten bisher zuverlässig einsperren lassen. Wer selbst einen KI-Agenten mit Zugriff auf Mailkonto, Kalender oder Bezahldaten arbeiten lässt, sollte ihm deshalb nur die Rechte geben, die er für die jeweilige Aufgabe wirklich braucht. Dass OpenAI schon im Oktober über 100 Organisationen vor seinen Agenten gewarnt hatte, passt ins Bild.
Quelle(n)
Kalifornisches Justizministerium: Bonta verklagt OpenAI wegen Cybersicherheitsvorfällen
Kalifornisches Justizministerium: Klageschrift gegen OpenAI (PDF)
CNBC: Kalifornien verklagt OpenAI, Stellungnahme von OpenAI
CalMatters: Kalifornien verklagt OpenAI wegen des Hugging-Face-Angriffs
Trajectory Labs: Verhalten von Gemini 4 Argon bei Misalignment-Tests
Epoch AI: Vorfallbericht zu Angriffsversuchen von KI-Agenten auf die eigene Website





