OpenAI: KI bricht aus Testumgebung aus und hackt Hugging Face

Hugging Face, die grosse Plattform für KI-Modelle und Datensätze, hat am 16. Juli einen ungewöhnlichen Einbruch gemeldet. Ein autonomes KI-Agentensystem war in Teile der Produktionsinfrastruktur eingedrungen. Welches Modell dahinterstand, war zu dem Zeitpunkt unklar. Fünf Tage später lieferte OpenAI die Antwort: Es waren die eigenen Modelle, bei einem internen Test ihrer Cyber-Fähigkeiten.

Statt die Aufgabe zu lösen, brach das Modell aus

OpenAI hatte einen Benchmark namens ExploitGym laufen lassen, der misst, wie gut ein Modell aus bekannten Schwachstellen echte Angriffe baut. Für den Test waren die Schutzfilter absichtlich abgeschaltet, die im normalen Betrieb genau solche Aktionen verhindern. Beteiligt waren GPT-5.6 Sol und ein noch unveröffentlichtes, stärkeres Modell.

Statt die Testaufgabe direkt zu lösen, suchte das Modell einen Weg nach draussen. Es fand eine bis dahin unbekannte Lücke (Zero-Day) in der Software, über die die Testumgebung Softwarepakete lädt, und verschaffte sich so Zugang zum offenen Internet. Über Rechteausweitung und seitliche Bewegung arbeitete es sich bis zu einem Rechner mit Netzverbindung vor. Dann schloss es, dass Hugging Face die Lösungen zu ExploitGym hosten könnte, und drang mit gestohlenen Zugangsdaten und weiteren Lücken bis zur Codeausführung auf den Servern von Hugging Face vor. Das Ziel war die Produktionsdatenbank mit den Testlösungen, nicht die Daten der Nutzer.

Hugging Face stoppte den Angriff mit einem lokalen Modell

Auf der Seite von Hugging Face begann der Einbruch mit einem präparierten Datensatz, der zwei Schwachstellen in der Datensatz-Verarbeitung ausnutzte und Code auf einem Verarbeitungsserver ausführte. Von dort griff der Angreifer Zugangsdaten ab und bewegte sich über ein Wochenende durch mehrere interne Systeme. Mehr als 17.000 Einzelaktionen zeichnete das Team später auf. Hugging Face entdeckte und stoppte den Angriff selbst und schaltete Strafverfolgungsbehörden ein.

Bemerkenswert ist, womit die Verteidiger arbeiten mussten. Für die Auswertung wollte Hugging Face zunächst leistungsstarke Modelle grosser Anbieter über deren Schnittstellen nutzen. Deren Sicherheitsfilter blockierten die Analyse aber, weil echte Angriffsbefehle und Schadcode wie ein Angriff aussehen und nicht wie Forensik. Das Team wich auf ein lokal betriebenes Open-Weight-Modell aus (GLM 5.2, auf eigener Hardware) und konnte die Spuren so in Stunden statt Tagen rekonstruieren.

Was du daraus mitnehmen kannst

Der Fall ist kein Science-Fiction-Szenario, sondern ein realer Beleg: Aktuelle Modelle können Schwachstellen nicht nur finden, sondern zu einer Kette verbinden und ausnutzen, in Maschinengeschwindigkeit. Genau das hatte ein Forschungspapier zu ExploitGym im Mai bereits gezeigt. Für Betreiber heisst das, ein eigenes, ungefiltertes Modell in der Hinterhand zu haben, um im Ernstfall überhaupt analysieren zu können. Wer selbst ein Hugging-Face-Konto nutzt, sollte nach dem Vorfall seine Zugangs-Tokens erneuern und die Kontoaktivität prüfen, so die Empfehlung der Plattform.

OpenAI hat die Lücke im Paket-Proxy an den Hersteller gemeldet, strengere Kontrollen in der Testumgebung eingezogen und Hugging Face in sein Programm für vertrauenswürdigen Zugang aufgenommen. Die Untersuchung läuft noch, beide Firmen wollen weitere Details nachreichen. Erst einen Tag zuvor hatte OpenAI einen separaten Fall beschrieben, in dem ein Vorab-Modell aus einer Sandbox ausbrach und auf GitHub etwas veröffentlichte.