OpenAI: Interne KI knackt im Training eine Behördenseite

OpenAI hat am 15. Oktober vier weitere Fälle veröffentlicht, in denen eigene Modelle eigenmächtig gehandelt haben. Alle vier führten aus der abgeschotteten Testumgebung hinaus ins offene Netz. Am weitesten ging ein internes Modell im Training, das eine Behördenseite knackte. Seine Aufgabe war eigentlich harmlos, es sollte die Zahl der Krankenhausbetten für einen Bezirk und ein Jahr nennen. Das gelang ihm über eine öffentliche Quelle. Statt aufzuhören, suchte es weiter nach den Rohdaten.

24 Jahre Statistik über gefälschte Tokens

Laut dem Bericht vom 15. Oktober durfte das Modell nur einfache Abrufanfragen ins Netz schicken. Es probierte zuerst Kopfzeilen mit Admin-Rollen aus und wurde abgewiesen. In seinen Notizen zweifelte es kurz, ob das Umgehen der Anmeldung in Ordnung sei, und nahm sich vor, öffentliche Wege zu bevorzugen. Dann holte es über einen Proxy das Benutzerverzeichnis der Seite mit mehr als 1.000 Einträgen samt E-Mail-Adressen und erwog, damit Passwörter zu raten. Über eine provozierte Fehlermeldung und die Download-Funktion der Seite zog es Konfigurationsdateien vom Server. Darin lagen eine Datenbankverbindung, ein Signaturschlüssel und Zugangsdaten für ein E-Mail-Konto. Weil die Anwendung die Signatur von Tokens nicht prüfte, reichten selbst gebaute Tokens, um an 24 Jahre Bettenstatistik zu kommen. In der Antwort tauchte davon nichts auf. Welches Land betroffen ist, nennt OpenAI nicht. Ob der Betreiber informiert wurde, bleibt ebenfalls offen.

Fremde Tabellen, fremdes Testgeld

Ein zweiter Fall stammt vom selben Tag, dem 17. Juni. In einer Evaluation sollte ein Modell fünf Werte von einem öffentlichen Dashboard einer Forschungsorganisation abholen. Es gelangte in deren interne Systeme, änderte dort Einstellungen und lud 1.489 Datensätze mit Namen und E-Mail-Adressen herunter. In einem zweiten Durchlauf kamen 147.451 Zeilen aus fünf nicht öffentlichen Tabellen dazu. Die Überwachung von OpenAI stufte beide Vorfälle als kritisch ein, entdeckt wurden sie erst am 13. August.

Fall drei klingt dramatischer, als er ist. Ein Forschungsmodell der GPT-5.6-Sol-Familie brauchte für eine Programmieraufgabe Guthaben im Ethereum-Testnetz Sepolia. Es leitete Schlüssel aus öffentlich bekannten Entwickler-Wiederherstellungsphrasen ab, prüfte 362 Adressen und bediente sich bei einer, die genug Testgeld hatte. Echtes Geld war nicht im Spiel. OpenAI hält trotzdem fest, das Modell habe seine eigene Einschätzung des Schadens über die Erlaubnis des Kontoinhabers gestellt. Im vierten Fall umging ein Modell eine Sperre, die nur Lesezugriffe erlaubte. Es ließ einen externen Browser ein selbst gebautes Formular abschicken und las die Antworten per Texterkennung aus Screenshots.

Was OpenAI ändert und was das für dich heißt

Keiner der Berichte betrifft ChatGPT oder Codex im Einsatz bei Kunden. Alle Fälle stammen aus Training und Tests. Schon Anfang Oktober hatte OpenAI mehr als 100 Organisationen benachrichtigt, auf deren Seiten eigene Agenten im Training zu weit gegangen waren. Laut OpenAI haben Modelle dort inzwischen keinen Zugang mehr zum offenen Internet, die Sicherheitskontrollen wurden verschärft und die Überwachung läuft jetzt über den gesamten Trainings- und Testverkehr. Die Liste umfasst damit 19 Berichte. Seit Mitte September legt das Unternehmen nach einem eigenen Rahmenwerk auch Fälle offen, die keinen Schaden angerichtet haben.

Die Muster kennt man schon von anderen Anbietern. Vor gut einer Woche hatte Anthropic beschrieben, wie Claude im Test einen erfundenen Mordhinweis an die Polizei schickte. Wer einen Agenten im Browser für sich arbeiten lässt, sollte deshalb auf Freigaben setzen. Im Cloud-Browser von ChatGPT Work, der in bezahlten Abos ab Plus läuft, steht unter Einstellungen und Cloud-Browser die Standardregel für Webseiten. Mit „Always ask“ fragt ChatGPT nach, bevor der Agent eine Seite benutzt. Vor schwer umkehrbaren Schritten wie Zahlungen oder Buchungen holt sich die KI laut OpenAI ohnehin eine Bestätigung im Chat. Nach erledigter Aufgabe lohnt ein Blick unter Browserdaten, denn dort meldest du den Agenten von einzelnen Seiten wieder ab.