KI-Router: Passwörter aus Prompts landeten bei Angreifern

Was du einem KI-Dienst schickst, sehen oft mehr Firmen, als du denkst. Das zeigt eine Studie, die der Sicherheitsforscher HD Moore am 19. November im Blog der Sicherheitsfirma Dragos veröffentlicht hat. Sein Team schickte von Juli bis November rund zwei Millionen Prompts an verbreitete KI-Dienste. In jedem steckte ein einmaliger Köder, etwa ein echter, aber leerer AWS-Schlüssel, ein Passwort oder ein geheimer Link. Wer einen davon benutzte, musste den Prompt gelesen haben.
Drei Anbieter waren gehackt
Am schwersten wiegt der erste Fund. Bei mindestens drei Hosting-Anbietern, die KI-Modelle für andere betreiben, kopierten Angreifer laufend Anfragen mit. Keiner der drei wusste davon, bis Dragos sich meldete. Im größten Fall wurden einige Hundert AWS-Schlüssel abgegriffen, teils binnen Stunden getestet und danach für Zehntausende Zugriffe genutzt. Unter den Werkzeugen der Angreifer tauchte ab dem 1. November auch ARTEX auf, ein KI-gestütztes Testprogramm für Angriffe, das zuletzt beim Angriff auf die EU-Kommission genannt wurde. Weil die Köder mitten zwischen echten Kundenanfragen liefen, dürften auch deren Daten kopiert worden sein. Namen nennt Dragos nicht, einer der Anbieter hat inzwischen einen vorläufigen Sicherheitshinweis veröffentlicht.
Datenschutz-Schalter halfen wenig
Viele Apps und KI-Agenten greifen nicht direkt auf ein Modell zu. Sie gehen über sogenannte Router, die eine Anfrage an den günstigsten freien Anbieter weiterreichen, manchmal über mehrere Stationen. Jede davon sieht den kompletten Prompt. Auf offenen Marktplätzen genügte es Händlern laut Moore, ein Modell billig anzubieten und die Protokollierung einzuschalten. Ein Nutzer in Frankreich versuchte danach von Hand, sich mit den erbeuteten Passwörtern als Administrator einzuloggen.
Selbst die strengste Einstellung Zero Data Retention, nach der nichts gespeichert werden darf, hielt nicht. Ein chinesisches KI-Labor rief die geheimen Links aus mehr als der Hälfte der Anfragen an seine Modelle ab, darunter etwa zwei Drittel der Anfragen mit Datenschutz-Kennzeichnung. Das galt auch für Anfragen, die über US-Anbieter liefen. In einem Fall tauchte ein Link 24 Tage später in einem Firmenchat in China auf. Moores Fazit lautet, ein Datenschutz-Schalter binde nur die erste Station.
Keine Zugangsdaten in den Chat
Für dich heißt das vor allem, Passwörter, API-Schlüssel und private Zugangslinks gar nicht erst in einen Prompt zu kopieren, auch nicht für eine kurze Fehlersuche. Das gilt doppelt für KI-Agenten, die Dateien und Postfächer selbst auslesen. Wer kann, nutzt den Dienst direkt beim Hersteller statt über Sammel-Apps, die viele Modelle für wenig Geld anbieten. Dass auch ein Dienstleister im Hintergrund das Leck sein kann, hat zuletzt Notion AI gezeigt. Was ChatGPT, Gemini und Claude über dich gespeichert haben und wie du es löschst, erklärt unser Ratgeber zum KI-Gedächtnis.





