Notion AI: Hack bei Dienstleister Fireworks legt KI-Chats offen

Notion hat Kunden angeschrieben, deren Chats mit Notion AI bei einem Angriff auf einen Zulieferer abgeflossen sind. Der Zulieferer heißt Fireworks AI. Über dessen Plattform ließ Notion offene Sprachmodelle laufen und wertete Chats für die Funktion Insights aus, mit der Kunden die KI-Nutzung im eigenen Workspace verfolgen. Laut dem Sicherheitshinweis von Notion trifft der Vorfall weniger als ein Prozent der Workspaces.

Was in den abgeflossenen Chats steht

Abgeflossen sind Chatprotokolle, die Notion für Insights an Fireworks gegeben hatte. Bei den meisten betroffenen Workspaces lassen sie sich laut Notion keiner Person und keinem Workspace zuordnen, weil weder Absender noch Herkunft vermerkt waren. Ergebnisse von Werkzeugaufrufen fehlen ebenfalls. Was jemand selbst in den Chat getippt hat, steht dagegen drin. Am 11. November hat Notion deshalb alle Notion-API-Schlüssel gesperrt, die bei der Untersuchung in betroffenen Nachrichten auftauchten.

Am 2. November meldete Fireworks an Notion einen Zugriff auf einen Datensatz, der nach erster Prüfung nur synthetische Testdaten enthielt, woraufhin Notion am Morgen des 3. November vorsorglich jede Verbindung zu Fireworks kappte und dort alle eigenen Daten löschen ließ. Am 8. November bestätigte Fireworks den vollständigen Datensatz, und darin lagen echte Chats von Kunden. Seit dem 9. November informiert Notion die Betroffenen.

So kamen die Angreifer an die Daten

Fireworks beschreibt den Ablauf in einem Update vom 9. November. Bei einem externen Cloudanbieter, der Entwicklungsrechner von Fireworks betrieb, gab es am 23. Oktober einen Sicherheitsvorfall. Einen Tag später nutzten die Täter diesen Weg zu den Entwicklungsrechnern und starteten dort eine eigene Arbeitslast. Erbeutet haben sie Metadaten, Rechnungsdaten und bei einigen Kunden Teile von Datensätzen und unfertigen Modellgewichten, Kartennummern dagegen nicht, weil Fireworks die nach eigener Aussage gar nicht speichert. Schon Anfang Oktober hatte es einen ersten Einbruch gegeben, damals mit gespeicherten Geheimnissen wie API-Schlüsseln.

Hinter dem Angriff sieht Fireworks eine finanziell motivierte Gruppe, die unerlaubten Zugang zu Sprachmodellen weiterverkauft. Vor der Zunahme dieses LLMjacking hatten Google und Mandiant erst am 2. November gewarnt, auch bei uns ging es zuletzt um gestohlene KI-Zugangsdaten auf dem Schwarzmarkt. Für die Aufklärung hat Fireworks Unit 42 von Palo Alto Networks geholt.

Was Notion-Nutzer jetzt tun sollten

Wer weder selbst noch über den Workspace-Admin eine Nachricht von Notion bekommen hat, muss laut Notion vorerst nichts tun. Betroffene Workspace-Besitzer können die Daten in der Weboberfläche unter Security incident review einsehen und Mitgliedern einen Link zum Herunterladen ihrer eigenen Chats schicken, berichtet BleepingComputer. Notion rät, diese Chats so zu behandeln, als wären sie öffentlich. Passwörter, API-Schlüssel und andere Zugangsdaten, die im fraglichen Zeitraum in Notion AI gelandet sind, gehören ausgetauscht.

Insights bleibt abgeschaltet, solange die Untersuchung läuft, und offene Modelle bezieht Notion nicht mehr über Fireworks. Der Fall zeigt, wie weit ein Chat mit einem KI-Assistenten wandern kann, vom Notizprogramm zum Modellanbieter und im schlimmsten Fall weiter zu Kriminellen. Wer Notion mit KI nutzt oder über Alternativen nachdenkt, findet in unserem Vergleich von Obsidian und Notion einen Überblick, welches Werkzeug die KI überhaupt hineinlässt.