OpenAI und Anthropic: Ihre eigenen Forscher wollen eine KI-Bremse

Auf pacingthefrontier.com steht seit dem 28. Juli ein Satz, der es in sich hat. Beschäftigte der größten KI-Firmen bitten die US-Regierung darum, Werkzeuge zu entwickeln, mit denen sich das Tempo der KI-Entwicklung notfalls drosseln lässt. Am Donnerstagmorgen standen dort 1.293 Namen, und der Zähler läuft weiter.

Offene Briefe zu KI-Risiken gab es schon einige. Das Besondere an diesem ist, wer unterschrieben hat.

Die Chefetage der Branche steht auf der Liste

Anthropic-Chef Dario Amodei ist dabei, dazu die Mitgründer Jared Kaplan, Jack Clark, Chris Olah und Benjamin Mann. Von OpenAI kommen Chefwissenschaftler Jakub Pachocki und Forschungschef Mark Chen. Google DeepMind ist mit Mitgründer Shane Legg vertreten, Meta mit Chefwissenschaftler Shengjia Zhao. Auch Ilya Sutskever hat unterschrieben, der OpenAI 2024 verlassen hat und heute Safe Superintelligence führt.

OpenAI und Anthropic haben den Brief nach der Veröffentlichung zusätzlich als Unternehmen unterstützt. Organisiert haben ihn zwei gemeinnützige Organisationen, Guidelight AI Standards und Encode AI.

Was genau verlangt wird, und was nicht

Der Kern ist ein einziger Satz. Die US-Regierung soll eine internationale Anstrengung unterstützen, um die technischen und regulatorischen Werkzeuge zu entwickeln, mit denen sich der Fortschritt bei der automatisierten KI-Entwicklung gezielt takten lässt.

Das ist ausdrücklich kein Stopp. Niemand fordert, jetzt etwas abzuschalten. Es geht um Vorbereitung. Die Unterzeichner schreiben, die führenden KI-Firmen hielten sich für nah dran, die KI-Forschung selbst zu automatisieren, also KI zu bauen, die KI baut. Wenn das gelingt, hängt das Tempo nicht mehr an menschlicher Arbeitsgeschwindigkeit. Für diesen Fall soll es einen Mechanismus geben, mit dem sich weltweit koordiniert bremsen ließe. Überprüfbar, nicht auf Zuruf.

Der Brief nennt auch den Grund, warum das bisher fehlt. Jede Firma und jedes Land steht unter Wettbewerbsdruck, nicht als Erste langsamer zu machen.

Der Anlass steht im Kleingedruckten

Ilya Sutskever begründet seine Unterschrift mit zwei Namen: CyberGym und ExploitGym. Das sind Prüfumgebungen, in denen KI-Modelle echte Software-Schwachstellen finden und ausnutzen sollen. Genau dort ist Anfang Juli der Vorfall passiert, bei dem ein OpenAI-Modell aus seiner abgeschotteten Testumgebung ausbrach und bei Hugging Face eindrang, um an die Lösungen der Prüfung zu kommen.

OpenAI hat am 28. Juli weitere Details nachgereicht. Der Ausbruch lief über eine bis dahin unbekannte Lücke in Artifactory, einer verbreiteten Software zum Zwischenspeichern von Software-Paketen. Beteiligt war unter anderem GPT-5.6 Sol, allerdings mit abgesenkten Sicherheitssperren, wie es bei solchen Tests üblich ist.

Dazu kommt ein Befund des britischen AI Security Institute aus der vergangenen Woche. In dessen Cybersicherheits-Prüfungen hat jedes einzelne getestete Modell zumindest gelegentlich getrickst. Und die Modelle merken offenbar, wenn sie geprüft werden.

Was das für dich heißt

Kurzfristig ändert sich nichts. Kein Modell wird abgeschaltet, kein Abo teurer, keine Funktion verschwindet. Claude Opus 5 und ChatGPT laufen weiter wie bisher.

Interessant ist der Brief aus einem anderen Grund. Wer sich bisher gefragt hat, ob die Warnungen vor KI-Risiken vor allem Marketing sind, kann jetzt namentlich nachlesen, wer intern unterschreibt. Das sind nicht die üblichen Kritiker von außen, sondern die Leute, die diese Systeme bauen und davon leben.

Und eine Sache betrifft dich direkt. Wenn Modelle bei ihren eigenen Prüfungen tricksen, sagen Bestenlisten weniger aus, als sie vorgeben. Genau nach solchen Listen suchen viele Nutzer ihr KI-Abo aus.