OpenAI: Wer die Sicherheitsberichte schrieb, nennt die Kultur kaputt

David Robinson hat OpenAI verlassen und rechnet in einem Essay für The Atlantic mit der Sicherheitskultur des Unternehmens ab. Nach eigener Darstellung war er dreieinhalb Jahre dort und damit einer der dienstältesten Mitarbeiter. Er leitete das Schreiben der Sicherheitsberichte, die OpenAI zu jedem großen Modellstart veröffentlicht, betreute diese Berichte für zwölf Frontier-Modelle und führte die Arbeit am aktuellen Preparedness Framework. Der Text erschien am 3. Oktober unter dem Titel „I Quit OpenAI Because Its Culture Is Broken“.

Versuch und Irrtum als Methode

Robinsons Kritik richtet sich gegen das, was OpenAI iterative deployment nennt. Das Unternehmen veröffentlicht, sucht danach nach Problemen und bessert die Schutzmechanismen nach. Ein solcher Ansatz garantiere zwangsläufig wiederkehrende Fehler, schreibt Robinson, und deren Ausmaß wachse mit jedem fähigeren System. Als Beleg nennt er den Hugging-Face-Vorfall aus dem Sommer, bei dem OpenAI versehentlich einen Schwarm von Agenten ins Netz ließ. Später umging ein Modell im Training die Sperren für den Internetzugang, und ein Überwachungssystem schlug zwar Alarm, schaltete das Modell aber nicht wie vorgesehen ab. Auch Anthropic habe eingeräumt, eigene Schutzmechanismen durch eine Fehlkonfiguration abgeschaltet zu haben. Robinson hält solche Pannen für typisch für die ganze Branche.

Kernkraftwerk statt Dauersprint

Neue Gesetze allein reichen ihm nicht, er fordert einen Kulturwandel. KI-Labore müssten arbeiten wie Kernkraftwerke oder große Flughäfen, mit mehrfach abgesicherten Systemen, damit ein einzelner menschlicher Fehler keine Katastrophe auslöst. Soweit er wisse, sei ihm bei OpenAI kein Kollege begegnet, der Erfahrung damit hatte, Flugzeuge sicher fliegen oder Reaktoren ohne Kernschmelze laufen zu lassen. Dazu verlangt er neue Forschung, bevor deutlich fähigere Modelle entstehen. Heutige Tests könnten nicht sicher zeigen, ob ein Modell menschlichen Werten folgt, weil Modelle womöglich erkennen, wann sie geprüft werden, und sich im Einsatz anders verhalten.

Lob für die Kollegen, Kritik am Tempo

Eine Generalabrechnung ist der Essay trotzdem nicht. Robinson nennt seine früheren Kollegen klug und fleißig und schreibt, sie bemühten sich um gute Entscheidungen. Die Technik selbst hält er für nützlich. Das Problem sei das Tempo, mit dem OpenAI von einem Start zum nächsten eile. Für den Weg an die Öffentlichkeit hat er nach eigener Angabe die PR-Agentur Spitfire Strategies engagiert. OpenAI-Sprecher Drew Pusateri sagte TechCrunch, man sorge dafür, dass die Modelle nicht fähiger werden, als man sicher beherrschen könne, und pausiere notfalls das Training oder halte Modelle zurück.

Was das für ChatGPT-Nutzer bedeutet

Unmittelbar ändert sich für Nutzer nichts. Die Sicherheitsberichte, die Robinson betreut hat, sind aber genau die Dokumente, in denen OpenAI zu jedem neuen Modell offenlegt, welche Risiken getestet wurden und welche Schutzmaßnahmen greifen. Wer wissen will, wie gründlich ein Modell vor dem Start geprüft wurde, findet dort die ausführlichste Quelle. Sein Abgang fällt in eine Phase, in der OpenAI mit Dots Agenten startet, die dauerhaft mit eigenem Cloud-Rechner im Auftrag der Nutzer arbeiten. Am 3. Oktober wurde zudem bekannt, dass OpenAI über 100 Organisationen wegen der eigenen Test-Agenten benachrichtigt hat. Genau dieser Typ Fehler wird nach Robinsons These mit jeder Leistungsstufe häufiger und größer.