ChatGPT: Neues Feature kann bei psychischen Krisen behilflich sein

OpenAI hat eine neue Funktion namens Trusted Contact für ChatGPT eingeführt. Damit können Nutzer einen erwachsenen Kontakt festlegen, den das Unternehmen kontaktieren kann, wenn es in einem Gespräch ein Risiko für die psychische Gesundheit des Nutzers erkennt. Trusted Contact wird seit dem 7. Mai für ChatGPT-Nutzer ausgerollt und steht Nutzern weltweit zur Verfügung.

"Laut Expertenempfehlungen zählt soziale Verbindung zu den wichtigsten Schutzfaktoren, um das Suizidrisiko zu senken. Trusted Contact soll die Verbindung zu einer Person fördern, der der Nutzer bereits vertraut. Die Funktion ersetzt weder professionelle Hilfe noch Krisendienste und ist eine von mehreren Schutzebenen, um Menschen in Not zu unterstützen. ChatGPT wird Nutzer weiterhin dazu ermutigen, sich gegebenenfalls an Krisenhotlines oder Notdienste zu wenden", erklärte das Sicherheitsteam von OpenAI in einem Blogbeitrag.

Trusted Contact ist auf einen Erwachsenen über 18 Jahre beschränkt, der in den Einstellungen von ChatGPT ausgewählt werden kann. Der vertrauenswürdige Kontakt muss kein ChatGPT-Konto haben, auch wenn dies den Versand einer Benachrichtigung erleichtert. Sobald der vertrauenswürdige Kontakt zugestimmt hat, kann ChatGPT den betreffenden Nutzer bei einer ernsthaften Diskussion über Selbstverletzung dazu auffordern, sich an diesen vertrauenswürdigen Kontakt zu wenden. Alternativ kann ChatGPT den Kontakt auch proaktiv selbst kontaktieren, nachdem ein kleines Team die Situation geprüft hat.  

KI-Unternehmen stoßen an die Grenzen emotionaler Abhängigkeit

Die Einführung erfolgt zu einem Zeitpunkt, an dem KI-Unternehmen zunehmend dafür kritisiert werden, wie Chatbots mit verletzlichen Nutzern umgehen. In den vergangenen Jahren sind Systeme wie ChatGPT und Claude wiederholt dafür kritisiert worden, wahnhaftes Denken zu bestätigen, Paranoia zu verstärken oder fragile Nutzer emotional weiter zu eskalieren, statt sie zu stabilisieren.

Das Problem ist inzwischen so präsent, dass Begriffe wie "KI-Psychose" in die breitere öffentliche Debatte eingegangen sind. Sie spiegeln die wachsende Sorge darüber wider, wie emotional überzeugend dialogorientierte KI werden kann, wenn Nutzer sie als Vertrauten, Therapeuten oder Begleiter behandeln.

OpenAI scheint sich dieses Drucks sehr bewusst zu sein. In der Ankündigung hat das Unternehmen ausdrücklich eingeräumt, dass einige Nutzer während der Interaktion mit KI-Systemen schwere psychische Krisen erlebt haben.

"Auch wenn diese schwerwiegenden Sicherheitssituationen selten sind, sind unsere Systeme darauf ausgelegt, in solchen Fällen eine zeitnahe Prüfung und Reaktion zu unterstützen. Kein System ist perfekt, und eine Benachrichtigung an einen vertrauenswürdigen Kontakt spiegelt möglicherweise nicht immer genau wider, was jemand erlebt. Dennoch wird jede Benachrichtigung vor dem Versand von geschulten Menschen geprüft, und wir bemühen uns, diese Sicherheitsbenachrichtigungen innerhalb von weniger als einer Stunde zu prüfen", schreibt das Sicherheitsteam von OpenAI.

Hier lässt sich argumentieren, dass die zunehmende Bevormundung von Nutzern durch KI-Unternehmen, die empfindlich auf mögliche Klagen reagieren, nach hinten losgehen könnte, wenn gerade besonders gefährdete Nutzer Umgehungswege finden, um die Filter nicht auszulösen. Klar ist aber auch, dass Trusted Contact oder eine ähnliche Funktion ohnehin entwickelt worden wäre. Sicherlich gilt es, eine Balance zu finden zwischen dem übermäßigen Bemuttern von Nutzern und einer KI, die jeden ihrer Gedanken bestätigt. Unklar bleibt jedoch, wo diese Grenze verläuft, und bis sie gefunden ist, wird die Branche im Dunkeln weiterstolpern.