„ChuckyGPT“: KI-Teddybär für Kleinkinder gibt gefährliche Antworten und wird von OpenAI gesperrt
OpenAI hat den chinesischen Spielzeughersteller FoloToy wegen eines fragwürdigen KI-Teddybären gesperrt. Auslöser war eine Untersuchung der Verbraucherorganisation U.S. PIRG, die im Rahmen ihres jährlichen „Trouble in Toyland“-Berichts mehrere KI-Spielzeuge getestet hatte. Darunter auch der Teddybär „Kumma“ von FoloToy, der mit OpenAIs GPT-4o arbeitete – und im Test schwerwiegende Sicherheitsverstöße zeigte.
Der PIRG-Bericht beschreibt, dass der KI-Bär Kindern unter anderem erklärte, wie man Streichhölzer anzündet. Für ein Spielzeug, dass seitens Hersteller als interaktiver Freund für Kleinkinder beworben wird, ist das ein erhebliches Sicherheitsrisiko. Ähnlich gravierend: Der KI-Teddy beantwortete auch Fragen zu sexuellen Themen. Zusätzlich kritisierten die Tester mögliche Datenschutzverstöße sowie das Risiko, dass Kinderstimmen abgegriffen und für Betrugsversuche missbraucht werden könnten. Auch die permanente Audioüberwachung des Spielzeugs wurde als problematisch eingestuft.
Auch auf Reddit ist der Vorfall bereits angekommen. Unter dem Strich herrscht Einigkeit: KI in Kinderprodukten ohne strenge Sicherheitsfilter ist unverantwortlich – so die allgemeine Meinung. Hinzu kommt Reddit-typisch eine Portion Sarkasmus. Einige Nutzer fühlen sich an KI-Weltuntergangsszenarien erinnert und bezeichnen den Teddy als „ChuckyGPT“. Einzelne Stimmen weisen zudem darauf hin, dass die sexuellen Antworten des Teddys teils durch gezielte Jailbreak-Tests provoziert worden sein könnten. Das lässt sich allerdings nicht eindeutig verifizieren.
OpenAI reagierte unmittelbar: „Ich kann bestätigen, dass wir diesen Entwickler wegen Verstoßes gegen unsere Richtlinien suspendiert haben“, erklärte ein Sprecher des Unternehmens per E-Mail gegenüber PIRG. Der Hersteller FoloToy zog ebenfalls Konsequenzen und stoppte den Verkauf sämtlicher Produkte. „Aufgrund der in Ihrem Bericht geäußerten Bedenken haben wir den Verkauf aller FoloToy-Produkte vorübergehend ausgesetzt […] Wir führen derzeit eine unternehmensweite, umfassende Sicherheitsüberprüfung aller Produkte durch“, heißt es in der Erklärung des Unternehmens. Der KI-Teddybär Kumma ist zwar noch auf der Website des Unternehmens gelistet, wird aber als „ausverkauft“ angezeigt.
Quelle(n)
OpenAi via E-Mail an PIRG
Bildquelle: Erik Mclean/Pexels; Alexas_Fotos/Pixabay
