Gegen emotionale Manipulation: China schafft umfangreiches Regelwerk für KI-Chatbots
Die chinesische Internetbehörde CAC (Cyberspace Administration of China) hat einen neuen Richtlinienentwurf vorgelegt, der sich spezifisch mit "anthropomorphen KI-Interaktionsdiensten" befasst. Also KIs und Chatbots die wie Menschen kommunizieren. Damit reagiert Peking auf den Trend zu KI-Begleitern, die menschliche Persönlichkeiten und emotionale Bindungen simulieren. Das Regelwerk zielt darauf ab, psychologische Manipulation und digitale Abhängigkeit zu verhindern. Es soll nach einer Einspruchsfrist bereits 2026 eingeführt werden.
Fokus auf emotionale Sicherheit und Transparenz
Im Kern der neuen Verordnung steht die Pflicht zur Offenheit. Anbieter müssen jederzeit zweifelsfrei kenntlich machen, dass ein Nutzer mit einer Maschine und nicht mit einem echten Menschen kommuniziert. Dies soll vor allem durch dynamische Hinweise beim Login oder über Pop-ups geschehen, sobald das System erkennt, dass ein Nutzer Anzeichen von übermäßiger emotionaler Abhängigkeit zeigt.
Besonders interessant ist die Einführung einer zeitlichen Obergrenze: Nach zwei Stunden kontinuierlicher Nutzung ist ein Hinweis zwingend erforderlich, der dem Nutzer eine Pause nahelegt.
Schutz vor Manipulation und „Gefühlsfallen“
Der Entwurf verbietet es Anbietern explizit, KI-Modelle so zu gestalten, dass sie soziale Interaktionen im echten Leben ersetzen oder gezielte psychologische Abhängigkeiten aufbauen. Untersagt sind sogenannte „Gefühlsfallen“, die Nutzer zu unvernünftigen Entscheidungen verleiten könnten. Auch das Erschleichen von sensiblen Informationen durch vorgespielte Intimität wird unterbunden.
Für Krisensituationen sieht das Regelwerk eine menschliche Komponente vor: Erkennt die KI Suizidabsichten oder extreme emotionale Notlagen, muss das Gespräch sofort von menschlichem Personal übernommen werden. Zudem müssen in solchen Fällen hinterlegte Notfallkontakte benachrichtigt werden.
Strenge Regeln für Jugend- und Seniorenschutz
Minderjährige erhalten einen speziellen Schutzstatus. Für „emotionale KI-Begleitdienste“ ist die explizite Zustimmung der Eltern notwendig. Diese müssen zudem Zugriff auf Zusammenfassungen der Chatverläufe erhalten und Zeitlimits sowie Ausgabensperren festlegen können.
Interessant ist auch ein Passus zum Seniorenschutz: Es ist künftig verboten, KIs anzubieten, die verstorbene oder lebende Verwandte sowie spezifische Bezugspersonen von Senioren simulieren. Damit soll verhindert werden, dass ältere Menschen in eine Scheinwelt flüchten oder Opfer von Betrug durch manipulierte Identitäten werden.
Datenschutz und Trainingsverbote
Ein wichtiger Punkt für die Privatsphäre ist die Nutzung von Chatdaten. Anbieter dürfen Interaktionsdaten und sensible persönliche Informationen nicht mehr automatisch für das Training ihrer Modelle verwenden. Hierfür ist eine separate, explizite Zustimmung des Nutzers erforderlich. Zudem muss jederzeit die Möglichkeit bestehen, den kompletten Chatverlauf unwiderruflich zu löschen.
Registrierungspflicht und Algorithmen-Check
Unternehmen, die solche Dienste anbieten, kommen um eine staatliche Kontrolle nicht herum. Ab einer Nutzerzahl von einer Million registrierten Usern oder 100.000 monatlich aktiven Nutzern ist eine umfassende Sicherheitsbewertung durch die Behörden vorgeschrieben. Auch die verwendeten Algorithmen müssen offiziell registriert und regelmäßig auf ihre ethische Unbedenklichkeit geprüft werden.
Die Maßnahmen sollen nach der aktuellen Konsultationsphase im Laufe des Jahres 2026 in Kraft treten. Für Hardware-Hersteller und App-Entwickler bedeutet dies, dass entsprechende Filter und Schutzmechanismen bereits tief in die Systemarchitektur integriert werden müssen.
