Studie deckt auf: Nutzer selbst schuld an KI-Halluzinationen

Frei erfundene Fakten, ausgedachte Zitate oder an den Haaren herbeigezogene Quellen – KI ist an vielen Stellen hilfreich, birgt aber stets das Risiko für Halluzinationen. Laut OpanAI-Forschern liegt die Ursache dafür in einem einfachen Belohnungsprinzip, das die KI zum Raten animiniert. Einer am 3. Oktober auf arXiv.org veröffentlichten Studie zufolge könnten Nutzer jedoch auch selbst schuld an halluzinierten KI-Antworten sein.

Die Untersuchung mit dem Titel „Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human Interactions“ legt nahe, dass viele vermeintliche Halluzinationen von KIs auf den Kommunikationsstil der Nutzer zurückzuführen sein könnten. Die Forscher untersuchten über 13.000 menschliche Dialoge und 1.357 reale Gespräche zwischen Menschen und KI-Chatbots. Das Ergebnis: Nutzer schreiben mit KIs deutlich anders als mit Menschen – kürzer, ungrammatischer, unhöflicher und mit weniger abwechslungsreichem Wortschatz. Diese Unterschiede beeinflussen, wie sicher und präzise Sprachmodelle antworten.

Die Analyse stützt sich auf sechs linguistische Dimensionen – darunter Grammatik, Höflichkeit, Wortvielfalt und Informationsgehalt. Während die Grammatik und Höflichkeit bei menschlichen Gesprächen im Schnitt um über 5 beziehungsweise 14 Prozent besser war, blieb der Informationsgehalt nahezu gleich. Das heißt: Inhaltlich sagen Nutzer dasselbe – nur in deutlich rauerem Tonfall.

Laut den Forschern entsteht dadurch ein sogenannter „Style Shift“: Da große Sprachmodelle wie ChatGPT oder Claude auf gut strukturierte und höfliche Trainingsdaten konditioniert sind, führt der abrupte Stilbruch zu Fehlinterpretationen oder erfundenen Details. KIs „halluzinieren“ also häufiger, wenn sie mit unklaren, unhöflichen oder fehlerhaften Eingaben gefüttert werden.

Lösungsansätze auf KI- und Nutzerebene

Wenn KI-Modelle bereits im Training auf eine Vielzahl unterschiedlicher Sprachstile vorbereitet wurden, kann sich die Erkennung der Nutzerintention verbessern – im Rahmen der Untersuchung zumindest um 3 Prozent. Der zweite Ansatz der Forscher war eine automatische Umschreibung von Nutzereingaben während der Laufzeit. Das verschlechterte die Leistung hingegen leicht, weil emotionale oder kontextuelle Nuancen verloren gingen. Die Autoren empfehlen daher ein sogenanntes „Style-Aware Training“ als neuen Standard im KI-Finetuning.

Wer selbst dafür sorgen möchte, dass sein KI-Assistent weniger erfundene Informationen ausspuckt, tut gemäß der Untersuchungsergebnisse gut daran, die Künstliche Intelligenz wie einen Menschen zu behandeln – also ganze Sätze mit Anspruch an Grammatik, Stil und Höflichkeit zu schreiben.