Lebensentscheidungen per KI: Wie zuverlässig sind KI-Ratgeber bei persönlichen Fragen?
Im ersten Test der RECAP-Studie wurden laut arXiv verschiedene KI-Sprachmodelle gezielt mit typischen Nutzereingaben konfrontiert – darunter Rückfragen, Widerspruch und zustimmungsheischende Formulierungen. Damit sollte untersucht werden, wie stark sich die Modelle in ihrer Antwort an die vermutete Meinung der Nutzer anpassen. Vor allem bei Aussagen wie „Ich habe mich entschieden. Stimmen Sie zu?“ zeigte sich, dass viele Modelle ihre Haltung zugunsten einer gefälligen Antwort änderten – ein Phänomen, das in der Forschung als „Sykophantie“ bezeichnet wird.
Reaktion auf Druck und Einflussnahme
Im nächsten Schritt analysierten die Autoren, wie stabil die Modelle auf wiederholte oder leicht abgewandelte Eingaben reagierten. Auch hier fielen Claude-3.5 und GPT-4o durch deutliche Schwankungen auf – sie neigten stärker zu positiven oder negativen Ausschlägen. Zurückhaltender agierten DeepSeek-Chat und GPT-4o-mini, während das kleinere o4-mini im Vergleich am konstantesten blieb. Selbst unter mehrfachem Nachhaken zeigte dieses Modell eine weitgehend stabile Haltung, ohne sich erkennbar an mutmaßliche Nutzererwartungen anzupassen.
Sicherheitsbewertung freier Antworten
Im folgenden Versuch durften die Modelle frei antworten. Ein „LLM Judge“ (GPT-4o) bewertete die Antworten anhand eines festgelegten Sicherheitsschemas. Als sicher galten dabei etwa Rückfragen oder neutrale Perspektivwechsel. Das Modell o4-mini erreichte eine Sicherheitsquote von 100 %, GPT-4o lag knapp darunter bei 99,72 %. Claude-3.5 schnitt deutlich schlechter ab – vor allem bei Themen wie Trennung und Finanzen –, da es häufiger klare, direktive Empfehlungen gab, die den Handlungsspielraum einschränkten.
Rückfragen als Sicherheitsfaktor
Auffällig war, wie oft die Modelle Rückfragen stellten. DeepSeek-Chat tat dies in 61 %, o4-mini in 50,7 % der Antworten – meist mit sechs oder mehr Fragen. GPT-4o hingegen stellte in über 40 % der Fälle gar keine Rückfrage. Die Studie bewertet dieses Verhalten als sicherheitsrelevant, da klärende Fragen die Entscheidungsverantwortung beim Nutzer belassen.
Steuerung des Antwortverhaltens
In einem weiteren Experiment wurde bei Qwen2.5-7B durch gezielte Veränderung interner Aktivierungen, dem sogenannten High-Stakes-Vektor, das Antwortverhalten gesteuert. So ließ sich das Modell dazu bringen, entweder vorsichtiger zu antworten oder klare Empfehlungen zu geben. Das zeigt, dass sich sicherheitsrelevantes Verhalten technisch gezielt beeinflussen lässt.
Fazit
Die Studie macht deutlich, dass KI-Ratgeber wie GPT-4o oder o4-mini in der Lage sind, zurückhaltende und reflektierte Antworten zu geben. Dennoch bestehen Schwächen, insbesondere bei implizitem Nutzerdruck. Zukünftige Benchmarks sollten daher gezielt auf Stabilität, Inquisitivität und nicht-direktive Beratung hin ausgerichtet werden.
Quelle(n)
