Untersuchung zeigt: Sprachmodelle imitieren Logik, statt sie wirklich zu verstehen
Eine jüngst auf arXiv publizierte Studie stellt grundsätzlich infrage, ob Sprachmodelle tatsächlich denken – oder lediglich trainierte Muster nachahmen. Die Forschenden zeigen, dass die Logikketten, die Modelle via „Gedankenkettenschluss“ (Chain of Thought) erzeugen, bei schon kleinen Abweichungen instabil werden. Laut der Studie lässt sich CoT-Reasoning nur in Datenverteilungen wirksam einsetzen, die dem Training stark ähneln. Veränderungen, neue Aufgaben, andere Eingabelängen oder auch lediglich veränderte Formate verursachen fehlerhafte Antworten.
Fehlende Logik bei veränderten Testbedingungen
Für ihre Analyse nutzten die Forschenden ein eigens entwickeltes Testsystem namens DataAlchemy. Darin trainierten sie ein Sprachmodell von Grund auf und prüften gezielt drei Faktoren: die Art der Aufgabe, die Länge der Eingaben und deren Format. Das Ergebnis laut papers.cool: Schon kleine Änderungen reichten aus, damit die scheinbar logischen Denkschritte schnell versagten und das Modell falsche Angaben lieferte.
Bloße Mustererkennung - kein Verständnis
Dieser Befund fügt sich ein in eine wachsende kritische Diskussion: CoT-Outputs mögen auf den ersten Blick vertraut wirken – doch sie basieren laut arXiv oft auf bloßer Mustererkennung, nicht auf echtem logischen Verstehen. Die ASU-Forscher warnen, dass solche Simulationen in kritischen Anwendungen kein Vertrauen rechtfertigen, weil sie nur vorgeben zu denken und stattdessen bekannte Muster nachahmen.
„Clever Hans“-Effekt
Dieses Verhalten wird als „Clever Hans“-Effekt bezeichnet – es beschreibt den Eindruck von Verständnis, obwohl tatsächlich nur auf bekannte Signale oder Muster reagiert wird. Ähnliche Probleme zeigten sich laut arXiv auch in anderen Untersuchungen, die prüften, wie gut Sprachmodelle komplexe Regeln oder logische Zusammenhänge verstehen.
Wohlklingender Unsinn
Die Implikationen sind laut AI Tech Suite weitreichend: Wer CoT-Output als echtes Denken interpretiert, läuft Gefahr, Systeme zu überschätzen und falsch einzusetzen. Modelle liefern oft „fluent nonsense“ – sprachlich kohärent, aber logisch inkonsistent –, wenn die Datenverteilung leicht kippt.
Perspektive
Künftige Ansätze sollten darauf zielen, wirkliche Generalisierungsfähigkeit zu fördern – also robuste Logikstrukturen, die über das Training hinaus bestehen bleiben. Bis dahin bleiben CoT-Methoden nützliche, aber begrenzte Tools – mehr Schein als Sein.
Quelle(n)
