ChatGPT verrät sich - Detektor erkennt zuverlässig KI-Plagiate

Texte von ChatGPT sollen möglichst natürlich wirken, dem menschlichen Schreiben nachempfunden, mit dem die KI trainiert wurde. Entsprechend schwierig gestaltet es sich, derartige Plagiate von tatsächlich Geschriebenem zu unterscheiden.

Bisherige Versuche, automatisiert KI-generierte Texte ausfindig zu machen, hatten eine Erfolgsquote von teils deutlich unter 50 %. Da hören sich 99 % ganz anders und wesentlich vielversprechender an.

Ein Team der University of Kansas, das seine Ergebnisse am 6. November 2023 bei sciencedirect.com veröffentlicht hat, konnte ein System entwickeln, das traumwandlerisch sicher vor künstlich geschaffenen, wissenschaftlichen Artikeln warnen kann.

Einsatzbreite gering

Im Versuchsaufbau wurden Texte aus dreizehn wissenschaftlichen Journalen, die sich allesamt mit Chemie befassen, mit insgesamt 200 Texten verglichen, die entweder von GPT-3.5 oder GPT-4 stammten.

Laut der Verfasser wurden 198 dieser Texte als KI-generiert erkannt, was der Quote von 99 % entspricht. Hierfür wurden 20 Texteigenschaften wie eine variable Satzlänge, das typische Auftreten bestimmter Wörter oder Interpunktionen herangezogen. Dazu erfolgte ein Training mit zahlreichen wissenschaftlichen Texten aus dem Bereich Chemie.

Und diese Kombination aus dem klassischen Aufbau und der Sprache wissenschaftlicher Texte sowie der Konzentration auf eine Fachrichtung sind für die Zuverlässigkeit des Systems verantwortlich.

In einem weiteren Test mit Artikeln einer Nachrichtenseite versagte der Detektor hingegen komplett. So gut wie keine künstlich entstandene Meldung wurde als solche identifiziert.

Dennoch erscheint es vielversprechend, dass sich mit Mitteln wie einer Textanalyse für bestimmte Fachgebiete eine solch hohe Erfolgsquote erreichen lässt.