SEAL: So kann KI denken und sich ständig weiterbilden

Künstliche Intelligenz wird immer vielseitiger – sie entwirft Bilder, schreibt Gedichte, programmiert Apps. Doch eines können die heutigen Systeme nur in engen Grenzen: über sich selbst hinauswachsen. Genau hier setzt ein neues Konzept des Massachusetts Institute of Technology (MIT) an. Unter dem Namen SEAL – Self-Adapting Language Models – haben die Forschenden eine Architektur entwickelt, das großen Sprachmodellen beibringt, sich wie ein lernendes Lebewesen zu verhalten: Es analysiert frische Informationen, formuliert eigene Erkenntnisse und passt sein Wissen sofort an, ohne dafür externe Datensätze oder langwierige Entwickler-Updates zu brauchen. Das dazugehörige Paper erschien am 12. Juni auf arXiv.

Kontinuierliches Lernen ohne Entwicklerhand

„Gerade in Firmen reicht es nicht, Daten einfach nur abzurufen – Systeme müssen sich dauerhaft anpassen können“, sagt MIT-Doktorand Jyothish Pari. SEAL soll das können – und dafür einen ständigen Zwei-Schritt-Prozess nutzen. Zuerst fasst die KI neue Informationen zusammen, erfindet passende Beispiele dazu und passt ihre Einstellungen an. Diese Ergebnisse nennt man „Self-Edits“.

Danach probiert das System die Self-Edits sofort aus: Es wird damit kurz nachtrainiert und anschließend getestet, ob die Antworten wirklich besser werden. Nur, wenn der Test zeigt, dass sich die Leistung verbessert, behält SEAL die Änderungen bei. Dass das funktioniert, belegen Vergleichstests: Bei einem Frage-Antwort-Quiz ohne Hilfetext steigt die Trefferquote des Qwen-2.5-7B-Modells von 33,5 % auf 47 %. Bei den schwierigen ARC-Rätseln (Farbraster-Logikpuzzles aus dem Abstraction & Reasoning Corpus) springt sie sogar auf 72,5 % – mehr als das Dreifache der ursprünglichen Leistung.

Dank dieses Kreislaufs verhält sich SEAL so, als würde es nachdenken: Sobald neue Fakten oder Fragen auftauchen, „überlegt“ das Modell, was daran wichtig ist, formuliert eigene Beispiele und ändert seine Einstellungen, damit es das Gelernte besser anwenden kann. Weil dieser Prozess ununterbrochen läuft, bildet sich die KI ständig weiter. Sie braucht keine separaten Entwickler-Finetunes mehr, sondern nutzt eingehende Texte als Lernstoff und erzeugt daraus eigene Trainingsdaten.

Mit SEAL eröffnen sich mehrere Chancen gleichzeitig. Chatbots könnten sich künftig ganz natürlich an die persönlichen Vorlieben ihrer Nutzer anpassen, ohne dass dafür empfindliche Daten an fremde Server geschickt werden müssen. Auch Entwicklungs- oder Forschungstools würden stärker von allein mitwachsen: Anstatt bei jedem neuen Projekt neu trainiert zu werden, passen sie sich laufend den wechselnden Anforderungen an. Und selbst wenn öffentlich verfügbare Texte irgendwann knapp werden, kann SEAL sich mit selbst erzeugten Trainingsbeispielen frischen Lernstoff beschaffen und damit die Datenknappheit elegant umgehen.

Hohes Potential, aber nicht ohne Hürden

SEAL bietet zwar das Potential für beachtliche Fortschritte in der KI-Entwicklung, doch die Forschenden sehen drei Stolpersteine:

• Erstens tritt katastrophales Vergessen auf: Wenn das Modell fortlaufend neue Self-Edits einspielt, sinkt seine Leistung auf früheren Aufgaben sukzessive – das Paper zeigt bereits die ersten Einbrüche.
• Zweitens ist der Rechenaufwand hoch, weil jede einzelne Self-Edit ein kurzes Finetuning erfordert. Ein kompletter Zyklus dauert laut Studie 30 bis 45 Sekunden, was den Betrieb großer Modelle spürbar verteuert.
• Drittens bleibt die Wahrheitssicherung heikel: Der Leistungstest bewertet in erster Linie, wie überzeugend eine Antwort wirkt. Auf Reddit wird deshalb bereits gewarnt, dass das System auch plausibel klingende, aber falsche Self-Edits für gut befinden könnte – und diese Fehler dann dauerhaft lernt.