Kleine Helfer, große Leistung: DisCIPL vereint Sprachmodelle für effizientere Problemlösung

Sprachmodelle (LMs) werden immer besser in Aufgaben wie Bildgenerierung oder Quizfragen. Doch komplexe Denkaufgaben stellen sie weiterhin vor Probleme. Als Beispiel dafür nennen die MIT-Forscher Sudoku. Große LLMs sind meist problemlos dazu in der Lage, eine Sudokulösung zu überprüfen, können aber selbst meist keine eigene Lösung entwickeln.

Forscher des MIT und der Universität Yale haben nun eine neue Methode namens DisCIPL entwickelt, die kleine Sprachmodelle dazu bringt, zusammenzuarbeiten und so selbst anspruchsvolle Aufgaben zu lösen. Das Besondere daran: Ein größeres Modell übernimmt die Planung, während kleinere "Follower"-Modelle die eigentliche Arbeit erledigen. Dieser Ansatz ermöglicht es DisCIPL, präzisere Antworten als führende Modelle wie GPT-4o zu liefern – und das mit deutlich geringerem Rechenaufwand. Die Kommunikation zwischen den Modellen erfolgt über LLaMPPL, eine Art Programmiersprache für Sprachmodelle, die es erlaubt, spezifische Regeln festzulegen.

In Tests zeigte sich, dass DisCIPL nicht nur in der Lage ist, Texte nach vorgegebenen Vorgaben zu schreiben (zum Beispiel Sätze mit einer bestimmten Anzahl von Wörtern und festgelegten Schlüsselwörtern), sondern auch bei realen Aufgaben wie der Erstellung von Einkaufslisten, Reiseplänen oder sogar Förderanträgen überzeugt. Dabei erzielte das System nicht nur ähnliche Ergebnisse wie hochkarätige Reasoning-Systeme wie o1, sondern war gleichzeitig deutlich kostengünstiger – bis zu 80,2 Prozent weniger Rechenkosten.

Die Effizienzsteigerung liegt vor allem an der Nutzung kleinerer Llama-Modelle als "Follower", die im Vergleich zu anderen Modellen um ein Vielfaches günstiger sind. Das bedeutet, dass DisCIPL sich leicht skalieren lässt und viele Modelle parallel betrieben werden können. Die Forscher sehen großes Potenzial für die Zukunft, beispielsweise in mathematischen Aufgaben oder bei der Berücksichtigung von vagen Nutzerpräferenzen. Kurz gesagt: DisCIPL demonstriert, dass auch kleine Sprachmodelle mit der richtigen Strategie Großes leisten können – und das mit deutlich geringerem Energieverbrauch. Dafür verantwortlich sind vor allem kleine Spezialistenmodelle, die sich um die einzelnen Teilgebiete der Aufgaben kümmern. So ist kein Universalgenie mit einer riesigen Datenmenge notwendig.