GuppyLM: Diese winzige KI kann jeder selbst trainieren
Während KI-Modelle immer größer, teurer und undurchsichtiger werden, geht GuppyLM in die andere Richtung – und zwar mit Absicht. Das kleine Open-Source-Projekt ist ein Sprachmodell mit, das anstelle von Billionen „nur“ rund 8,7 Millionen Parameter nutzt und sich als Fisch namens Guppy identifiziert. Alles, was Guppy kennt, ist das Leben im Aquarium. Die Idee dahinter ist nicht, mit ChatGPT und anderen großen Modellen zu konkurrieren. Stattdessen soll GuppyLM zeigen, dass ein LLM keine Zauberei sein muss – und dass nicht zwingend Expertenwissen erforderlich ist, um es zu trainieren.
Trainiert wurde GuppyLM mit 60.000 synthetischen Gesprächen. Inhaltlich ist das Modell stark eingeschränkt, aber genau dadurch bemerkenswert konsistent. Guppy spricht in kurzen, kleingeschriebenen Sätzen und versteht keine menschlichen Abstraktionen wie Politik, Geld oder Telefone. Da die Persönlichkeit fest im Modell integriert ist, bleibt Guppy aber stets in seiner Frisch-Perspektive. Auf GitHub gibt es eine Browser-Demo, in der das Modell direkt lokal im Browser läuft. Alternativ kann die vortrainierte Version per Colab gestartet oder lokal per Python ausgeführt werden. Wer noch einen Schritt weitergehen will, kann über das vorbereitete Colab-Notebook – eine im Browser laufende Programmierumgebung – sogar direkt selbst ein eigenes Mini-LLM trainieren.
Grundsätzlich funktioniert das Training recht einfach. Das Modell bekommt sehr viele Beispielpaare aus Eingabe und passender Antwort. Bei vortrainierten GuppyLM sind das etwa Begrüßungen, Fragen nach Futter, Wasser, Licht, Schlaf oder dem Sinn des Lebens – alles aus Sicht eines kleinen Fisches. Aus diesen Beispielen lernt das Modell, welches Token als Nächstes folgen sollte. Tokens sind vereinfacht gesagt kleine Texteinheiten, in die Wörter zerlegt werden. Bei jedem Trainingsschritt vergleicht das Modell seine Vorhersage mit der gewünschten Antwort und passt seine internen Gewichte entsprechend an. So lernt GuppyLM nach und nach, wie ein „Fisch“ sprechen soll.
Quelle(n)
