KI soll denken wie das menschliche Gehirn: Dragon Hatchling (BDH) kopiert Neuronen für unbegrenzten Kontext und höhere Effizienz
Die Transformer-Architektur, die die Grundlage fast aller modernen, leistungsfähigen Large Language Models (LLMs) – von GPT bis Llama – bildet, steht vor fundamentalen architektonischen Herausforderungen: Sie ist rechenintensiv, mangels dezentraler Organisation schwer zu interpretieren und leidet unter einer inhärenten Begrenzung der Kontextlänge. Diese Einschränkungen stellen ein signifikantes Hindernis auf dem Weg zu autonomen KI-Systemen dar, die zur Verallgemeinerung über längere Zeiträume fähig sind.
Post-Transformer-Architektur "Dragon Hatchling"
Die polnische, im Silicon Valley ansässige Firma Pathway präsentiert via arXiv in ihrem Whitepaper "The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain" die post-Transformer-Architektur "Dragon Hatchling" (BDH). BDH basiert auf einem skalenfreien, biologisch inspirierten Netzwerk von lokal interagierenden Neuronenpartikeln, welche die Topologie des Gehirns nachahmen sollen. Ziel ist es, starke theoretische Grundlagen und inhärente Interpretierbarkeit zu koppeln, ohne dabei die notwendige Performance zu opfern.
Synaptisches Gedächtnis: Die Chance auf unbegrenzten Kontext
Der Hauptunterschied von BDH zum herkömmlichen Transformer liegt in der Organisation des Arbeitsspeichers. Transformer speichern Informationen in einem begrenzten, blockartigen Puffer (dem sogenannten Kontextfenster). Wird der Text zu lang, fängt das Modell an, die ältesten Informationen zu "vergessen".
BDH hingegen nutzt die Funktionsweise biologischer Neuronen:
- Lernen über Synapsen: Das Wissen wird nicht in einem Puffer, sondern direkt in den Synapsenverbindungen zwischen den künstlichen Neuronen abgelegt. Dieser Prozess folgt dem Prinzip des Hebbian Learning: Neuronen, die gleichzeitig aktiv sind, verstärken ihre Verbindung.
- Kein Vergessen mehr: Da die Informationen dezentral und dynamisch in der Netzwerkstruktur verankert werden, statt an einen limitierten Puffer gebunden zu sein, soll BDH eine theoretisch unbegrenzte Kontextlänge erreichen. Dadurch könnten extrem lange Dokumente oder wochenlange Schlussfolgerungsketten verlustfrei verarbeitet werden.
Effizienz und Transparenz: Einsparungen für die Hardware
Obwohl BDH eine komplett neue Architektur ist, soll es in Tests mindestens die Leistung des älteren GPT-2-Transformers erreicht haben (getestet mit bis zu einer Milliarde Parametern). Allerdings muss kritisch erwähnt werden, dass der Vergleich mit einem technisch überholten GPT-Modell die architektonische Machbarkeit, nicht aber die aktuelle Spitzenleistung belegt.
Der größere Wert für die Hardware-Welt liegt in der Effizienz und Interpretierbarkeit:
- Sparsamkeit (Sparsity): BDH arbeitet extrem sparsam. Während der Inferenz sind nur etwa fünf Prozent der Neuronen aktiv. Diese drastisch reduzierte Gleichzeitigkeit von Rechenprozessen (Sparse Activation) könnte die Architektur deutlich energie- und hardwareeffizienter machen als die dichten, ständig voll ausgelasteten Transformer-Modelle.
- Interpretierbare Synapsen: Die Forscher entdeckten, dass BDH automatisch "monosemantische Synapsen" bildet. Das sind Verbindungen, die ausschließlich auf ein einziges, spezifisches Konzept reagieren (z. B. auf Währungsnamen). Diese Transparenz erleichtert es, nachzuvollziehen, warum die KI eine bestimmte Entscheidung trifft – ein entscheidender Faktor für die KI-Sicherheit und die Auditierbarkeit.
Ausblick
Pathway sieht BDH als theoretische Basis für eine neue Generation von LLMs. Das Modell soll durch seine gehirnähnliche, modulare Struktur nicht nur kontinuierlich dazulernen können, sondern auch neue Möglichkeiten im Model-Engineering eröffnen. Die entscheidende Frage bleibt, ob BDH seine Effizienz- und Interpretierbarkeitsvorteile auch beibehalten kann, wenn es auf die Größenordnungen moderner State-of-the-Art-Modelle (Trillionen von Parametern) skaliert wird.
Quelle(n)
