So soll ein neuer Mini-PC mit RTX Spark die Speicherlimits bei der KI-Nutzung überwinden

Der chinesische PC-Hersteller Mechrevo bereitet den Launch eines neuen Mini-PCs namens Master Road X10 vor. Anders als herkömmliche Mini-PCs ist das Modell vor allem für die lokale Ausführung großer KI-Modelle ausgelegt. Dabei könnten einige technische Anpassungen helfen. Als Grundlage dient Nvidias RTX-Spark-Plattform, die eine Grace-CPU mit 20 Kernen und eine Blackwell-GPU mit bis zu 6.144 CUDA-Kernen kombiniert. Unterstützt werden bis zu 128GB gemeinsam genutzter LPDDR5X-Arbeitsspeicher.

Dabei handelt es sich um die maximalen Spezifikationen der Plattform. Die genaue Konfiguration des Mini-PCs hat Mechrevo noch nicht bestätigt. Besonders interessant ist jedoch die proprietäre KI-SSD des Herstellers. Die Technologie kann Teile großer KI-Modelle aus dem DRAM in den NAND-Flashspeicher auslagern, statt ausschließlich den Arbeitsspeicher zu nutzen. Zudem lässt sich bereits verarbeiteter Kontext speichern und wiederverwenden, was theoretisch wiederholte Berechnungen und den Aufwand beim Laden der Modelle reduziert. Laut Mechrevo kann der Master Road X10 dadurch Modelle mit 80 Milliarden, 120 Milliarden und sogar 122 Milliarden Parametern ausführen und dabei weiterhin zügig reagieren. Die genaue SSD-Kapazität hat der Hersteller allerdings nicht genannt.

Mechrevo hat die Technologie bereits zuvor vorgestellt. Bei einer Präsentation im September hat das Unternehmen angegeben, dass seine KI-SSD bis zu 5,7-mal umfangreichere Modell-Workloads ermöglichen und die Prefill-Phase um bis zu 95 Prozent beschleunigen könne. In Labortests mit dem Laptop Mechrevo Yaoshi 15 Air soll sich die Inferenzgeschwindigkeit nahezu verdoppelt haben. Zudem soll die SSD ein dauerhaftes KI-Gedächtnis ermöglichen, indem sie Nutzervorlieben und Kontextinformationen über einzelne Sitzungen hinaus speichert. Diese Angaben sind allerdings mit einigen Einschränkungen verbunden.

Mechrevo hat weder detaillierte Benchmarks noch Angaben zur Quantisierung der Modelle oder zu den Testbedingungen veröffentlicht, die diese Aussagen belegen. Darüber hinaus ist NAND-Flashspeicher erheblich langsamer als DRAM. Wenn eine SSD die Ausführung eines größeren Modells ermöglicht, bedeutet das deshalb nicht automatisch eine schnellere Inferenz. Angaben zu den Arbeitsspeicherkonfigurationen, der Kapazität der KI-SSD, den Anschlüssen, dem Preis und dem Veröffentlichungstermin des Master Road X10 fehlen bislang. Ob die angekündigten Ergebnisse aus dem Labor auch im praktischen Einsatz messbare Leistungssteigerungen bringen, müssen entsprechende Tests zeigen.