Intel Arc B580: Fast dreifache Geschwindigkeit bei 125B-KI-Modell dank XeStrata

Für ein KI-Modell mit 125 Milliarden Parametern erscheint eine Grafikkarte mit 12GB Grafikspeicher zunächst als ungewöhnliche Wahl. Ein neuer Test mit Intels Arc B580 zeigt jedoch, wie stark die eingesetzte Software die Leistung beeinflussen kann.

In einem am 26. Oktober veröffentlichten Test hat das japanische Technikmagazin PC Watch mit der quelloffenen Inferenz-Engine XeStrata 31,1 Tokens pro Sekunde gemessen. Dasselbe System hat mit Strata, auf dessen Code XeStrata basiert, 10,9 Tokens pro Sekunde erreicht.

Damit ist die Texterzeugung bei unveränderter Grafikkarte etwa 2,85-mal so schnell. Das entspricht einer Steigerung um rund 185 Prozent.

Die GPU mit 12GB ist nur ein Teil des Systems

Zum Einsatz sind eine ASRock Intel Arc B580 Challenger 12GB OC, ein Intel Core Ultra 5 250KF Plus und 64GB DDR5-Arbeitsspeicher gekommen. Als Betriebssystem hat Ubuntu 26.04 LTS gedient.

Getestet worden ist das Modell Qwen3.8-Flash-Next mit IQ3_S-Quantisierung, einem Kontextfenster von 64K Tokens und einem 8-Bit-KV-Cache. Diese Angaben sind relevant, da Quantisierung, Kontextlänge und Speicherzuweisung die Inferenzleistung beeinflussen können.

Der Test belegt nicht, dass das vollständige Modell mit seinen 125 Milliarden Parametern in 12GB Grafikspeicher passt. Strata und XeStrata nutzen neben der GPU-Beschleunigung auch den Arbeitsspeicher des Systems. Dadurch lassen sich deutlich größere Modelle auf Hardware mit vergleichsweise wenig Grafikspeicher ausführen.

Die im Test gewählte Quantisierung benötigt laut den Einrichtungshinweisen von Strata etwa 50GB Arbeitsspeicher. Die Ausstattung mit 64GB RAM ist somit eine entscheidende Voraussetzung für das Ergebnis. Für die Planung eines günstigen Systems zur lokalen KI-Inferenz ist dieser Zusammenhang unter Umständen aussagekräftiger als die Angabe des Grafikspeichers allein.

Was unterscheidet die beiden Testergebnisse?

Verglichen worden sind Strata 0.2.1 und XeStrata. Letzteres basiert auf Strata und ergänzt weitere Optimierungen für unterstützte GPU-Architekturen. PC Watch hat XeStrata über das Ubuntu-Paket 0.1.43-2 installiert, das der Projektversion xe0.1.43.1 entspricht. Beide Engines sind mit demselben Modell und identischer Konfiguration getestet worden.

Die Dokumentation zu XeStrata beschreibt Optimierungen bei der Ausführung auf Intel-GPUs. Dazu gehört die Nutzung der XMX-Matrixhardware für bestimmte Operationen. Aus dem veröffentlichten Vergleich von PC Watch geht allerdings nicht hervor, welchen Anteil einzelne Optimierungen am gemessenen Geschwindigkeitsunterschied haben.

Das Ergebnis ist daher als Vergleich zweier Softwarekonfigurationen auf demselben Computer zu verstehen. Es belegt nicht, dass eine bestimmte Technik allein für den gesamten Leistungszuwachs verantwortlich ist.

Zudem betrifft der Vergleich die Ausgaberate bei der Texterzeugung. Entsprechende Verbesserungen bei der Verarbeitung von Prompts, der Antwortlatenz, der Modellgenauigkeit oder anderen KI-Aufgaben lassen sich daraus nicht ableiten.

Schnellere Inferenz hebt Hardwaregrenzen nicht auf

Mit 31,1 Tokens pro Sekunde hat die XeStrata-Konfiguration Text fast dreimal so schnell erzeugt wie Strata. Im beschriebenen Test ist das ein deutlicher Unterschied, zumal beide Ergebnisse mit derselben Grafikkarte mit 12GB Grafikspeicher erzielt worden sind.

Dennoch bleibt der Betrieb eines großen Modells anspruchsvoll. Der Test hat 64GB Arbeitsspeicher vorausgesetzt. Für anspruchsvollere agentenbasierte Aufgaben hat der Tester die Arc B580 als unzureichend eingeschätzt. Dafür können eine höhere GPU-Leistung, mehr Grafikspeicher und längere Kontextfenster sinnvoll sein.

Auch die Softwareversion spielt eine wichtige Rolle. Das von PC Watch getestete XeStrata-Paket ist inzwischen nicht mehr aktuell. Mit der Veröffentlichung vom 24. Oktober sind weitere Änderungen hinzugekommen. Die zugehörige Dokumentation nennt außerdem Leistungsprobleme im Zusammenhang mit Intel-Treibern, die bestimmte Linux-Konfigurationen betreffen.

Die gemessenen 31,1 Tokens pro Sekunde sind daher kein allgemeiner Leistungswert für sämtliche XeStrata-Versionen und Treiberkombinationen. Die wesentliche Erkenntnis ist nicht, dass eine GPU mit 12GB Grafikspeicher die Speicheranforderungen eines Modells mit 125 Milliarden Parametern überwunden hätte. Vielmehr haben zwei Inferenz-Engines dasselbe Modell auf identischer Hardware mit deutlich unterschiedlichen Geschwindigkeiten ausgeführt.

Beim lokalen Experimentieren mit großen Sprachmodellen ist die Wahl der Software damit neben Grafikspeicher, Arbeitsspeicher und der Grafikkarte selbst ein wichtiger Faktor.