Neue Desktop-Workstation startet mit massiven 16TB SSD-Speicher und 4 GPUs mit 128GB VRAM

Tiny Corp hat eine neue Konfiguration seiner KI-Workstation Tinybox vorgestellt, die große Sprachmodelle lokal ausführen soll. Die tinybox Red Kimi kostet umgerechnet rund 26.900 Euro und ist mit vier Workstation-GPUs sowie einem großen, schnellen SSD-Verbund ausgestattet. Die Rechenleistung soll ausreichen, um Kimi K3 von Moonshot AI mit 40 Tokens pro Sekunde auszuführen.

Die neue Konfiguration ist inzwischen auf der offiziellen Website von Tiny Corp gelistet. Als Prozessor dient ein AMD Epyc Genoa mit 32 Kernen, dessen genaue Modellbezeichnung nicht genannt wird. Hinzu kommen 32GB DDR5-Arbeitsspeicher und vier Radeon AI Pro R9700. Jede Grafikkarte besitzt 32GB GDDR6-Speicher mit einer Bandbreite von 640GB/s. Insgesamt stehen damit 128GB Grafikspeicher und eine kombinierte Speicherbandbreite von 2.560GB/s zur Verfügung.

Besonders auffällig ist allerdings der große SSD-Verbund der Red Kimi. Tiny Corp verbaut 16 einzelne NVMe-SSDs mit jeweils 1TB Kapazität in einer schnellen RAID-Konfiguration. Dafür gibt der Hersteller eine Bandbreite von 238,4GB/s an, die deutlich über der herkömmlicher Speicherkonfigurationen in Desktop-PCs liegt. Eine Infografik veranschaulicht zudem die Funktionsweise des Speicherverbunds.

Tiny Corp hat nach eigenen Angaben außerdem einen eigenen Treiber entwickelt, mit dem AMD-GPUs die NVMe-Laufwerke direkt ansteuern können. Das ist für die Ausführung großer KI-Modelle wie Kimi K3 relevant, dessen 2,8 Billionen Parameter nicht vollständig in die 128GB Grafikspeicher der Workstation passen. Der SSD-Verbund mit seiner hohen Bandbreite soll diese Einschränkung abfedern, indem er Modelldaten von den SSDs bereitstellt.

Über die überarbeitete Tinybox-Workstation von Tiny Corp haben wir diesen Monat bereits berichtet. Mit ihr hat das Unternehmen eine konfigurierbare G4/G5-Plattform eingeführt, deren GPU-Optionen von vier Radeon RX 9070 XT bis hin zu professionellen RTX-Grafikkarten von Nvidia reichen. Auch bis zu 16TB zusätzlicher RAID-Speicher sind möglich, allerdings in einer konventionelleren Konfiguration mit vier Laufwerken.

Im Konfigurator von Tiny Corp ist die Red Kimi für umgerechnet rund 26.900 Euro exklusive Mehrwertsteuer gelistet. Wie die anderen Tinybox-Systeme wird sie auf Bestellung gefertigt. Die voraussichtliche Lieferzeit beträgt eine bis acht Wochen, bezahlt wird per Banküberweisung. Für umgerechnet rund 24.200 Euro bietet Tiny Corp außerdem die günstigere Konfiguration mit sechs Radeon AI Pro R9700 und insgesamt 192GB Grafikspeicher an. Auf den speziellen SSD-Verbund der Red Kimi verzichtet diese Variante allerdings.

Die angegebene Leistung von 40 Tokens pro Sekunde mit Kimi K3 ist bislang lediglich eine Herstellerangabe. Unabhängige Benchmarks des Gesamtsystems liegen noch nicht vor. Die ungewöhnliche Kombination aus schnellem SSD-Verbund und AMD-Hardware könnte die Red Kimi dennoch zu einer interessanten Alternative etwa zum Mac Studio mit 512GB Arbeitsspeicher machen. Für weniger anspruchsvolle Anwendungsfälle sind bezahlbare Konfigurationen des Mac Studio bei Amazon zu finden.