Nvidia RTX 5090 läuft dank neuem Treiber auf macOS

Apple und Nvidia haben ihre Partnerschaft schon vor vielen Jahren beendet, wodurch Mac-Nutzer ohne offiziellen GPU-Support geblieben sind. Dieser Bruch hat CUDA auf der Plattform praktisch beendet und Entwickler sowie Forscher zu Apples eigenem Metal-Framework gedrängt. Ein neuer Open-Source-Treiber von Tiny Corp hat dieses Problem nun jedoch gelöst und bringt Nvidia-Blackwell-Hardware zurück ins macOS-Ökosystem.

Das Projekt nutzt eine eigene Kernel-Erweiterung namens Tiny GPU. Sie ermöglicht es, dass externe GPUs wie die Nvidia GeForce RTX 5090 direkt über Thunderbolt 5 oder USB4 mit Apple-Silicon-Macs zusammenarbeiten. Das ist für sich genommen bereits ein großer technischer Schritt, da virtuelle Maschinen dadurch komplett überflüssig werden. In einer Demo von Alex Ziskind hat sich eine RTX 5090 mit 32GB VRAM erfolgreich mit einem Mac Mini M4 Pro (bei Amazon bestellbar) betreiben lassen.

Die Verbindung ist zwar stabil, der aktuelle Software-Stack befindet sich aber noch in einem frühen Stadium. Der Treiber setzt auf den Tiny-Grad-Compiler statt auf native Optimierungen für Metal oder CUDA. Dadurch entsteht bei rechenintensiven Aufgaben ein Leistungsnachteil. Beim Ausführen des Modells Llama 3.1 8B hat das Setup etwa 7,48 Token pro Sekunde erreicht. Das ist zwar ein großer Fortschritt bei der Kompatibilität, laut Alex aber immer noch langsamer als natives Llama CPP unter Metal, das auf vergleichbarer Hardware fast zehnmal so schnell ist.

Der eigentliche Wert des Projekts liegt dennoch im Potenzial für künftige Optimierungen. Der aktuelle Flaschenhals ist nicht das Thunderbolt-5-Kabel, das die Übertragung der Modellgewichte effizient übernimmt, sondern die Effizienz der automatisch erzeugten Kernel. Für einfache Chat-Oberflächen reagiert das Blackwell-Setup zügig und erreicht eine "Time-to-First-Token", die drei- bis viermal schneller ist als bei nativen Metal-Lösungen.

Zur Installation gehören die Freigabe einer Systemerweiterung und das Ausführen einer compilerbasierten Pipeline auf Docker-Basis. Eine schlanke Metal-Umgebung ersetzt das zwar noch nicht, es ist aber trotzdem die erste funktionsfähige Lösung seit Jahren.