Entwickler ergattert Hardware im Wert von 68.000€ mit 960 GB DDR5-Speicher und Nvidia GH200 Superchip für ein Zehntel des Preises
Vor weniger als einer Woche berichteten wir über einen Reddit-Nutzer, dem es gelang, einen leistungsstarken und gut ausgestatteten Gaming-PC im Wert von etwa 3.000 US-Dollar (etwa 2.560 Euro) für nur 600 US-Dollar (etwa 510 Euro) zu erwerben. Witzigerweise hat allein der im System verbaute 64-GB-DDR5-Arbeitsspeicher zum Zeitpunkt der Erstellung dieses Artikels einen Wert von 880 US-Dollar (rund 740 Euro). Dies ist auf die anhaltende DRAM-Lieferknappheit zurückzuführen, die einen beispiellosen Anstieg der Speicherpreise verursacht hat.
80.000 $ Hardware für 8.000 $: KI-Entwickler landet den Jackpot
Nun gelang es einem KI-Entwickler, ebenfalls über Reddit, ein verführerisches Schnäppchen zu machen: Ein gebrauchter KI-Server mit zwei Nvidia GH200 Superchips wurde für nur 8.000 US-Dollar (etwa 6.820 Euro) verkauft. Neu würde das System schätzungsweise 80.000 US-Dollar (etwa 68.200 Euro)kosten, wahrscheinlich sogar mehr, da allein die Nvidia H100 laut dem Autor etwa 40.000 US-Dollar (rund 34.100 Euro) wert ist. Ach ja, und das System verfügt über 960 GB LPDDR5X-Speicher. Die genauen Details des Systems wurden von dem Käufer David Noel Ng unten aufgeführt:
- zwei Nvidia-Grace-Hopper-GH200-Superchips, jeweils mit einer 72-Kern-ARM-CPU und 480 GB LPDDR5X-Speicher,
- eine Hopper-H100-GPU mit 96 GB HBM3-Speicher,
- ein NVLink-C2C mit 900 GB/s Bandbreite,
- ein 3-kW-Netzteil,
- zwei PCIe-Gen4-M.2-22110/2280-Steckplätze,
- vier FHFL-PCIe-Gen-5-x16-Steckplätze,
- RJ45 und Mini DisplayPort
Nvidia-GH200-Superchip zum Schnäppchenpreis? Es gibt einen Haken:
In einer anderen Antwort enthüllte der Verkäufer, dass das System aufgrund seines schlechten Zustands zu einem so günstigen Preis verkauft wurde. Es war von Flüssigkeits- auf Luftkühlung umgerüstet worden. Darüber hinaus erwähnte er, dass eine Montage in einem typischen Server-Rack nicht möglich sei, was normalerweise eine Voraussetzung ist. David ließ sich von diesen Nachteilen jedoch nicht beirren und fuhr selbst zum Verkäufer, um das System zu überprüfen.
Glücklicherweise stellte er fest, dass der Verkäufer einen guten Ruf hatte und etwa zwei Stunden von seinem Wohnort entfernt ansässig war. Zu Hause angekommen, besorgte David einen Staubsauger und einige Liter Reinigungslösung, bevor er sich an die Arbeit machte. Nachdem der Server gereinigt war, wurde eine neue Wasserkühlung installiert und einige Reparaturen durchgeführt. Die größte Herausforderung war die Behebung eines fehlerhaften Temperatursensors, der den Server wiederholt zum Absturz brachte. Aber am Ende konnte alles behoben werden.
Massive LLMs direkt zu Hause: 235B-Parameter-Modelle laufen reibungslos
David scheint mit seinem Kauf sehr zufrieden zu sein – ebenso wie mit seiner dadurch gewonnenen Fähigkeit, massive LLMs (235B) direkt zu Hause auszuführen. Natürlich war der gesamte Prozess sehr arbeitsintensiv und die meisten Schritte dürften die Fähigkeiten von Personen, die mit Enterprise-Hardware völlig unerfahren sind, übersteigen. Aber angesichts der Tatsache, dass allein der 960 GB DDR5-Speicher inzwischen mehr wert ist als die gesamten Systemkosten, war es definitiv ein Happy End.
Quelle(n)
David Noel Ng, Reddit, entdeckt bei Tom's Hardware
Keine Kommentare zum Artikel
