LLM-8850: Erweiterungskarte macht etwa aus dem Raspberry Pi 5 eine lokale AI-Plattform

Die cloudbasierte Nutzung von KI-Modelle dürfte für den typischen Endnutzer eine sehr bequeme und vom eigentlichen Gerät unabhängige Nutzungsart sein, wobei in verschiedenen Situationen aber eine lokale Nutzung solcher Modelle gewünscht sein kann - sei es aus datenschutzrechtlichen Bedenken oder nur aufgrund einer nicht vorhandenen und zuverlässigen Anbindung an das Internet. Die Leistung solcher, lokalen KI-Lösungen muss dabei nicht unbedingt ausreichend sein, um auch LLMs wie gewohnt zu beschleunigen, der Fokus könnte eher etwa auf der KI-unterstützten, automatisierten Auswertung von Video liegen. Eine mögliche, konkrete Anwendung könnte etwa die Zählung von Personen sein, die einen Eingang passieren.

Mit dem M5Stack LLM-8850 gibt es nun eine weitere Erweiterungskarte, die eben eine Beschleunigung von KI-Anwendungen entspricht. Dabei kommt ein Axera AX8550-SoC mit vier Cortex-A55-Rechenkernen und einer NPU mit einer Leistung von 24 TOPs zum Einsatz. Zum Vergleich: In modernere AMD- und Intel-CPUs integrierte NPUs bringen eine rund doppelt so hohe Leistung mit. Eine VPU ist vorhanden, diese kann auch bis zu 16 Videostreams mit Full HD-Auflösung gleichzeitig decodieren. Die Platine bringt einen 8 Gigabyte großen Arbeitsspeicher mit. Die Karte ist nicht nur die blanke Erweiterungskarte, stattdessen sind auch ein Kühlkörper und ein Lüfter gleich verbaut.

Angebunden wird die Karte über einen M.2 Key M-Anschluss, wobei zwei PCIe 2.0-Lanes genutzt werden. Die 42,6 x 24 x 9,7 Millimeter große Erweiterungskarte ist etwa an einem Raspberry Pi 5 (im Preisvergleich) oder auch anderen Mini-PCs nutzbar, unterstützt wird die Nutzung mit verschiedenen AI-Frameworks. Beim Hersteller wird die Platine für einen Preis von 99 Dollar angeboten, über die Versandbedingungen sollten sich potenzielle Besteller vorher gut informieren.