Tiiny AI Pocket Lab: Mini-KI-Rechner mit 190 TOPS bringt LLM-Power auf den Schreibtisch – ganz ohne Cloud

Tiiny AI Inc. bringt mit dem Tiiny AI Pocket Lab einen kompakten KI-Beschleuniger auf den Markt. Solche Systeme sind im Prinzip nicht mehr ganz neuartig, allerdings soll sich das Tiiny AI Pocket Lab auch durch die kompakten Abmessungen auszeichnen. So misst dieses nur 14,2 x 8 x 2,53 Zentimeter und bringt 300 Gramm auf die Waage und dürfte sich somit völlig problemlos mitnehmen lassen. Die Leistung wird dabei mit bis zu 190 TOPS angegeben, wobei diese Angabe bei der Nutzung des SoC und der extra für KI-Anwendungen gedachten NPU gilt. Die Leistung soll ausreichen, um LLMs mit 120 Milliarden Parametern lokal zu beschleunigen - mit bis zu über 20 Token in der Sekunde. Vereinfacht gesagt lassen sich damit Services wie ChatGPT auch lokal nutzen, wodurch kein Abo nötig ist, allerdings kann so auch Bedenken in Bezug auf die Vertraulichkeit der geteilten Informationen Rechnung getragen werden. Denkbar wäre es damit, in eher streng regulierten Unternehmenskontexten beispielsweise Dokumente auszuwerten.

Genutzt wird ein SoC mit 12 ARM-Rechenkernen. Der Arbeitsspeicher ist 80 Gigabyte groß, ein größerer Bedarf an schnell adressierbarem Speicher ist typisch und wichtig für solche KI-Systeme. Angegeben wird eine TDP von 30 Watt und eine typische Leistungsaufnahme von 65 Watt, wodurch die Versorgung mit elektrischer Energie nicht nur über ein Netzteil, sondern mit einer Powerbank möglich wird. Beworben wird die einfache Inbetriebnahme, verschiedene Open-Source-Modelle wie OpenAI GPT-OS und Llama lassen sich mit einem Klick installieren. Die Nutzung als Standalone-Gerät ist dabei offenbar nicht möglich, dementsprechend muss das System etwa an einen Laptop angebunden werden. Zum Preis oder der Verfügbarkeit liegen aktuell noch keine Informationen vor.