Riesen-Erfolg und noch günstiger: Tiiny AI will lokale KI-Nutzung demokratisieren

Das Tiiny AI Pocket Lab ist ab sofort im Rahmen einer Crowdfunding-Kampagne sozusagen vorbestellbar. Dabei gelten die für solche Schwarmfinanzierungen üblichen finanziellen Risiken, die auf keinen Fall unterschätzt werden sollten. So ist unklar, ob das System denn in der gewünschten und beworbenen Qualität ausgeliefert wird oder ob im schlimmsten Fall denn überhaupt keine Lieferung erfolgt. Bei Tiiny AI handelt es sich dabei auch nicht um ein bereits etabliertes Unternehmen. Gleichwohl konnte Tiiny AI schon viele Unterstützer überzeugen, so sind schon deutlich über 700.000 Euro zusammengekommen. Unterstützer werden mit einem Rabatt in Höhe von aktuell 30 Prozent gelockt und erhalten das Tiiny AI Pocket Lab aktuell für einen Beitrag ab 1.203 Euro. In diesem Preis ist die Einfuhrumsatzsteuer noch nicht enthalten.

Es handelt sich um ein mit 142 × 80 × 22 Millimetern und 300 Gramm relativ kompaktes und leichtes System, welches faktisch eine externe Beschleunigerkarte für KI-Anwendungen darstellt. Genutzt werden dabei sowohl ARM-Rechenkerne als auch eine dedizierte NPU, welche eine Leistung von 160 TOPS (INT8) bieten soll. Damit soll sich etwa GPT-OSS-120B lokal nutzen lassen. Als durchschnittliche Output-Geschwindigkeit werden 18 bis 40 Token in der Sekunde angegeben - was sich allerdings aktuell noch nicht unabhängig verifizieren lässt. Die TDP wird mit 30 Watt angegeben, es ist ein LPDDR5X-Arbeitsspeicher mit einer Kapazität von 80 Gigabyte verbaut und die PCIe 4.0-SSD bietet eine Kapazität von einem Terabyte.