KI ohne Cloud: Dieses Sprachmodell passt jetzt auf dein iPhone

Name: Apple iPhone 17 Pro Max
Brand: Apple

Das stark komprimierte KI-Modell Bonsai 27B läuft direkt auf dem iPhone, ganz ohne Cloud.

Das US-Startup PrismML hat mit Bonsai 27B ein extrem komprimiertes KI-Modell auf Basis von Alibabas Qwen3.6 veröffentlicht. Die kleinste Variante belegt nur 3,9 GB und passt damit erstmals auf ein iPhone 17 Pro. Apple prüft die Technik bereits. Was das Modell auf dem Handy leistet, was der Akku dazu sagt und wo die Grenzen liegen.

Steffen Zahn, Veröffentlicht am 17.07.2026 🇺🇸

Software

Große Sprachmodelle brauchen normalerweise ein Rechenzentrum oder wenigstens einen kräftigen PC mit viel Speicher. Das US-Startup PrismML, gegründet von Caltech-Forschern und finanziert unter anderem von Google und Khosla Ventures, hat am 14. Juli Bonsai 27B veröffentlicht: ein KI-Modell mit 27 Milliarden Parametern, dessen kleinste Variante nur noch 3,9 GB belegt. Damit passt ein Modell dieser Klasse erstmals in den Arbeitsspeicher eines iPhone 17 Pro. Wie du ein Sprachmodell auf dem eigenen Rechner einrichtest, zeigt unser Ratgeber KI ohne Cloud.

Von 54 GB auf unter 4 GB geschrumpft

Basis ist Alibabas offenes Qwen3.6 27B, das in voller Präzision rund 54 GB belegt. PrismML speichert jedes Gewicht des neuronalen Netzes mit 1 bis 2 Bit statt der üblichen 16. Heraus kommen zwei Varianten: eine Ternary-Version mit nominell 5,9 GB für Laptops und eine 1-Bit-Version mit 3,9 GB fürs Smartphone. Nach Herstellerangaben behält die Laptop-Variante über 15 Benchmarks hinweg 95 Prozent der Originalleistung, die Smartphone-Variante 90 Prozent. Mathematik und Programmieren bleiben fast unberührt. Die Gewichte sind frei unter Apache-2.0-Lizenz verfügbar und laufen über Apples MLX-Framework auf iPhone, iPad und Mac sowie über CUDA auf Nvidia-Grafikkarten.

Was das iPhone schafft und wo die Grenzen liegen

Laut Whitepaper erzeugt die 3,9-GB-Variante auf einem iPhone 17 Pro Max (hier bei Amazon erhältlich) rund 11 Tokens pro Sekunde. Eine volle Akkuladung reicht für etwa 67.000 Tokens, nach gut fünf Minuten Dauerbetrieb drosselt der Chip. Die Benchmark-Zahlen stammen allerdings vom Hersteller selbst. Die größten Einbußen zeigt seine eigene Tabelle beim Bildverständnis und bei der Werkzeug-Nutzung, also genau dort, wo KI-Agenten stark sein müssen. Dazu kommt, dass die realen Downloads der Laptop-Variante je nach Runtime 7,2 bis 8,5 GB groß sind, deutlich mehr als beworben. Eine fertige App für jedermann gibt es noch nicht, die Zielgruppe sind zunächst Entwickler und Bastler. Wer das Modell nur ausprobieren will, findet auf Hugging Face eine Browser-Demo.

Apple schaut sich die Technik bereits an

Firmenchef Babak Hassibi sagte gegenüber CNBC, Apple und weitere Unternehmen prüfen die Modelle derzeit auf Tempo, Energieverbrauch und Leistung. Die Gespräche stehen demnach ganz am Anfang. Für dich als Nutzer zählt vor allem die Richtung: Je mehr KI direkt auf dem Gerät läuft, desto weniger persönliche Daten wandern in die Cloud. Was deine KI heimlich speichert und wie du das abstellst, haben wir bereits ausführlich aufgeschrieben.