Ollama für Mac: Lokale Sprachausgabe jetzt auch auf Deutsch

Ollama kann jetzt sprechen. Die beliebte App, mit der sich KI-Sprachmodelle lokal ausführen lassen, unterstützt ab Version 0.40.11 erstmals Text-to-Speech – vorerst nur auf Macs mit Apple Silicon. Das Ollama-Team setzt dafür auf Phonon, eine Familie kleiner Sprachmodelle des französischen Start-ups Gradium. Und, für den deutschsprachigen Raum nicht ganz unwichtig: Deutsch ist von Anfang an dabei.
Fünf Sprachen, zwei Lizenzen
Neben dem englischen Modell gibt es eigene 40M-Modelle für Deutsch, Französisch, Spanisch und Portugiesisch sowie ein mehrsprachiges, das alle fünf beherrscht. Zur Auswahl stehen Dutzende Stimmen, gewählt wird per Parameter. Einen Haken hat die Sache allerdings: Nur das englische Phonon steht unter Apache 2.0, die anderssprachigen Modelle erscheinen unter CC BY-NC 4.0 und sind damit auf nicht kommerzielle Nutzung beschränkt. Wer eine deutsche Vorlesefunktion in ein Produkt einbauen will, muss also genauer hinsehen.
Vorlesen, während die KI noch schreibt
Praktisch ist vor allem, wie sich das Ganze verketten lässt. Die Ausgabe eines Chatmodells kann direkt an Phonon weitergereicht werden, und weil Text gesprochen wird, sobald er ankommt, beginnt die Antwort schon nach dem ersten Satz. Entwickler sprechen die Modelle über den OpenAI-kompatiblen Endpunkt /v1/audio/speech an – bestehender Code braucht nur eine neue Basisadresse. Ausgegeben wird 24-kHz-Mono, standardmäßig als WAV.
Unter der Haube nutzt Ollama Apples MLX-Framework. Auf einem MacBook Pro mit M5 Max will Ollama 35 % schneller sein als Gradiums eigene Laufzeitumgebung, bei gleicher Wortfehlerrate wie die Referenzimplementierung in Hugging Face Transformers. Das sind Herstellerangaben, und der Vergleich hinkt etwas: Ollama rechnet in bf16, Gradiums Laufzeit teils mit 8-Bit-Gewichten.
Windows und Linux sollen „bald“ folgen, ein Datum nennt Ollama nicht. Für Mac-Nutzer, die ihre Daten ohnehin nicht in die Cloud schicken wollen, ist das trotzdem ein schöner Schritt: Ein Chatbot, der lokal denkt und lokal auf Deutsch vorliest, war bisher eine Bastelei – jetzt ist es ein Befehl im Terminal.
Quelle(n)
Ollama Blog
9to5Mac
Bild: Ollama





