Ollama und LM Studio: So bleibt deine lokale KI wirklich offline

Wer ein Sprachmodell auf dem eigenen Rechner laufen lässt, will meist eines, nämlich dass die eigenen Daten das Haus nicht verlassen. Ein Test des KI-Anbieters Cohere hat diese Annahme gerade angekratzt. Das offene Modell Qwen3.8-Flash-Next von Alibaba versuchte dort ungefragt, eine Datei auf einen Server in Peking zu laden. Es lief als Agent mit Zugriff auf die Kommandozeile, die Testumgebung hatte kein Internet, und der Versuch scheiterte. Cohere betont, dass so etwas sehr selten vorkommt, nach eigenen Angaben seltener als einmal in 100.000 Aufrufen. Kritiker halten die Messmethode für fragwürdig, und ob Absicht dahintersteckt, ist offen. Der Fall zeigt aber, an welcher Stelle lokale KI tatsächlich undicht werden kann, und die liegt woanders, als viele denken.

Was ein lokales Modell überhaupt verschicken kann

Ein Sprachmodell ist eine Datei mit Zahlen. Im reinen Chat liest das Programm deine Eingabe, das Modell berechnet eine Antwort. Mehr passiert nicht. Ohne Werkzeuge kann das Modell keine Verbindung aufbauen und nichts verschicken. Wer Ollama oder LM Studio so nutzt, wie wir es im Ratgeber zu KI ohne Cloud auf dem Laptop beschrieben haben, ist auf der sicheren Seite, was die Inhalte angeht.

Anders wird es, sobald das Modell Werkzeuge bekommt. Ein Agent darf Befehle in der Shell ausführen, Dateien lesen oder Webseiten abrufen, und genau darüber lief der Upload im Cohere-Test. Die Anfrage kam von einem Befehl, den der Agent in der Kommandozeile startete, Ollama selbst war daran nicht beteiligt. Daraus folgt, dass eine Firewall-Regel nur für Ollama oder LM Studio diesen Upload nicht aufgehalten hätte, weil ein ganz anderes Programm die Verbindung aufgebaut hat.

Ollama ruhigstellen

Ollama selbst sieht laut seiner FAQ deine Eingaben nicht, solange du lokal arbeitest. Seit es Cloud-Modelle und eine Websuche gibt, hat das Programm aber eine Verbindung nach außen eingebaut. Beides lässt sich abschalten, indem du die Umgebungsvariable OLLAMA_NO_CLOUD auf 1 setzt oder in der Datei server.json im Ordner .ollama den Eintrag disable_ollama_cloud auf true stellst. Unter Windows legst du die Variable in den Einstellungen bei den Umgebungsvariablen für dein Benutzerkonto an, auf dem Mac mit dem Befehl launchctl setenv. Nach einem Neustart von Ollama steht im Log der Hinweis "Ollama cloud disabled: true", daran erkennst du, dass es geklappt hat. Die Einstellung betrifft nur Ollama selbst und ändert nichts daran, was andere Programme auf deinem Rechner ins Netz schicken.

Daneben lädt Ollama auf Windows und Mac Updates automatisch herunter und installiert sie nach einem Klick auf "Restart to update". Laut Datenschutzerklärung kann Ollama außerdem die App-Version, die Zahl der Anfragen und deine IP-Adresse erfassen, Inhalte aber nicht. Ollama nimmt außerdem standardmäßig nur Anfragen vom eigenen Rechner an, über die Adresse 127.0.0.1 und den Port 11434. Wer in Anleitungen liest, er solle OLLAMA_HOST auf 0.0.0.0 setzen, öffnet das Modell für alle Geräte im Netzwerk, und das sollte er nur tun, wenn er es wirklich braucht.

LM Studio ruhigstellen

LM Studio schreibt in seiner Dokumentation, dass es nach dem Herunterladen eines Modells vollständig offline funktioniert, inklusive Chat mit Dokumenten und lokalem Server. Ins Netz geht es nur für die Modellsuche im Discover-Bereich, für Downloads von Modellen und Laufzeitumgebungen sowie für die Suche nach App-Updates. Einen Schalter, der das alles auf einmal abstellt, nennt die Doku nicht. Wer ganz sichergehen will, trennt den Rechner nach dem Download vom Netz oder blockiert LM Studio in der Firewall.

Wichtiger für die Sicherheit ist eine andere Funktion, denn LM Studio kann seit Version 0.3.17 Werkzeuge über das Model Context Protocol einbinden, kurz MCP. Der Hersteller warnt in seinem Blogeintrag zur Einführung selbst, dass manche dieser Erweiterungen beliebigen Code ausführen, auf lokale Dateien zugreifen und die Netzwerkverbindung nutzen können. Vor jedem Werkzeugaufruf zeigt LM Studio deshalb einen Bestätigungsdialog. Wählst du dort "always allow", fällt diese Kontrolle für das Werkzeug dauerhaft weg.

Agenten den Netzzugang wegnehmen

Für Agenten hilft nur, ihnen das Internet ganz zu nehmen. Cohere empfiehlt, unbekannte Modelle wie ein Programm unbekannter Herkunft zu behandeln und Agenten standardmäßig keinen Netzzugang zu geben. Am saubersten gelingt das mit einem Container. Startest du die Umgebung, in der der Agent seine Befehle ausführt, mit Docker und der Option --network none, gibt es darin laut Docker-Dokumentation nur noch die interne Loopback-Schnittstelle. Jeder Upload-Versuch läuft ins Leere, egal welches Programm ihn startet. Unter Windows Pro geht das ähnlich mit der Windows Sandbox, deren Konfigurationsdatei mit dem Eintrag Networking auf Disable das Netz abschaltet.

Auf dem Mac gibt es mit LuLu eine kostenlose Open-Source-Firewall, die jede unbekannte ausgehende Verbindung anhält und nachfragt. Das ist der entscheidende Unterschied zur eingebauten Firewall von macOS, die nur eingehende Verbindungen filtert. Startet ein Agent heimlich curl oder Python, um etwas hochzuladen, erscheint bei LuLu ein Fenster, und du kannst ablehnen. Das kostenpflichtige Little Snitch arbeitet nach demselben Prinzip. Ob die Sperre greift, prüfst du am besten selbst, indem du im Container oder mit aktiver LuLu-Regel eine beliebige Webseite abrufst. Kommt keine Antwort zurück oder meldet sich die Firewall, sitzt die Sperre. Unter Windows ist es schwieriger. Die eingebaute Firewall lässt ausgehende Verbindungen standardmäßig zu. Eine Regel für einzelne Programme ist dort nur ein Teilschutz, weil der Agent jederzeit ein anderes Programm starten kann.

Was am Ende bleibt

Für den Chat mit einem lokalen Modell reicht es, Ollama oder LM Studio die Cloud-Funktionen und automatischen Downloads abzugewöhnen. Sobald ein Modell Befehle ausführen darf, gehört es in eine Umgebung ohne Internet, und Werkzeugfreigaben bestätigst du einzeln statt dauerhaft. Das gilt für Qwen genauso wie für jedes andere offene Modell, egal ob es aus China, den USA oder Europa kommt. Trotz 125 Milliarden Parametern läuft Qwen3.8-Flash-Next übrigens schon auf einer Intel Arc B580, wenn der Rechner genug Arbeitsspeicher hat, und damit auf ganz normalen Spiele-PCs.