Dein eigenes ChatGPT, offline: KI ohne Cloud auf dem Laptop

Jedes Mal, wenn du ChatGPT oder einen anderen Cloud-Dienst etwas fragst, verlässt deine Eingabe deinen Rechner. Sie landet auf den Servern des Anbieters und wird dort verarbeitet, je nach Dienst und Einstellung auch gespeichert oder fürs Training genutzt. Für die meisten Fragen ist das egal. Bei sensiblen Dingen, internen Dokumenten oder einfach aus Prinzip willst du das vielleicht nicht. Die gute Nachricht: Du kannst eine Chat-KI komplett offline auf deinem eigenen Laptop laufen lassen. Kein Konto, kein Abo, keine Cloud. Und einen Hochleistungsrechner brauchst du 2026 dafür nicht mehr.

Warum überhaupt lokal?

Der stärkste Grund ist Datenschutz, und zwar handfester als bei jedem Cloud-Dienst. Wenn das Modell auf deinem Gerät läuft, gibt es keinen Server, der mitliest, keine AGB, die sich morgen ändern, und keine Datenpanne bei einem Anbieter, die dich trifft. Deine Eingaben bleiben privat, weil sie technisch gar nicht weg können. Dazu kommt: Es kostet nichts außer Strom, es funktioniert ohne Internet, und die Antwort kommt ohne Umweg über die Cloud oft schneller. Ehrlich bleiben muss man bei den Grenzen. Ein lokales Modell ist nicht so schlau wie die Cloud-Flaggschiffe von OpenAI oder Google, und bei sehr langen Dokumenten stößt es früher an seine Grenzen. Für den Alltag mit Texten, Zusammenfassungen, Übersetzungen und Code reicht es aber erstaunlich weit.

Was dein Laptop dafür braucht

Entscheidend ist nicht der Prozessor, sondern der Arbeitsspeicher und, falls vorhanden, der Grafikspeicher. Und hier täuschen viele Faustregeln: Ein 8-Milliarden-Modell läuft eben nicht auf 8 GB RAM. Ohne Grafikkarte teilt sich das Modell den Arbeitsspeicher mit Windows und deinen laufenden Programmen, und davon gehen schnell 4 bis 6 GB weg, bevor das Modell überhaupt geladen ist. Ein solches Modell braucht deshalb real eher 16 GB RAM. Mit einer Grafikkarte entspannt sich das, weil das Modell dann in deren Speicher liegt und der Arbeitsspeicher frei bleibt. Kurz: Mit 8 GB geht nur das Kleinste, ab 16 GB wird es richtig brauchbar, eine Grafikkarte oder ein moderner NPU-Chip beschleunigen spürbar.

Ein Sonderfall sind Macs mit Apple-Chip. Dort teilen sich Prozessor und Grafik denselben Speicher, das nennt sich Unified Memory. Fast dein ganzer Arbeitsspeicher kann also als Grafikspeicher fürs Modell dienen. In der Praxis reservieren die Programme standardmäßig rund 70 Prozent davon, ein Mac mit 32 GB hat also grob 24 GB fürs Modell frei. Das ist der Grund, warum Macs bei lokaler KI oft die unkompliziertere Wahl sind: Ein Mac mit 64 GB stemmt Modelle, für die du am Windows-PC zwei teure Grafikkarten bräuchtest. Du kaufst einfach genug Speicher, statt dich um eine separate Grafikkarte zu kümmern.

Welches Modell auf welchem Gerät läuft, zeigt die Tabelle.

Die Programme: womit du startest

Du brauchst zwei Dinge, ein Programm und ein Modell. Alle Programme sind kostenlos und laufen auf Windows, Mac und Linux. LM Studio ist für die meisten der beste Einstieg, grafische Oberfläche, kein Terminal, Modell aus einer Liste wählen und loschatten, fühlt sich an wie ein lokales ChatGPT. Jan geht in dieselbe Richtung und ist Open Source. GPT4All ist noch eine Spur simpler zum schnellen Testen. Ollama ist die Wahl für Fortgeschrittene, läuft über die Kommandozeile und lässt sich in eigene Programme einbinden, für den Einstieg aber nicht nötig. Unter der Haube nutzen sie meist dieselbe Technik, große Tempo-Unterschiede gibt es selten. Du wählst vor allem nach Oberfläche.

Die Modelle: welches für dich

Das Modell ist das eigentliche Gehirn. Für Deutsch und normale Büroaufgaben ist Qwen3 in der 8B- oder 14B-Variante eine sehr gute Wahl, es spricht sauberes Deutsch und läuft auf Mittelklasse-Hardware. Gemma 3 von Google in der 12B-Version ist stark ab 16 GB RAM, Llama 4 Scout ein solider Allrounder. Ist dein Laptop schwächer, nimmst du ein kleines Modell wie Phi-4-mini mit 3,8 Milliarden Parametern, das läuft sogar ohne dedizierte Grafikkarte. Die Zahl hinter dem Namen steht für die Größe. Grob rechnest du bei der üblichen Q4-Einstellung ein halbes Gigabyte Speicher pro Milliarde Parameter. Ein 8B-Modell sind also rund 5 GB, plus etwas Puffer für den Kontext und den Aufschlag fürs System. Deshalb laufen selbst größere Modelle auf normaler Hardware, aber eben nicht auf dem kleinsten RAM.

Wenn das Modell nicht ganz in die Grafikkarte passt

Was, wenn dein Wunschmodell etwas größer ist als der Grafikspeicher? Dann musst du nicht aufgeben. Die Programme können das Modell aufteilen, ein Teil läuft auf der Grafikkarte, der Rest im normalen Arbeitsspeicher. Das nennt sich Auslagern oder GPU-Offloading. In LM Studio schiebst du dafür einfach einen Regler, in Ollama ist es eine Einstellung. So läuft auch ein Modell, das allein nicht in den Grafikspeicher gepasst hätte. Der Haken: Der ausgelagerte Teil rechnet über den Prozessor und ist langsamer, das merkst du an der Antwortgeschwindigkeit. Immer noch flotter als ganz ohne Grafikkarte, aber kein voller Turbo. Zwei Dinge noch: Genug Arbeitsspeicher für das ganze Modell brauchst du trotzdem, das Auslagern verlagert nur, es zaubert keinen Speicher herbei. Und auf die Festplatte auslagern geht theoretisch auch, ist dann aber so langsam, dass es keinen Spaß macht.

In sechs Schritten eingerichtet

Am Beispiel LM Studio, für die anderen läuft es fast identisch. Erstens, LM Studio von der offiziellen Seite laden und installieren. Zweitens, im Programm die Modell-Suche öffnen und ein empfohlenes Modell wählen, etwa Qwen3 8B. Drittens, herunterladen, das dauert je nach Größe ein paar Minuten. Viertens, Modell laden und im Chatfenster die erste Frage stellen. Fünftens, wenn du magst, eigene Dateien anbinden, damit die KI mit deinen Notizen arbeitet. Sechstens, das Setup absichern, also nur vertrauenswürdige Modelle laden und das Programm aktuell halten. Mehr ist es nicht. Nach zehn Minuten hast du eine private KI, die ohne Internet läuft.

Wann sich die Cloud trotzdem lohnt

Lokal ist super für Datenschutz, Alltag und Offline-Nutzung. Willst du aber das absolut stärkste Modell, verarbeitest riesige Dokumente oder brauchst Bild- und Videogenerierung, führt kein Weg an den Cloud-Diensten vorbei. Was die kosten und welches Abo sich für wen lohnt, haben wir uns hier im Detail angeschaut. Viele fahren zweigleisig, die sensiblen Sachen lokal, den Rest in der Cloud.

Für wen lohnt sich der lokale Weg?

Wenn dir Datenschutz wichtig ist, du oft ohne Internet arbeitest oder keine laufenden Abo-Kosten willst, ist die lokale KI ideal. Für den Einstieg nimmst du LM Studio und Qwen3 8B, das läuft auf den meisten halbwegs aktuellen Laptops und liefert für den Alltag mehr als genug. Ausprobieren kostet nichts außer etwas Speicherplatz.

Übrigens läuft nicht nur Chat-KI lokal. Auch Bilder erzeugen und Sprache in Text umwandeln geht komplett offline auf dem eigenen Rechner. Dazu bald mehr.