Lokale LLMs mit n8n und Ollama betreiben (private KI, keine API-Kosten)
· Von AI Compare
Private KI-Workflows ohne Kosten pro Token: n8n mit Ollama an lokale Modelle anbinden.
Warum lokale LLMs mit n8n betreiben
Ollama betreibt Open-Weight-Modelle (Llama, Qwen, Mistral, Gemma und andere) auf Ihrem eigenen Rechner oder Server. Verbunden mit n8n erhalten Sie KI-Workflows, bei denen:
- keine Daten Ihre Infrastruktur verlassen, nützlich für vertrauliche Dokumente und Kundendaten.
- keine API-Kosten pro Token anfallen; Sie zahlen nur für die Hardware.
- keine Rate Limits externer Anbieter greifen.
Der Kompromiss: Lokale Modelle sind meist weniger leistungsfähig als die besten Cloud-Modelle, und Sie brauchen genug RAM (idealerweise eine GPU).
Hardware-Leitfaden
| Modellgröße | Benötigter RAM (ca.) | Gut für |
|---|---|---|
| 1–4 Mrd. Parameter | 4–8 GB | Klassifizierung, Extraktion, kurze Zusammenfassungen |
| 7–9 Mrd. | 8–16 GB | Allgemeiner Chat, Entwürfe, einfache Agenten |
| 14 Mrd.+ | 16–32 GB+, GPU empfohlen | Besseres Schlussfolgern, längere Dokumente |
Ein kleiner VPS ohne GPU führt kleine Modelle nur langsam aus. Für mehr als leichte Nutzung verwenden Sie einen Rechner mit GPU oder einen Mac mit Apple Silicon.
Schritt 1: Ollama installieren und ein Modell laden
Installieren Sie Ollama von ollama.com und führen Sie dann aus:
ollama pull llama3.1:8b
ollama run llama3.1:8b "Hello"
Ollama stellt eine API auf Port 11434 bereit.
Schritt 2: n8n mit Ollama verbinden
Legen Sie in n8n ein Ollama-Credential mit dieser Basis-URL an:
| Setup | Basis-URL |
|---|---|
| n8n und Ollama direkt auf demselben Rechner installiert | http://localhost:11434 |
| n8n in Docker, Ollama auf dem Host | http://host.docker.internal:11434 (unter Linux --add-host=host.docker.internal:host-gateway ergänzen) |
| Beide im selben Docker-Compose-Projekt | http://ollama:11434 (der Dienstname) |
Der häufigste Fehler ist localhost aus dem n8n-Container heraus: Das zeigt auf den Container selbst, nicht auf Ihren Rechner.
Schritt 3: Den Chat-Workflow bauen
- Chat Trigger: liefert Ihnen ein Chatfenster in n8n (und optional eine öffentliche Chat-URL).
- AI Agent oder Basic LLM Chain.
- Sub-Node Ollama Chat Model: das geladene Modell auswählen.
- Optional Simple Memory für Chats über mehrere Nachrichten.
Öffnen Sie das Chat-Panel und senden Sie eine Nachricht. Die erste Antwort kann länger dauern, während das Modell in den Speicher geladen wird.
Anwendungsfälle, die lokal gut funktionieren
- Interne Dokumente und Besprechungsnotizen zusammenfassen.
- Support-Tickets oder E-Mails klassifizieren.
- Felder aus Rechnungen oder Verträgen als JSON extrahieren.
- Privates RAG über Unternehmensdateien mit Embeddings Ollama und einem lokalen Vektorspeicher (Qdrant oder Postgres mit pgvector).
Tipps
- Kleinere Modelle befolgen Anweisungen zum Aufruf von Werkzeugen weniger zuverlässig. Beschränken Sie Agenten auf ein oder zwei Werkzeuge oder nutzen Sie eine Basic LLM Chain mit strukturierter Ausgabe.
- Setzen Sie für Extraktion und Klassifizierung eine niedrige Temperatur (0–0,3).
- Das „self-hosted AI starter kit“ von n8n bündelt n8n, Ollama, Qdrant und Postgres in Docker Compose und bringt alles schnell gemeinsam zum Laufen.
