Faire tourner des LLM locaux avec n8n et Ollama (IA privée, sans coûts d’API)
· Par AI Compare
Des workflows IA privés sans coût par token : connectez n8n à des modèles locaux avec Ollama.
Pourquoi faire tourner des LLM locaux avec n8n
Ollama exécute des modèles à poids ouverts (Llama, Qwen, Mistral, Gemma et d’autres) sur votre propre machine ou serveur. Connecté à n8n, il vous permet de créer des workflows IA où :
- aucune donnée ne quitte votre infrastructure, utile pour les documents confidentiels et les données clients.
- il n’y a aucun coût d’API par token ; vous ne payez que le matériel.
- il n’y a aucune limite de débit imposée par un fournisseur externe.
En contrepartie, les modèles locaux sont généralement moins performants que les meilleurs modèles cloud, et il vous faut assez de RAM (idéalement un GPU).
Guide matériel
| Taille du modèle | RAM nécessaire (env.) | Adapté pour |
|---|---|---|
| 1–4 milliards de paramètres | 4–8 Go | Classification, extraction, résumés courts |
| 7–9 milliards | 8–16 Go | Chat général, rédaction, agents simples |
| 14 milliards et + | 16–32 Go et +, GPU recommandé | Meilleur raisonnement, documents plus longs |
Un petit VPS sans GPU fera tourner de petits modèles lentement. Au-delà d’un usage léger, utilisez une machine avec GPU ou un Mac avec Apple Silicon.
Étape 1 : installer Ollama et télécharger un modèle
Installez Ollama depuis ollama.com, puis :
ollama pull llama3.1:8b
ollama run llama3.1:8b "Hello"
Ollama expose une API sur le port 11434.
Étape 2 : connecter n8n à Ollama
Dans n8n, créez un credential Ollama avec l’URL de base :
| Configuration | URL de base |
|---|---|
| n8n et Ollama installés directement sur la même machine | http://localhost:11434 |
| n8n dans Docker, Ollama sur l’hôte | http://host.docker.internal:11434 (sous Linux, ajoutez --add-host=host.docker.internal:host-gateway) |
| Les deux dans le même projet Docker Compose | http://ollama:11434 (le nom du service) |
L’erreur la plus fréquente consiste à utiliser localhost depuis le conteneur n8n : cela pointe vers le conteneur lui-même, pas vers votre ordinateur.
Étape 3 : construire le workflow de chat
- Chat Trigger : vous donne une fenêtre de chat dans n8n (et une URL de chat publique en option).
- AI Agent ou Basic LLM Chain.
- Sous-nœud Ollama Chat Model : choisissez le modèle téléchargé.
- Simple Memory en option pour un chat sur plusieurs échanges.
Ouvrez le panneau de chat et envoyez un message. La première réponse peut être plus lente le temps que le modèle se charge en mémoire.
Cas d’usage qui fonctionnent bien en local
- Résumer des documents internes et des comptes rendus de réunion.
- Classer des tickets de support ou des e-mails.
- Extraire des champs de factures ou de contrats en JSON.
- RAG privé sur les fichiers de l’entreprise avec Embeddings Ollama et une base vectorielle locale (Qdrant ou Postgres avec pgvector).
Conseils
- Les petits modèles suivent moins fiablement les instructions d’appel d’outils. Limitez les agents à un ou deux outils, ou utilisez une Basic LLM Chain avec sortie structurée.
- Réglez une température basse (0–0,3) pour l’extraction et la classification.
- Le « self-hosted AI starter kit » de n8n regroupe n8n, Ollama, Qdrant et Postgres dans Docker Compose : un moyen rapide de tout faire tourner ensemble.
