Comment Choisir Votre Premier Modèle d'IA Locale

Choisir son premier modèle d'IA locale est plus simple qu'il n'y paraît : il ne s'agit pas de trouver le meilleur modèle absolu, mais celui qui correspond à votre usage et à la mémoire dont vous disposez. Trois critères — ce que vous avez à faire, la RAM ou VRAM disponible, la taille de contexte voulue — suffisent pour y répondre en dix minutes.

Les trois critères qui comptent

1. L'usage d'abord, la fiche technique ensuite

Le modèle se choisit selon ce qu'il doit faire, pas selon un classement de benchmarks :

• Conversation et assistance au quotidien : un modèle de 7 à 8B est largement suffisant. La qualité de conversation monte peu en passant de 8 à 14B.
• Texte en italien ou en français : ici la famille compte plus que la taille. Qwen et Gemma écrivent visiblement mieux que les familles anglo-centrées ; si la langue est le point clé, choisissez la famille en premier.
• Code : 14B et au-delà, et quantisez le moins possible (Q5 ou Q8) — le code est la première chose qui se dégrade quand on compresse les poids.
• Travaux enchaînés (plusieurs étapes concaténées, raisonnement long) : il faut des modèles de taille moyenne à élevée, ou les variantes « reasoning » qui réfléchissent avant de répondre.

2. La mémoire : le calcul exact

Un paramètre vaut en moyenne 1 byte en FP16 ; la quantisation le compresse. La formule pratique pour un modèle Q4_K_M (4 bits par poids, plus une partie « K » à 6 bits qui le rend légèrement plus volumineux) :

Étape	8B	14B	32B
Poids en FP16 (paramètres × 2 octets)	16 Go	28 Go	64 Go
Poids en Q4_K_M (÷ 3,4 environ)	~4,7 Go	~8,3 Go	~18,5 Go
KV cache + contexte 8K	~1–2 Go	~2–3 Go	~3–4 Go
Total à mettre en RAM/VRAM	~6 Go	~11 Go	~22 Go

Ajoutez toujours une marge de 20 à 30 % pour le système et les requêtes plus longues. La traduction pratique :

• 8 Go de VRAM : un 8B en Q4_K_M sans souci, un 14B seulement en Q3 (déconseillé au quotidien).
• 16 Go de VRAM (ou mémoire unifiée) : 14B en Q4–Q5, ou un 32B en Q3–Q4 si la vitesse ne compte pas.
• 24 Go de VRAM : 32B en Q4–Q5 à vitesse utile. C'est la classe la plus polyvalente en qualité.

Le détail qui change tout : les modèles MoE (mixture of experts) ont beaucoup de poids au total mais n'en activent qu'une petite partie à chaque jeton. Un MoE de 30B n'en active que 3 : il occupe ~19 Go en Q4 comme un 32B dense, mais tourne 3 à 4 fois plus vite. Si votre machine se situe entre deux classes, le MoE est presque toujours le bon choix — quand un grand modèle n'est pas nécessaire le démontre avec les chiffres.

3. Le contexte

Le contexte est la quantité de texte que le modèle retient dans la conversation. Chaque jeton de contexte ajoute des octets à la KV cache : 8K de contexte sur un 8B coûtent 1 à 2 Go, 32K en coûtent 4 à 6. Pour des conversations normales, 8K suffisent et ça ne coûte presque rien. Pour analyser de longs documents, il en faut plus — et avant d'acheter plus de matériel, envisagez un système RAG, qui relie les documents au modèle sans gonfler le contexte.

Les modèles par lesquels commencer (octobre 2026)

Modèle	Poids Q4_K_M	RAM/VRAM utile	Pourquoi
Llama 3.1 8B	~4,9 Go	8 Go	La référence 8B : licence Meta claire, écosystème immense, bon italien
Qwen3-8B	~5,3 Go	8 Go	Le meilleur compromis qualité/multilingue en 8B ; italien et français supérieurs
Qwen3-14B	~9,5 Go	16 Go	Le saut de qualité le plus net : raisonnement et code visiblement meilleurs
Qwen3-30B-A3B (MoE)	~19 Go	24 Go	Qualité de 32B à vitesse de 8B : le bon choix avec 24 Go

Les tailles Q4_K_M se déduisent de la règle ci-dessus (paramètres ÷ 3,4) ; les fiches Hugging Face indiquent les dimensions exactes fichier par fichier. Si vous voulez savoir lire les spécifications d'un modèle sans vous fier aux tables d'autrui, ce guide le fait pas à pas.

Le premier modèle en pratique

Si rien n'est encore installé, la voie la plus rapide est Ollama :

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:8b

Si la commande a marché, le prompt de conversation apparaît après quelques minutes (le premier lancement télécharge ~5,3 Go : cela dépend de votre réseau). Écrivez « Résume en deux lignes ce qu'est la quantisation » et vérifiez deux choses : la réponse est en français, en forme correcte, et le dernier champ de la ligne de progression (les tok/s) est cohérent avec votre machine — sur GPU, un 8B s'établit entre 15 et 40, sur CPU entre 5 et 15, sur Raspberry Pi en dessous de 4. Le guide complet de l'installation au premier modèle couvre aussi le branchement à une interface et les problèmes typiques.

Si ça ne marche pas : ollama run qui prend des minutes sans rien télécharger = le modèle ne tient pas en mémoire et passe sur le swap : descendez en taille ou en quantisation (ollama run qwen3:8b-q3_k_m). Réponses lentes mais stables = tout va bien, c'est simplement votre matériel.

Et les limites ?

Dit franchement : un 8B local n'est pas un modèle frontière. Sur les raisonnement longs multi-étapes, le code complexe et la production de textes très articulés, la différence avec les grands modèles du cloud est visible — et un MoE de 30B la réduit sans l'annuler. La bonne nouvelle, c'est que pour la majorité des tâches pratiques (résumés, rédactions, tri de documents, assistance quotidienne, code de maintenance), le saut de 8 à 32B est moins évident qu'on ne le croit, et le 30B-A3B en Q4 tient sur une 24 Go.

En synthèse : partez de l'usage, appliquez la formule paramètres ÷ 3,4 plus 1–2 Go de contexte, et choisissez le premier modèle qui rentre dans votre mémoire avec une marge. Pour la plupart des machines, c'est Qwen3-8B ou Llama 3.1 8B en Q4_K_M ; avec 16 Go, passez à Qwen3-14B ; avec 24 Go, Qwen3-30B-A3B. Le modèle se change en une commande — la machine non, donc ça vaut la peine de bien y réfléchir.

Sources

• Qwen3 — annonce et tables des dimensions (Qwen3-0.6B → 32B, MoE 30B-A3B et 235B-A22B, Apache 2.0)
• Meta — Llama 3.1
• Ollama — téléchargement et installation
• Qwen — guide d'exécution rapide

Article généré par IA