Quand un grand modèle ne sert à rien : choisir par la taille

« Plus c'est grand, plus c'est bon. » C'est la première chose qu'on se dit à propos des modèles, et c'est vrai jusqu'à un certain point. Mais c'est aussi la réflexion la plus chère : un modèle 70B sur une GPU grand public peut répondre plus lentement qu'un modèle 8B, alors qu'un bon 8B suffit pour 90 % des tâches que vous ferez vraiment. Le bon choix ne part pas de « quel est le meilleur modèle en absolu », mais de « quel est le modèle le plus grand que mon matériel peut faire tourner correctement ».

Cet article vous donne la méthode : les trois limites qui comptent (mémoire, vitesse, latence perçue), un tableau pour associer taille et matériel, et les cas où le petit modèle gagne vraiment.

Les trois limites qui comptent

La taille d'un modèle — ses milliards de paramètres, « B » — n'est pas une qualité, c'est une exigence. Plus de B, plus les trois éléments suivants se dégradent.

1. Mémoire : combien de place il occupe

La règle pratique : paramètres (B) × bits par poids ÷ 8 = Go de poids. À 16 bits (précision complète), un 8B occupe ~16 Go. Avec une quantification Q4 (environ 4,8 bits, le format GGUF le plus utilisé en local), le même modèle descend à ~5,7 Go. Deux conséquences importantes :

• la quantification n'est pas un compromis secondaire, c'est la levier pour abaisser le seuil d'entrée d'un modèle ;
• aux poids, il faut ajouter le cache KV (qui croît avec le contexte) et l'overhead du runtime : gardez une marge de 2-3 Go.

2. Vitesse : les tokens par seconde

La génération en local est presque toujours limitée par la bande passante mémoire, pas par la puissance de calcul. Chaque token généré exige de relire les poids actifs depuis la mémoire : plus de poids actifs, moins de tokens par seconde. Un modèle 8B quantifié Q4 sur une GPU à 288 Go/s peut produire 30-40 tokens/s ; un 70B quantifié, avec environ 12 fois plus de poids, descend à 2-4 tokens/s sur la même carte. La qualité par token augmente, mais le temps par phrase double ou triple.

3. Latence perçue

Un assistant qui met 3 secondes à répondre à un mail court a l'air paresseux, même s'il répond mieux. La règle pratique : en dessous de ~15 tokens/s, la génération commence à agacer en usage interactif. C'est cette limite qui met à la retraite les grands modèles sur petit matériel avant même la qualité.

La règle pratique de la VRAM

Pour une quantification Q4 (le point d'entrée conseillé) :

Poids Q4	Taille du modèle
~3 Go	6-7B
~5,7 Go	8B
~9 Go	14-15B
~19 Go	30B
~22 Go	32B
~44 Go	70B

Ajoutez 2-3 Go pour le cache KV et le runtime. Ce tableau vaut pour les modèles « denses », où tous les paramètres participent à chaque token. Pour les MoE (Mixture-of-Experts), le calcul mémoire se fait sur le total, celui de la vitesse sur les actifs : un MoE de 30B avec 3,3B actifs occupe comme un 30B mais répond comme un 3,3B — c'est la raison pour laquelle ils existent.

Classe par matériel

Voici l'association concrète, avec les modèles de notre catalogue et les chiffres réels.

8-12 Go (GPU d'entrée ou portable avec 16 Go de RAM partagée). Modèles denses de 3-8B en Q4. Un 8B Q4 (~5,7 Go) tient confortablement dans 12 Go de VRAM avec un contexte généreux ; sous 8 Go de VRAM, on descend à 3-4B, toujours parfaitement utiles pour résumés, reformulations et premiers brouillons.

16 Go (RTX 4060 Ti 16GB, 4070 Ti Super). C'est ici que s'ouvre la vraie fourchette : 14-18B Q4 (9-12 Go de poids) avec un contexte moyen à élevé, ou les petits MoE comme Qwen3 30B-A3B — ~19 Go de poids, mais seulement 3,3B actifs par token : qualité de grand modèle, vitesse de petit modèle. Sur 16 Go, on l'utilise avec un contexte modéré (le cache KV mange la marge).

24 Go (RTX 3090, 4090). La fourchette la plus utilisée pour l'IA locale. 27-32B Q4 (15-22 Go) en Q4 avec contexte 32K, ou des MoE plus grands. C'est la première fourchette où un modèle « sérieux » pour un vrai travail — codage, analyse de documents, rédaction longue — répond à une vitesse acceptable.

32 Go et plus, ou mémoire unifiée Mac. 70B Q4 (44 Go : il faut 48-64 Go, donc cette fourchette avec 2 GPU ou mémoire unifiée), ou de grands MoE. Les Mac avec mémoire unifiée changent les règles : un Mac à 32 Go d'unifiée porte des modèles qui n'entrent pas sur une GPU à 24 Go, avec une vitesse qui dépend de la bande passante (410-546 Go/s sur les cartes récentes).

Quand le petit modèle gagne

Le point de cet article : grand n'est pas synonyme de meilleur pour vous. Le petit modèle gagne quand :

1. La tâche est courte et répétitive. Résumer un mail, renommer des fichiers, extraire des dates, traduire des phrases. Un 3-8B fait ces choses avec une qualité suffisante, à 30 tokens/s, avec un dixième de RAM.
2. La latence fait partie de l'expérience. Chat, assistant toujours actif, commandes vocales. À 3 tokens/s, l'utilisateur n'utilise plus l'assistant, quelle que soit la qualité des réponses.
3. Le contexte est long mais le modèle est MoE. Avec un petit MoE (3B actifs), vous pouvez vous permettre des contextes de 32K sans que le cache KV explose, ce qu'un 7B dense ne supporte pas.
4. Vous voulez essayer plein de choses. Faire tourner un modèle de 4 Go en local, c'est un test de 2 minutes ; en faire tourner un de 44 Go, c'est une soirée de configuration.

Le grand modèle gagne quand : la tâche est de raisonnement complexe (mathématiques, codage multi-fichiers, analyse juridique), la latence n'a pas d'importance (traitement par lots, rapports nocturnes), ou le contexte est énorme et dense.

Méthode : commencez petit, mesurez, montez

1. Partez de la fourchette matérielle, pas du nom du modèle. Cherchez la classe qui tient dans vos Go avec une marge.
2. Choisissez le plus petit de la classe pour votre tâche. Essayez avec le Q4 du modèle de la bonne classe.
3. MESUREZ, ne devinez pas. Faites 10 tâches réelles (vos mails, vos documents, vos prompts habituels). Si le petit se trompe là où ça compte, montez d'une classe. S'il ne se trompe jamais, vous êtes fixé : n'achetez plus de matériel.
4. Utilisez la quantification comme levier, pas comme excuse. Si le modèle de votre classe ne rentre pas, descendez d'un cran de quantification (Q6→Q4) avant de descendre d'un cran de taille.

Les chiffres exacts pour chaque association sont dans le planificateur de setup : sélectionnez la GPU et le modèle, et il vous donne les poids, le cache KV et la vitesse attendue avec les formules qu'on vient de vous expliquer.

En résumé

La taille d'un modèle est un prix, pas un score. Le prix est la mémoire, la vitesse et la latence perçue. Choisissez la classe que votre matériel supporte avec une marge, commencez par le plus petit, mesurez sur vos tâches, et ne montez que quand la mesure le demande. Dans presque tous les cas, le modèle qu'il vous faut est plus petit que celui que vous auriez choisi sans cette méthode — et répond plus vite, avec une fraction de la RAM.

Article généré par IA