Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise

Mistral vient de publier Mistral Large 4 en open-weight : 1 000 milliards de paramètres au total, 52 milliards actifs par token, 1M de tokens de contexte. Sur le papier, c'est le plus grand modèle jamais mis à disposition en poids ouverts. En pratique, la bonne question n'est pas "à quel point il est fort" mais "sur quoi il tient, à quelle quantification, et quelle vitesse on en tire". Cet article fait les calculs, parce qu'un MoE de 1T se lit très différemment d'un dense de 1T.
Le MoE en pratique : ce que veut dire "1T au total, 52B actifs"
Si vous avez déjà lu comment fonctionne la Mixture-of-Experts (MoE), le concept est simple : chaque token est traité par un sous-ensemble des poids, pas par tous. Les 1T de paramètres au total déterminent ce que le modèle sait (la capacité, qui croît avec la mémoire occupée). Les 52B actifs déterminent ce que coûte chaque token (la vitesse, qui dépend de la bande passante mémoire).
La conséquence pratique : la qualité progresse plus ou moins comme un dense de grande taille, mais la vitesse reste celle d'un modèle de taille moyenne. C'est l'astuce que Kolibri d'Aleph Alpha (78B au total, 12B actifs) et Nemotron 3.5 Bolt (74B au total, ~9B actifs) avaient déjà démontrée à plus petite échelle. Mistral Large 4 pousse le même schéma jusqu'à 1T.
Les spécifications selon la fiche modèle de Mistral :
| Paramètre | Valeur |
|---|---|
| Architecture | MoE mixte (couches denses + MoE), 128 experts, 4 actifs/token + 1 partagé |
| Paramètres au total | 1,03T |
| Paramètres actifs | 52B |
| Fenêtre de contexte | 256K par défaut, 1M max |
| Entrées | texte + images |
| Licence | Mistral Ecosystem Open-Weight (variante de la MIT) |
| Quantification native | FP8 (checkpoint source) |
La licence Mistral Ecosystem Open-Weight a son importance : c'est une variante de la MIT, l'usage commercial est libre — c'est ce que les équipes recherchent quand le modèle finit derrière un produit interne. Une licence commerciale séparée est requise pour un business Model-as-a-Service.
Les calculs : combien faut-il pour le faire tourner
Ici sont les chiffres qui décident. Les poids occupent de la mémoire, et chaque quantification est un compromis entre qualité et espace. Les dimensions officielles des GGUF de ggml-org :
| Quantification | Taille | Où ça tient |
|---|---|---|
| BF16 | 2,10 To | serveur multi-GPU avec mémoire unifiée |
| Q8_0 | 1,12 To | quasi sans perte |
| Q4_K_M | 635 Go | cluster avec ~1 To de RAM |
| Q2_K | 381 Go | Mac Studio M5 Ultra 512Go (avec KV cache réduite) |
| IQ2_XXS | 298 Go | Mac Studio M5 Ultra 512Go |
Il faut ajouter la KV cache, qui croît avec le contexte utilisé : avec 256K tokens de contexte et 52B de paramètres actifs, la cache seule peut demander des dizaines de Go. Si vous voulez utiliser le contexte plein, le budget se calcule sur le total (poids + cache), pas sur les poids seuls.
La lecture honnête : IQ2_XXS à 298 Go est la seule quantification qui entre dans une seule machine grand consommateur (le Mac Studio M5 Ultra de 512Go) avec une marge pour la cache. Q4_K_M à 635 Go exige un système avec au moins 1 To de RAM unifiée — par exemple un cluster multi-nœuds avec RDMA, ou deux Mac Studio à 512Go en configuration multi-machine, ce qui introduit une latence supplémentaire.
Quelle vitesse attendre
La règle pour les MoE : la vitesse de décodage dépend des poids actifs, la vitesse de préfill des poids totaux. Le préfill lit tous les 1T de paramètres (ou la quantification choisie), donc les contextes longs coûtent plus cher que sur un dense. Le décodage ne lit que ~52B actifs par token, donc il reste raisonnable.
Calculs pour la machine grand consommateur qui y tient, le Mac Studio M5 Ultra avec 512Go et ~819 Go/s de bande passante mémoire unifiée :
| Scénario | Poids lus/tok | Estimation théorique |
|---|---|---|
| Q2_K (381 Go), décodage | ~52B actifs → ~29 Go | ~819 / 29 ≈ 28 tok/s |
| IQ2_XXS (298 Go), décodage | ~52B actifs → ~25 Go | ~819 / 25 ≈ 32 tok/s |
Ce sont des estimations de bande passante (poids actifs ÷ bande passante mémoire), pas des benchmarks : en pratique, attendez 20 à 30 % de moins pour l'attention, la cache et le routage des experts. Le préfill à 1T est bien plus lent que le décodage : une requête avec 100K tokens de contexte a un coût de préfill qui serait prohibitif en RAM sur un dense de 1T, mais ici les poids tiennent en 298 à 381 Go quantisés.
Si vous visez un système à 1 To de RAM avec Q4_K_M, la qualité monte nettement mais le décodage baisse : plus de poids actifs à charger par token. Le choix de quantification est un compromis qualité/vitesse selon vos besoins : pour un assistant conversationnel à contexte moyen, Q2_K ou IQ2_XXS sur M5 Ultra sont déjà utilisables. Pour un RAG avec contextes longs et de nombreux utilisateurs simultanés, il faut les 635 Go du Q4_K_M et du matériel multi-machine.
Pourquoi un 1T en open-weight change la donne on-premise
Jusqu'hier, un modèle de cette taille en poids ouverts n'existait pas : les 405B de Llama 3.1 étaient la limite, et ils exigeaient déjà 8 GPU de 80Go. Avec 1T en open-weight, un cluster qui la semaine dernière semblait pensé pour l'entraînement devient une infrastructure d'inférence pour des produits réels. La différence pratique : vous placez un modèle de frontière derrière votre produit, vos données restent dans votre périmètre, et les coûts ne croissent pas avec le nombre d'utilisateurs — c'est le point de bascule que nous avons calculé dans coûts : local vs API.
Pour une entreprise, cela ouvre un cas d'usage concret : l'assistant sur documents internes avec des contextes de centaines de milliers de tokens, qui sur une API publique coûte à chaque requête. En local, le coût est l'infrastructure que vous avez déjà, et la confidentialité est par construction, pas par contrat.
Comment démarrer
- Vérifiez le matériel : il faut au moins 320 Go de RAM unifiée pour IQ2_XXS. Le Mac Studio M5 Ultra 512Go est aujourd'hui la seule machine grand consommateur en un seul châssis qui y tient avec une marge pour la KV cache.
- Installez llama.cpp :
curl -LsSf https://llama.app/install.sh | sh
- Démarrer le serveur avec la quantification qui tient dans votre matériel :
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
- Testez avec un prompt : ouvrez l'interface web exposée par
llama serve, ou :
curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"default","messages":[{"role":"user","content":"Bonjour"}]}'
Si ça ne marche pas : si le serveur ne démarre pas, le problème est presque toujours la RAM — vérifiez que la quantification choisie plus la KV cache estimée ne dépassent pas la RAM disponible. Avec reasoning_effort à high (par défaut), les réponses sont plus approfondies mais plus lentes : pour des tests rapides, mettez-le à low.
Les limites, pour être honnête
- Les contextes coûtent cher : 1M de tokens de contexte est une capacité, pas une habitude. La KV cache à contexte plein demande des dizaines de Go en plus, et le préfill sur des entrées longues est lent.
- Ce n'est pas pour un utilisateur léger seul : si vous faites des discussions courtes sur un portable, ce modèle est surdimensionné. Pour ce cas, un modèle de 8 à 32B fait tout ce qu'il vous faut.
- La vitesse n'est pas celle d'un 4B : les 52B actifs par token donnent de bonnes vitesses mais pas instantanées. Si la latence est critique, un modèle plus petit reste le bon choix.
Sources
En résumé, Mistral Large 4 amène le trillion de paramètres en open-weight sous la licence Mistral Ecosystem Open-Weight (variante de la MIT). Le MoE avec 52B actifs le rend exécutable à des vitesses de décodage raisonnables : IQ2_XXS à 298 Go entre dans un Mac Studio M5 Ultra 512Go, Q4_K_M à 635 Go ouvre la porte aux clusters à 1 To. Le contexte jusqu'à 1M tokens et l'entrée d'images le placent dans la classe des modèles frontière pour les charges on-premise. Si votre cas d'usage a des contextes longs et des données sensibles, c'est le premier modèle open-weight qui vaut le coup d'être mis en liste.
Article généré par IA
Dans ces parcours
Vous avez aimé cet article ?
Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.
Articles Correlés

Qwen3.8-2.4T-A95B : les comptes pour faire tourner 2,4 billions de paramètres open-weight, 95B actifs
Le premier modèle Qwen-Max en open-weight pèse ~1,3 To en Q4 : aucun nœud grand public seul n'y entre. Les comptes sur amortissement, électricité et vitesse en multi-nœud.

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local
64,8 milliards de paramètres, Apache 2.0, 1M de contexte et un checkpoint NVFP4 pensé pour 128 Go de mémoire unifiée : les comptes et les critères pour faire tourner un dense frontier en local.

