Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise

Mistral ha appena pubblicato Mistral Large 4 in open-weight: 1 trilione di parametri totali, 52 miliardi attivi per token, 1M di token di contesto. Sulla carta è il modello più grande mai reso disponibile in pesi aperti. Sulla pratica, la domanda giusta non è "quanto è forte" ma "su cosa ci sta, a che quantizzazione, e che velocità ottieni". Questa guida fa i conti, perché un MoE da 1T si legge molto diversamente da un dense da 1T.
MoE in pratica: cosa significa "1T totali, 52B attivi"
Se hai già letto come funziona la Mixture-of-Experts, il concetto è semplice: ogni token viene processato da un sottoinsieme dei pesi, non da tutti. I 1T di parametri totali determinano quanto il modello sa (la capacità, che cresce con la memoria occupata). I 52B di attivi determinano quanto costa ogni token (la velocità, che dipende dalla banda di memoria).
La conseguenza pratica è questa: la qualità cresce più o meno come un dense grande, ma la velocità resta quella di un modello di taglia media. È il trucco che Kolibri di Aleph Alpha (78B totali, 12B attivi) e Nemotron 3.5 Bolt (74B totali, ~9B attivi) hanno già dimostrato in scala ridotta. Mistral Large 4 scala lo stesso schema fino a 1T.
Le specifiche dal model card di Mistral:
| Parametro | Valore |
|---|---|
| Architettura | MoE misto (layer dense + MoE), 128 esperti, 4 attivi/token + 1 shared |
| Parametri totali | 1.03T |
| Parametri attivi | 52B |
| Context window | 256K default, 1M max |
| Input | testo + immagini |
| Licenza | Mistral Ecosystem Open-Weight (variante di MIT) |
| Quantizzazione nativa | FP8 (checkpoint sorgente) |
La licenza Mistral Ecosystem Open-Weight conta: è una variante di MIT, l'uso commerciale è libero — è quello che i team cercano quando il modello finisce dietro un prodotto interno. Serve però una licenza commerciale separata per un business Model-as-a-Service.
I conti: quanto serve per farlo girare
Qui sono i numeri che decidono. I pesi occupano memoria, e ogni quantizzazione è un compromesso tra qualità e spazio. Le dimensioni ufficiali delle GGUF di ggml-org:
| Quantizzazione | Dimensione | Dove ci sta |
|---|---|---|
| BF16 | 2,10 TB | server multi-GPU con memoria unificata |
| Q8_0 | 1,12 TB | quasi senza perdite |
| Q4_K_M | 635 GB | cluster con ~1 TB di RAM |
| Q2_K | 381 GB | Mac Studio M5 Ultra 512GB (con KV cache ridotta) |
| IQ2_XXS | 298 GB | Mac Studio M5 Ultra 512GB |
A questi va aggiunta la KV cache, che cresce con il contesto usato: con 256K token di contesto e 52B di parametri attivi, la cache da sola può richiedere decine di GB. Se vuoi usare il contesto pieno, il budget va calcolato sul totale (pesi + cache), non sui soli pesi.
La lettura onesta: IQ2_XXS a 298 GB è l'unico quant che entra in un'unica macchina consumer (il Mac Studio M5 Ultra da 512GB) con margine per la cache. Q4_K_M a 635 GB richiede un sistema con almeno 1 TB di RAM unificata — per esempio un cluster multi-node con RDMA, o un Mac Studio con 512GB × 2 in configurazione multi-macchina, che però introduce latenza.
Che velocità aspettarsi
La regola per i MoE: la velocità di decodifica dipende dai pesi attivi, quella di prefill dai pesi totali. Il prefill legge tutti i 1T di parametri (o la quant che usi), quindi i contesti lunghi costano più che su un dense. La decodifica legge solo ~52B attivi per token, quindi resta ragionevole.
Facciamo il calcolo per la macchina consumer che ci sta, il Mac Studio M5 Ultra con 512GB e ~819 GB/s di banda di memoria unificata:
| Scenario | Pesi letti/tok | Stima teorica |
|---|---|---|
| Q2_K (381 GB), decodifica | ~52B attivi → ~29 GB | ~819 / 29 ≈ 28 tok/s |
| IQ2_XXS (298 GB), decodifica | ~52B attivi → ~25 GB | ~819 / 25 ≈ 32 tok/s |
Queste sono stime di banda (pesi attivi ÷ banda di memoria), non benchmark: in pratica aspettati un 20-30% in meno per l'attenzione, la cache e il routing degli esperti. Il prefill a 1T è molto più lento della decodifica: una richiesta con 100K token di contesto ha un costo di prefill che su un dense da 1T sarebbe proibitivo in RAM, ma qui i pesi ci stanno in 298-381 GB quantizzati.
Se invece guardi a un sistema da 1 TB di RAM con Q4_K_M, la qualità sale netta ma la decodifica scende: più pesi attivi da caricare per token. La scelta di quantizzazione è un compromesso tra qualità e velocità che dipende da cosa ti serve: per un assistente conversazionale con contesto medio, Q2_K o IQ2_XXS su M5 Ultra sono già utilizzabili. Per un RAG con contesti lunghi e molti utenti simultanei, servono i 635 GB del Q4_K_M e hardware multi-macchina.
Perché un 1T open-weight cambia il discorso on-premise
Fino a ieri, un modello di questa taglia in pesi aperti non esisteva: i 405B di Llama 3.1 erano il limite, e già richiedevano 8 GPU da 80GB. Con 1T in open-weight, un cluster che una settimana fa sembrava pensato per l'addestramento diventa infrastruttura di inferenza per prodotti reali. La differenza pratica: puoi mettere un modello di frontiera dietro il tuo prodotto, i tuoi dati restano nel tuo perimetro, e i costi non crescono col numero di utenti — è il punto di pareggio che abbiamo fatto nei costi: locale vs API.
Per un'azienda, questo apre un caso d'uso concreto: l'assistente su documenti interni con contesto di centinaia di migliaia di token, che su un'API pubblica costa a ogni richiesta. In locale, il costo è l'infrastruttura che hai già, e la privacy è per costruzione, non per contratto.
Come iniziare
- Verifica l'hardware: servono almeno 320 GB di RAM unificata per IQ2_XXS. Il Mac Studio M5 Ultra 512GB è oggi l'unica macchina consumer in un unico chassis che ci entra con margine per la KV cache.
- Installa llama.cpp:
curl -LsSf https://llama.app/install.sh | sh
- Avvia il server con la quant che ci sta nel tuo hardware:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
- Prova con un prompt: apri la UI web che
llama serveespone, oppure:
curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"default","messages":[{"role":"user","content":"Salve"}]}'
Se non va: se il server non parte, il problema è quasi sempre la RAM — controlla che la quant scelta più la KV cache stimata non superino la RAM disponibile. Con reasoning_effort a high (default) le risposte sono più approfondite ma più lente: per test rapidi, impostalo a low.
I limiti, per onestà
- I contesti costano: 1M di token di contesto è una capacità, non un'abitudine. La KV cache su contesto pieno richiede decine di GB extra, e il prefill su input lunghi è lento.
- Non è per un singolo utente leggero: se fai chat brevi su un laptop, questo modello è sovradimensionato. Per quel caso, un modello da 8-32B fa tutto quello che ti serve.
- La velocità non è da 4B: i 52B attivi per token danno velocità buone ma non istantanee. Se la latenza è critica, un modello più piccolo resta la scelta giusta.
Fonti
In sintesi, Mistral Large 4 porta il trilione di parametri in open-weight con la licenza Mistral Ecosystem Open-Weight (variante di MIT). Il MoE con 52B attivi lo rende girabile in decodifica a velocità ragionevoli: IQ2_XXS a 298 GB entra in un Mac Studio M5 Ultra 512GB, Q4_K_M a 635 GB apre la porta a cluster da 1 TB. Il contesto fino a 1M token e l'input di immagini lo mettono nella classe dei modelli frontier per i carichi on-premise. Se il tuo caso d'uso ha contesti lunghi e dati sensibili, è il primo modello open-weight che vale la pena mettere in lista.
Articolo generato con IA
In questi percorsi
Ti è piaciuto questo articolo?
Iscriviti alla newsletter per ricevere nuovi tutorial e guide.
Articoli Correlati

Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi
Il primo modello Qwen-Max in open-weight pesa ~1,3 TB in Q4: nessun nodo consumer singolo ci entra. I conti su ammortamento, luce e velocità per il multi-nodo.

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale
64,8B di parametri, Apache 2.0, 1M di contesto e un checkpoint NVFP4 pensato per 128 GB di memoria unificata: i conti e i criteri per girare un dense da frontier in locale.

