Vai al contenuto principale
ModelliIntermedio7 min di lettura

Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise

i
iaLocale Team
•
Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise

Mistral ha appena pubblicato Mistral Large 4 in open-weight: 1 trilione di parametri totali, 52 miliardi attivi per token, 1M di token di contesto. Sulla carta è il modello più grande mai reso disponibile in pesi aperti. Sulla pratica, la domanda giusta non è "quanto è forte" ma "su cosa ci sta, a che quantizzazione, e che velocità ottieni". Questa guida fa i conti, perché un MoE da 1T si legge molto diversamente da un dense da 1T.

MoE in pratica: cosa significa "1T totali, 52B attivi"

Se hai già letto come funziona la Mixture-of-Experts, il concetto è semplice: ogni token viene processato da un sottoinsieme dei pesi, non da tutti. I 1T di parametri totali determinano quanto il modello sa (la capacità, che cresce con la memoria occupata). I 52B di attivi determinano quanto costa ogni token (la velocità, che dipende dalla banda di memoria).

La conseguenza pratica è questa: la qualità cresce più o meno come un dense grande, ma la velocità resta quella di un modello di taglia media. È il trucco che Kolibri di Aleph Alpha (78B totali, 12B attivi) e Nemotron 3.5 Bolt (74B totali, ~9B attivi) hanno già dimostrato in scala ridotta. Mistral Large 4 scala lo stesso schema fino a 1T.

Le specifiche dal model card di Mistral:

ParametroValore
ArchitetturaMoE misto (layer dense + MoE), 128 esperti, 4 attivi/token + 1 shared
Parametri totali1.03T
Parametri attivi52B
Context window256K default, 1M max
Inputtesto + immagini
LicenzaMistral Ecosystem Open-Weight (variante di MIT)
Quantizzazione nativaFP8 (checkpoint sorgente)

La licenza Mistral Ecosystem Open-Weight conta: è una variante di MIT, l'uso commerciale è libero — è quello che i team cercano quando il modello finisce dietro un prodotto interno. Serve però una licenza commerciale separata per un business Model-as-a-Service.

I conti: quanto serve per farlo girare

Qui sono i numeri che decidono. I pesi occupano memoria, e ogni quantizzazione è un compromesso tra qualità e spazio. Le dimensioni ufficiali delle GGUF di ggml-org:

QuantizzazioneDimensioneDove ci sta
BF162,10 TBserver multi-GPU con memoria unificata
Q8_01,12 TBquasi senza perdite
Q4_K_M635 GBcluster con ~1 TB di RAM
Q2_K381 GBMac Studio M5 Ultra 512GB (con KV cache ridotta)
IQ2_XXS298 GBMac Studio M5 Ultra 512GB

A questi va aggiunta la KV cache, che cresce con il contesto usato: con 256K token di contesto e 52B di parametri attivi, la cache da sola può richiedere decine di GB. Se vuoi usare il contesto pieno, il budget va calcolato sul totale (pesi + cache), non sui soli pesi.

La lettura onesta: IQ2_XXS a 298 GB è l'unico quant che entra in un'unica macchina consumer (il Mac Studio M5 Ultra da 512GB) con margine per la cache. Q4_K_M a 635 GB richiede un sistema con almeno 1 TB di RAM unificata — per esempio un cluster multi-node con RDMA, o un Mac Studio con 512GB × 2 in configurazione multi-macchina, che però introduce latenza.

Che velocità aspettarsi

La regola per i MoE: la velocità di decodifica dipende dai pesi attivi, quella di prefill dai pesi totali. Il prefill legge tutti i 1T di parametri (o la quant che usi), quindi i contesti lunghi costano più che su un dense. La decodifica legge solo ~52B attivi per token, quindi resta ragionevole.

Facciamo il calcolo per la macchina consumer che ci sta, il Mac Studio M5 Ultra con 512GB e ~819 GB/s di banda di memoria unificata:

ScenarioPesi letti/tokStima teorica
Q2_K (381 GB), decodifica~52B attivi → ~29 GB~819 / 29 ≈ 28 tok/s
IQ2_XXS (298 GB), decodifica~52B attivi → ~25 GB~819 / 25 ≈ 32 tok/s

Queste sono stime di banda (pesi attivi ÷ banda di memoria), non benchmark: in pratica aspettati un 20-30% in meno per l'attenzione, la cache e il routing degli esperti. Il prefill a 1T è molto più lento della decodifica: una richiesta con 100K token di contesto ha un costo di prefill che su un dense da 1T sarebbe proibitivo in RAM, ma qui i pesi ci stanno in 298-381 GB quantizzati.

Se invece guardi a un sistema da 1 TB di RAM con Q4_K_M, la qualità sale netta ma la decodifica scende: più pesi attivi da caricare per token. La scelta di quantizzazione è un compromesso tra qualità e velocità che dipende da cosa ti serve: per un assistente conversazionale con contesto medio, Q2_K o IQ2_XXS su M5 Ultra sono già utilizzabili. Per un RAG con contesti lunghi e molti utenti simultanei, servono i 635 GB del Q4_K_M e hardware multi-macchina.

Perché un 1T open-weight cambia il discorso on-premise

Fino a ieri, un modello di questa taglia in pesi aperti non esisteva: i 405B di Llama 3.1 erano il limite, e già richiedevano 8 GPU da 80GB. Con 1T in open-weight, un cluster che una settimana fa sembrava pensato per l'addestramento diventa infrastruttura di inferenza per prodotti reali. La differenza pratica: puoi mettere un modello di frontiera dietro il tuo prodotto, i tuoi dati restano nel tuo perimetro, e i costi non crescono col numero di utenti — è il punto di pareggio che abbiamo fatto nei costi: locale vs API.

Per un'azienda, questo apre un caso d'uso concreto: l'assistente su documenti interni con contesto di centinaia di migliaia di token, che su un'API pubblica costa a ogni richiesta. In locale, il costo è l'infrastruttura che hai già, e la privacy è per costruzione, non per contratto.

Come iniziare

  1. Verifica l'hardware: servono almeno 320 GB di RAM unificata per IQ2_XXS. Il Mac Studio M5 Ultra 512GB è oggi l'unica macchina consumer in un unico chassis che ci entra con margine per la KV cache.
  2. Installa llama.cpp:
curl -LsSf https://llama.app/install.sh | sh
  1. Avvia il server con la quant che ci sta nel tuo hardware:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
  1. Prova con un prompt: apri la UI web che llama serve espone, oppure:
curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"default","messages":[{"role":"user","content":"Salve"}]}'

Se non va: se il server non parte, il problema è quasi sempre la RAM — controlla che la quant scelta più la KV cache stimata non superino la RAM disponibile. Con reasoning_effort a high (default) le risposte sono più approfondite ma più lente: per test rapidi, impostalo a low.

I limiti, per onestà

  • I contesti costano: 1M di token di contesto è una capacità, non un'abitudine. La KV cache su contesto pieno richiede decine di GB extra, e il prefill su input lunghi è lento.
  • Non è per un singolo utente leggero: se fai chat brevi su un laptop, questo modello è sovradimensionato. Per quel caso, un modello da 8-32B fa tutto quello che ti serve.
  • La velocità non è da 4B: i 52B attivi per token danno velocità buone ma non istantanee. Se la latenza è critica, un modello più piccolo resta la scelta giusta.

Fonti

In sintesi, Mistral Large 4 porta il trilione di parametri in open-weight con la licenza Mistral Ecosystem Open-Weight (variante di MIT). Il MoE con 52B attivi lo rende girabile in decodifica a velocità ragionevoli: IQ2_XXS a 298 GB entra in un Mac Studio M5 Ultra 512GB, Q4_K_M a 635 GB apre la porta a cluster da 1 TB. Il contesto fino a 1M token e l'input di immagini lo mettono nella classe dei modelli frontier per i carichi on-premise. Se il tuo caso d'uso ha contesti lunghi e dati sensibili, è il primo modello open-weight che vale la pena mettere in lista.

Articolo generato con IA

Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati