Vai al contenuto principale
ModelliAvanzato7 min di lettura

Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi

i
iaLocale Team
•
Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi

Qwen3.8-2.4T-A95B è il primo modello della classe Qwen-Max in open-weight: 2,4 trilioni di parametri totali, 95 miliardi attivi per token. La notizia interessa anche chi fa girare i modelli in locale, ma non per i motivi che pensi: non si tratta di scaricarlo su una workstation. Si tratta di capire cosa pesa, quanto costa e cosa ci guadagni. I conti, qui sotto.

Cosa significa davvero 2,4T

"2,4 trilioni" non è un numero che si può sentire: è una grandezza da data center. Le cose concrete, dalla scheda del modello:

  • MoE con 512 expert: per ogni token si attivano 10 expert instradati + 1 condiviso, per un totale di 95B parametri attivi. Il resto del modello è lì, ma non si calcola.
  • 92 layer, hidden dimension 8192, con multi-token prediction (MTP) allenata su più passi.
  • Attenzione ibrida: 3 layer su 4 usano Gated DeltaNet (attenzione lineare, stato costante), 1 su 4 usa l'attenzione classica (Gated Attention). È la stessa famiglia di trucchi che tiene bassa la KV cache: su un contesto lungo, la memoria per la cache cresce solo per i 23 layer di attenzione classica, non per tutti e 92.
  • Contesto: 262.144 token nativi, estendibile fino a circa 1M.
  • Formati: pesi BF16 nel repo, con una variante FP8 separata. La versione API ufficiale (Qwen3.8-Max) aggiunge input visivi e 1M di contesto di default, come da blog ufficiale.

Il punto che conta per i conti: i byte che servono a memoria sono quelli di tutti i 2,4T, non dei 95B attivi. In un MoE gli expert stanno fermi in memoria e ogni token ne tocca alcuni: la macchina deve poterli tenere tutti.

Quanto pesa in byte

Parametri × byte per parametro. Con i rapporti standard dei quant GGUF (gli stessi che usiamo per i modelli di dimensioni normali):

FormatoByte/parametroPesi su disco
BF16 (come rilasciato)2,0~4,8 TB
FP8 (variante separata)1,0~2,4 TB
Q8 (GGUF)~1,1~2,6 TB
Q4_K_M (GGUF)~0,55~1,3 TB
Q2_K (GGUF)~0,38~0,9 TB

Anche al quant più aggressivo della tabella i pesi superano i 900 GB. A questo punto la domanda non è "quale quant", ma "quale macchina".

Dove ci sta

La risposta scomoda: in nessun nodo consumer singolo. I massimi oggi in commercio:

MacchinaMemoriaCi sta in Q4_K_M (~1,3 TB)?
NVIDIA DGX Spark (GB10)128 GBNo
AMD Ryzen AI Max+ 395 (Strix Halo)128 GBNo
Mac Studio (M5 Max)128 GBNo
Mac Studio (M5 Ultra)512 GBNo — 512 < 1.300

Il record consumer, 512 GB di memoria unificata, copre a malapena un terzo del modello in Q4. Se vuoi un nodo singolo che ci stia con margine, il prossimo gradino è la memoria server: 1,5-2 TB di RAM ECC su una workstation multi-socket, o GPU in parallelo di tensori/esperti.

L'alternativa consumer realistica è il multi-nodo:

ConfigurazioneMemoria totalePesi in Q4_K_MCosto hardware
4× Mac Studio M5 Ultra 512 GB2 TBCi sta, con margine per la KV cache4 × 6.699 = 26.796 €
8× H100 80 GB (SXM)640 GBNo, anche in Q2_K8 × 30.000 = 240.000 €
24× H100 80 GB (SXM)1,9 TBCi sta24 × 30.000 = 720.000 €

Le 8 H100 sono incluse solo per mostrare il buco: 640 GB non bastano a nessun quant della tabella sopra. Serve un multiplo di più, e il prezzo segue.

I conti correnti: ammortamento e luce

Stessa ipotesi dei nostri altri conti di macchina: 36 mesi di ammortamento, uso 24/7 al 50% di carico medio, elettricità a 0,25 €/kWh.

4× Mac Studio M5 Ultra 512 GB (480 W di picco per unità, ~240 W medi a mezzo carico):

  • Ammortamento: 26.796 € ÷ 36 = ~744 €/mese
  • Luce: 0,24 kW × 730 h = 175 kWh per Mac al mese → 4 Mac = 701 kWh → × 0,25 = ~175 €/mese
  • Totale: ~920 €/mese, tutto incluso

24× H100 80 GB (700 W di picco per scheda, ~350 W medi):

  • Ammortamento: 720.000 € ÷ 36 = 20.000 €/mese
  • Luce: 8,4 kW medi × 730 h = 6.132 kWh → × 0,25 = ~1.530 €/mese
  • Totale: ~21.500 €/mese, senza contare sala, raffreddamento e rete

La voce luce della flotta H100 (1.530 €/mese) costa più del totale della flotta Mac, che invece ne spende 175. Sui grandi MoE, la differenza di architettura tra memoria unificata e HBM si vede prima sul contatore che sul benchmark.

Quanta velocità ne esce

Su un nodo singolo la regola che usiamo per i MoE vale anche qui: la decodifica è limitata dalla banda, e si dividono banda passante per i byte degli expert attivi. 95B attivi in Q4_K_M ≈ 52 GB:

BandaTok/s teorici (1.200 ÷ 52)
Mac Studio M5 Ultra, 1.200 GB/s~23
DGX Spark, 273 GB/s~5

Attenzione: il Mac 512 GB non tiene il modello, quindi i 23 tok/s sono un controfattuale — la velocità di una macchina che non esiste. In multi-nodo il conteggio cambia: ogni token attraversa una novantina di blocchi MoE e ad ogni blocco l'attivazione fa un all-to-all tra i nodi che ospitano gli expert. Il collo di bottiglia non è più la banda di memoria ma l'interconnessione: Thunderbolt (10-15 GB/s) o 25/40GbE. Non esistono numeri pubblici per questa configurazione esatta, e non ne inventiamo: l'ordine di grandezza è quello dell'interconnessione, e se ti serve un server sempre acceso con SLO, parti dall'assunto che il multi-nodo consumer è un progetto da validare, non un acquisto.

Quando ha senso

  • Se oggi giri un Qwen3.8-27B o un 30B-A3B su 24 GB di VRAM: per la grande maggioranza degli usi — RAG, coding assistito, automazioni — quelli bastano. Questo articolo non è un incentivo a comprarci altro, è la mappa dei costi se arrivi davvero a volere qualità classe Max senza API.
  • Ha senso in locale quando i dati non possono uscire, il modello deve essere disponibile 24/7 senza contatore di token, e hai già lo spazio per un rack o un tavolo pieno di Mac. In quel caso i ~920 €/mese della flotta Mac sono il numero da confrontare con il tuo volume di token API.
  • Non ha senso per chi parte da zero: un singolo Mac 512 GB con un modello da 30-70B ti dà un'IA locale completa spendendo un quarto, con la metà dei problemi logistici.

In sintesi

Qwen3.8-2.4T-A95B porta la classe Qwen-Max in open-weight: 2,4T di parametri, 95B attivi, contesto da 262k a 1M. In byte sono ~1,3 TB in Q4_K_M, più di qualsiasi nodo consumer (massimo 512 GB), quindi il locale per questo modello è necessariamente multi-nodo: 4 Mac Studio M5 Ultra a ~26.800 € (~920 €/mese tutto incluso) oppure 24 H100 a 720.000 € (~21.500 €/mese). La velocità in multi-nodo è decisa dall'interconnessione, non dalla memoria. Se non hai già un'infrastruttura, il modello giusto per te è più piccolo: la frontiera open è arrivata alla Max-class, ma il tuo hardware probabilmente no.

Articolo generato con IA

Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati