Vai al contenuto principale
HardwareIntermedio8 min di lettura

Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità

i
iaLocale Team
•
Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità

Hai mai provato a caricare un modello troppo grande per la GPU: il programma ti dice che manca la memoria, e da lì non si va più avanti. Con una GPU discreta il soffitto è fissato: la VRAM disponibile o c'è o non c'è. La memoria unificata cambia la domanda. CPU e GPU condividono un unico pool di RAM, quindi il modello può usare quasi tutta la memoria della macchina, non un taglio separato di qualche GB.

Il punto, però, non è solo il "quanto". Il vero collo di bottiglia di un'IA locale non è la capacità di memoria: è la banda passante, cioè la velocità con cui la macchina legge i pesi del modello. E qui i numeri sono più decisivi di quanto sembri: 256 GB/s, 614 GB/s o 1.2 TB/s non sono tre specifiche tecniche, sono tre esperienze d'uso completamente diverse.

In questo articolo prendiamo tre piattaforme reali — la Strix Halo di AMD, i Mac con M5 Max e i Mac con M5 Ultra — e facciamo i conti: cosa ci sta dentro, a che velocità, quanto costa e per chi ha senso. Prima però, due concetti rapidi.

Che cos'è la memoria unificata, in pratica

Su un PC con GPU discreta esistono due memorie separate: la RAM di sistema per la CPU e la VRAM per la GPU, collegate da un bus PCIe. Se il modello non entra in VRAM, o si riduce la quantizzazione o si acquista una GPU più grande. Su una piattaforma a memoria unificata — Apple Silicon, Strix Halo, DGX Spark — esiste un solo pool, e la GPU ci legge dentro direttamente. L'allocazione si regola dal BIOS o dal sistema operativo: sulla Strix Halo, fino a 96GB dei 128GB totali possono essere assegnati alla GPU.

Questo significa che un modello che su una GPU dedicata da 16GB è un lusso, su una macchina da 128GB di memoria unificata diventa normale. Il "quanto ci sta" smette di essere un limite e diventa una scelta.

Perché la banda passante decide la velocità

Quando generi testo, il modello si trova nella fase di decode: produce un token alla volta, e per ogni token rilegge i pesi attivi dalla memoria. Il numero di token al secondo dipende quindi, in prima approssimazione, dalla banda passante divisa per i byte che il modello occupa. È aritmetica semplice, ma ha conseguenze forti.

Facciamo un esempio concreto. Un modello da 27B parametri in Q4_K_M pesa circa 16,4GB. Una Strix Halo con 256 GB/s ne produce all'incirca 11-13 al secondo: usabile, ma non veloce. Un M5 Max con 614 GB/s ne fa 28-30. Un M5 Ultra con 1,2 TB/s arriva a 50-80. Stesso modello, stessa quantizzazione: la differenza la fa solo la memoria.

Il prefill — la fase in cui il modello legge l'intero prompt — funziona diversamente: lì conta soprattutto la potenza di calcolo, e un chip con banda passante più bassa ma più core può comunque elaborare i prompt a gran velocità. La banda passante è ciò che limita la fase che senti di più, cioè l'apparire del testo.

Le tre piattaforme: 256, 614 e 1.200 GB/s

PiattaformaBanda passanteMemoria unificata
AMD Ryzen AI Max+ 395 (Strix Halo)256 GB/s128GB
NVIDIA DGX Spark (GB10)273 GB/s128GB
Apple M5 Max (Mac Studio)614 GB/sfino a 128GB
Apple M5 Ultra (Mac Studio)1,2 TB/sfino a 512GB

La Strix Halo è la più economica della banda e la più "consumer": 256 GB/s è circa un quarto di una RTX 4090, quindi qualsiasi modello che stia nella VRAM di una GPU dedicata gira più veloce su quella. Ma vince sulla capacità: è l'unica di questa lista, fuori dal mondo Apple, a far girare in locale un MoE da 100B senza GPU dedicata, su un mini-PC che sta su un ripiano.

Il DGX Spark sta in mezzo: 273 GB/s come la Strix Halo, ma con CUDA completo e circa 1 petaFLOP in FP4. Per chi sviluppa, è l'opzione "memoria unificata senza rinunciare all'ecosistema NVIDIA".

Il salto di Apple è il più marcato della generazione: dal 614 GB/s del M5 Max ai 1.200 GB/s del M5 Ultra, con la banda passante raddoppiata rispetto alla generazione precedente (M3 Ultra era a 800 GB/s). Il M5 Ultra è inoltre il primo chip a quattro die: due M5 Max uniti da UltraFusion, con fino a 36 core CPU e 80 core GPU.

128GB vs 512GB: cosa ci sta davvero

Con 128GB di memoria unificata (e 96GB allocabili alla GPU sulla Strix Halo), in Q4_K_M:

  • un 27B in alta quantizzazione, con contesto generoso — c'è spazio anche per Q8;
  • un dense da 70B in Q4, con contesto moderato: i pesi occupano circa 40GB, e il resto è per la KV cache;
  • un MoE da 100B in 4 bit, con contesto ampio: qui il MoE brilla, perché i parametri totali sono 100B ma quelli attivi sono pochi, e la velocità dipende dagli attivi, non dal totale.

Con 512GB sul M5 Ultra il discorso cambia:

  • i MoE di fascia frontier con decine o centinaia di miliardi di parametri totali in 4 o 8 bit: modelli che fino a ieri si giravano solo in cloud;
  • RAG su corpora grandi: decine di migliaia di documenti locali, con l'embedding store e il contesto tutto in memoria, nessun servizio esterno;
  • un 27B con contesto esteso (128K-262K token): la sola KV cache può pesare decine di GB, e a 512GB non è un problema.

La regola pratica: 128GB se i tuoi modelli stanno sotto i 120B in 4 bit e usi contesti fino a 128K. 512GB se vuoi i modelli più grandi in locale, se fai RAG su un corpus importante, o se il contesto lungo è il tuo caso d'uso principale.

Quanto costa, e per chi ha senso

Numeri di listino attuali: i mini-PC con Strix Halo da 128GB partono da circa 1.500-1.800 euro; il Mac Studio con M5 Max e 128GB si aggira sui 2.999 euro; il Mac Studio con M5 Ultra e 512GB è a 6.699 euro; il DGX Spark, dopo il ritocco di prezzo del febbraio 2026, costa circa 4.800 euro.

Ma il confronto che conta non è il prezzo d'acquisto: è il costo per token. Il cloud ti chiede un pagamento per ogni token che generi, per sempre. L'hardware lo paghi una volta, e da lì il costo per token è quasi nullo (la corrente). Una macchina da 128GB a 2.000 euro si ripaga in mesi rispetto a un abbonamento API per un uso intenso; una da 512GB a 6.700 euro ha senso solo se sostituisci effettivamente un uso cloud che costava tanto.

Per chi ha senso, in sintesi:

  • 128GB, fascia 1.500-3.000 euro — chi vuole un'IA sempre disponibile a casa o in ufficio, per chat, RAG sui propri documenti, assistenti agentici. Modello tipico: 27B o MoE da 100B.
  • 512GB, fascia 6.500 euro — chi lavora con modelli frontier-class in locale, RAG su grandi corpori, o contesti molto lunghi. È la scelta per chi sa esattamente cosa ci metterà dentro.

Un avvertimento pratico: le configurazioni da 512GB del Mac Studio M5 Ultra arrivano a fine ottobre 2026; i Mac M5 Max sono disponibili da fine settembre. I mini-PC Strix Halo si trovano già, in diversi formati, da mini-PC desktop a laptop.

Conclusione

La memoria unificata ha spostato la domanda dall'hardware al modello. Non chiedi più "quanta VRAM mi serve per questo modello?"; chiedi "quanti miliardi di parametri posso permettermi sulla mia macchina?". La risposta dipende da due numeri: la capacità, che decide cosa ci sta; la banda passante, che decide a che velocità.

256 GB/s è un'IA da uso quotidiano tranquillo. 614 GB/s è un'IA da lavoro. 1,2 TB/s è un'IA da frontiera. E la differenza tra 128GB e 512GB non è un salto di fascia: è la differenza tra girare i modelli che escono quest'anno e quelli che usciranno nei prossimi due.

Quando compri hardware per l'IA locale, guarda prima quanto ti serve di memoria per i tuoi modelli, poi quale banda passante rende l'esperienza comoda, e infine il costo totale nel tempo — non solo quello d'acquisto, perché il cloud non è mai gratuito, è solo fatturato. La memoria la possiedi. Il resto lo affitti.

Riferimenti

Articolo generato con IA

#AMD#Apple Silicon#Hardware#IA locale#Memoria unificata
Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.