Mac Studio M5 Ultra: guida pratica a 512GB - modelli che ci stanno e setup GGUF

Il Mac Studio con M5 Ultra nella configurazione da 512GB arriva a fine ottobre. Da un lato è la notizia; dall'altro, quella è la parte "da ufficio stampa". La parte pratica è un'altra: ora esiste un desktop che fa stare interi modelli MoE da centinaia di miliardi di parametri, a 4 bit, con contesto ampio — senza cloud, senza API, senza noleggio. In questa guida ti mostro cosa ci sta davvero, come impostare GGUF passo per passo, perché la KV cache è il vero collo di bottiglia, e quanto costa rispetto alle API con i numeri sul tavolo. (Scheda tecnica Mac Studio)

La regola dei 4 bit

A 4 bit ogni miliardo di parametri pesa circa 0,5GB. Per i modelli MoE conta però un'altra cifra: i parametri attivi per token, che determinano la velocità, mentre i parametri totali determinano la memoria. La memoria deve far stare tutto (pesi + contesto + cache), la velocità dipende solo da ciò che si attiva.

Modello (quantizzazione)	Pesi su disco	Spazio residuo in 512GB
Qwen3.5-35B-A3B (Q4_K_M)	~20 GB	~490 GB
Gemma 4 26B-A4B (Q4_K_M)	~16 GB	~496 GB
Kolibri 1, 78B (Q4_K_M)	47,5 GB	~465 GB
Ling 3.1 Flash, 560B (Q4_K_M)	~290 GB	~220 GB
Dense 200B (Q4)	~100 GB	~410 GB

Due letture. Primo: i MoE con pochi attivi (Kolibri, Ling) ti lasciano centinaia di GB liberi per contesto lungo e RAG — è il motivo per cui il 512GB ha senso. Secondo: Ling 3.1 Flash è il caso limite — entra, ma il contesto va gestito (sotto vedremo perché). I checkpoint ufficiali di Ling e Kolibri sono FP8: pesano rispettivamente ~572GB e ~78GB, quindi non entrano a 8 bit; la via pratica è il GGUF quantizzato a 4 bit. (Ling 3.1 Flash, Kolibri-1 GGUF)

Setup GGUF: tre vie, scegli in base al modello

A. Ollama — se il modello è in libreria. Per i MoE di tutti i giorni (Qwen3.5-35B-A3B, Gemma) è la via più rapida:

ollama pull qwen3.5-35b-a3b:q4_k_m
ollama run qwen3.5-35b-a3b

Cosa vedi quando funziona: il prompt >>> e la prima risposta. Se non va: ollama ps mostra la RAM occupata; se il modello parte in swap, è troppo grande per la configurazione — scendi di quantizzazione o riduci il contesto.

B. LM Studio — la via GUI. Scarichi il file GGUF dal repository, lo selezioni, fissi la finestra di contesto e carichi. È il percorso giusto se non vuoi toccare il terminale e il modello è supportato.

C. llama.cpp — per i grandi MoE (Ling, Kolibri). Kolibri 1 richiede la patch kolibri1 (l'architettura non è ancora nel trunk); Ling 3.1 Flash ha la propria architettura ibrida. Qui il terminale è obbligatorio:

./build/bin/llama-server -m Ling-3.1-Flash-Q4_K_M.gguf \
  --n-gpu-layers 999 -c 32768 --jinja --temp 0.6 --top-p 0.9

Cosa vedi quando funziona: apre http://localhost:8080 con il campo prompt; digiti e ottieni la risposta in streaming. Se non va: errore OOM = abbassa -c o passa da Q4 a Q3; su Mac unificato --n-gpu-layers 999 è corretto perché tutta la memoria è condivisa.

Confronto delle tre vie: Ollama se il modello è in libreria e vuoi partire in un minuto; LM Studio se vuoi la GUI; llama.cpp se il modello è nuovo o ibrido e serve il massimo controllo (ed è l'unica via per Kolibri oggi).

KV cache: il vero collo di bottiglia

Il peso del modello non è l'unica cosa che vive in memoria. La KV cache — la memoria che accumula la "storia" di ogni token già processato — cresce con il contesto. Il contesto nativo di Ling e Kolibri arriva a 1M di token, ma usarlo intero non è realistico: a 1M la KV cache mangerebbe buona parte dei ~220GB residui di Ling in Q4. In pratica operi tra 32K e 256K di contesto, dove la KV pesa alcune decine di GB e ti avanza margine per RAG e dati. Il punto: la RAM serve più del solo modello, perché è il contesto — non i pesi — a decidere quanto la conversazione "ricorda".

Confronto costi: Mac vs API, fatto coi numeri

Mac Studio 512GB: 9.999 USD. Ammortamento su 36 mesi: ~278 USD/mese. La voce luce è trascurabile: un Mac unificato assorbe una decina di watt a riposo e poco più sotto carico — a 0,30 €/kWh siamo nell'ordine di poche decine di euro all'anno, non nel conto.

L'API, invece, è a consumo. Ling 3.1 Flash su OpenRouter costa 0,075 $/M in input e 0,225 $/M in output. Il conto:

Carico	Token in	Token out	Costo API/mese
Uso leggero (5 richieste/giorno da 10K)	~1,5M	~0,5M	~0,60 $
Uso medio (1 richiesta/giorno da 100K)	~3,1M	~0,3M	~0,50 $
Uso intenso (1M in + 100K out al giorno)	~31M	~3M	~6 $

Il punto onesto: il Mac da 9.999 USD si ripaga in termini di token solo a volumi enterprise — servirebbero dell'ordine di 3.000-4.000 milioni di token di input al mese perché l'API superi i 278 USD/mese di ammortamento. Per un uso consumer o da piccola struttura l'API resta di gran lunga la via economica. Il valore del Mac non è quindi il prezzo al token: è che il modello è sempre lì, è tuo, e nessun byte del dato parte — il che, per certi carichi, vale più del risparmio. Se invece il tuo volume è alto e il dato non può uscire, l'acquisto vince. La base hardware — memoria unificata, banda, confronto con la DGX Station — è nell'articolo Memoria unificata: da Strix Halo a Mac Studio; la metodologia completa di costo per via (API, noleggio, acquisto) è in Quanto costa un token.

Quando è la scelta giusta

• Il dato non può lasciare il perimetro (clienti, medico, legale, finanza): qui l'API è esclusa di default e il Mac è l'unico desktop che fa stare un 560B in locale.
• Vuoi il modello sempre acceso, senza meter e senza dipendere da un fornitore che può cambiare listino.
• Il volume è alto da giustificare i 9.999 USD: in quel caso la bolletta API sarebbe già il problema.

Altrimenti, per il 90% dei casi, un MoE più piccolo su hardware da 24-48GB o l'API economica sono la scelta sensata. Il Mac Studio 512GB non è "l'IA locale per tutti": è l'IA locale per chi ha un caso in cui la macchina stessa è il prodotto.

In sintesi

Il Mac Studio M5 Ultra a 512GB è il primo desktop che fa stare interi MoE da 560B a 4 bit con contesto ampio, senza cloud. La regola pratica: pesi a 4 bit (~0,5GB per miliardo) + margine per contesto e KV cache < 512GB. Per i modelli di tutti i giorni parti da Ollama o LM Studio; per Ling e Kolibri serve llama.cpp (Kolibri con la sua patch). Il collo di bottiglia reale è la KV cache, non i pesi. Sul costo: il Mac si ripaga in token solo a volumi enterprise — per tutti gli altri il suo valore è disponibilità permanente, proprietà e dato che non parte.

Articolo generato con IA