Come Scegliere il Tuo Primo Modello IA Locale

Scegliere il primo modello per l'IA locale è più semplice di come sembra: non devi trovare il modello migliore in assoluto, ma quello giusto per il tuo caso d'uso e per la memoria che hai disponibile. Tre criteri — cosa ti serve fare, quanta RAM o VRAM hai, quanto contesto vuoi — bastano per arrivare alla risposta in dieci minuti.

I tre criteri che contano

1. Il caso d'uso prima della scheda tecnica

Il modello va scelto in base a cosa deve fare, non alla classifica benchmark:

• Chat e assistenza quotidiana: un modello da 7–8B è più che sufficiente. La qualità della conversazione sale poco passando da 8 a 14B.
• Testo in italiano o in francese: qui la famiglia conta più della dimensione. Qwen e Gemma scrivono visibilmente meglio delle famiglie anglocentriche; se la lingua è il punto, scegli la famiglia per prima.
• Codice: 14B in su, e quantizza il meno possibile (Q5 o Q8) — il codice è la prima cosa che degrada quando si comprimono i pesi.
• Lavori in sequenza (più passaggi concatenati, ragionamento lungo): qui servono i modelli di taglia media-alta o le varianti "reasoning" che pensano prima di rispondere.

2. La memoria: il calcolo esatto

Un parametro vale 1 byte in media in FP16; la quantizzazione lo comprime. La formula pratica per un modello Q4_K_M (4 bit per peso, più la parte "K" a 6 bit che lo rende leggermente più grande):

Passo	8B	14B	32B
Pesi in FP16 (parametri × 2 byte)	16 GB	28 GB	64 GB
Pesi a Q4_K_M (÷ 3,4 circa)	~4,7 GB	~8,3 GB	~18,5 GB
KV cache + contesto 8K	~1–2 GB	~2–3 GB	~3–4 GB
Totale da mettere in RAM/VRAM	~6 GB	~11 GB	~22 GB

Aggiungi sempre un margine del 20–30% per il sistema operativo e per le richieste più lunghe. La traduzione pratica:

• 8 GB VRAM: modelli 8B a Q4_K_M senza problemi, 14B solo a Q3 (sconsigliato per uso quotidiano).
• 16 GB VRAM (o RAM unificata): 14B a Q4–Q5, oppure 32B a Q3–Q4 se la velocità non ti serve.
• 24 GB VRAM: 32B a Q4–Q5 a velocità utile. È la fascia più versatile per la qualità.

Il dettaglio che cambia il gioco: i modelli MoE (mixture of experts) hanno pesi totali grandi ma ne attivano pochi per ogni token. Un modello MoE da 30B ne attiva 3: occupa ~19 GB a Q4 come un 32B dense, ma gira 3–4 volte più veloce. Se la tua macchina sta a metà tra due fasce, il MoE è quasi sempre la scelta migliore — quando un modello grande non serve lo dimostra coi numeri.

3. Il contesto

Il contesto è quanto testo il modello ricorda nella conversazione. Ogni token di contesto aggiunge bytes alla KV cache: 8K di contesto su un 8B costano 1–2 GB, 32K ne costano 4–6. Se fai chat normali, 8K bastano e non ti costa quasi nulla. Se analizzi documenti lunghi, serve di più — e prima di comprare hardware più grande valuta un sistema RAG, che aggancia i documenti al modello senza gonfiare il contesto.

I modelli da cui partire (ottobre 2026)

Modello	Pesi Q4_K_M	RAM/VRAM utile	Perché
Llama 3.1 8B	~4,9 GB	8 GB	Il riferimento 8B: licenza Meta chiara, enorme ecosistema, italiano buono
Qwen3-8B	~5,3 GB	8 GB	Il miglior compromesso qualità/multilingua nella fascia 8B; italiano e francese superiori
Qwen3-14B	~9,5 GB	16 GB	Il salto di qualità più netto: ragionamenti e codice visibilmente migliori
Qwen3-30B-A3B (MoE)	~19 GB	24 GB	Qualità da 32B a velocità da 8B: la scelta giusta per chi ha 24 GB

I numeri Q4_K_M li puoi ricavare dalla regola sopra (parametri ÷ 3,4); le schede su Hugging Face riportano le dimensioni esatte file per file. Se vuoi capire come si leggono le specifiche di un modello senza affidarti a tabelle altrui, questa guida lo fa passo per passo.

Il primo modello in pratica

Se non hai ancora installato nulla, la via più rapida è Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:8b

Se il comando ha funzionato, dopo qualche minuto appare il prompt della conversazione (il primo avvio scarica ~5,3 GB: dipende dalla tua rete). Scrivi "Riassumi in due righe cos'è la quantizzazione" e verifica due cose: la risposta è in italiano e in forma corretta, e l'ultimo campo della riga di progresso (i tok/s) è coerente con la tua macchina — su una GPU 8B assestati tra 15 e 40, su CPU tra 5 e 15, su un Raspberry Pi sotto i 4. Il punto per punto completo dall'installazione al primo modello copre anche il collegamento a un'interfaccia e i problemi tipici.

Se non va: ollama run che impiega minuti senza scaricare nulla = il modello non sta in memoria e gira su swap: scendi di taglia o di quantizzazione (ollama run qwen3:8b-q3_k_m). Risposte lente ma stabili = stai già bene, è solo il tuo hardware.

E i limiti?

Detto schietto: un 8B locale non è un frontier model. Nei ragionamenti a più passaggi lunghi, nel codice complesso e nella produzione di testi molto articolati vede la differenza con i modelli grandi in cloud — e un MoE da 30B la riduce senza azzerarla. La buona notizia è che per la maggioranza dei compiti pratici (riassunti, stesure, classifiche di documenti, assistenza quotidiana, codice di manutenzione) il salto da 8 a 32B è meno evidente di quanto si pensi, e il 30B-A3B a Q4 sta su una singola 24GB.

In sintesi: parti dal caso d'uso, applica la formula parametri ÷ 3,4 più 1–2 GB di contesto, e scegli il primo modello che entra nella tua memoria con margine. Per la maggior parte delle macchine questo è Qwen3-8B o Llama 3.1 8B a Q4_K_M; con 16GB passi a Qwen3-14B; con 24GB, Qwen3-30B-A3B. Il modello lo cambi in un comando — la macchina no, quindi vale la pena ragionarci sopra.

Fonti

• Qwen3 — annuncio e tabelle dimensioni (Qwen3-0.6B → 32B, MoE 30B-A3B e 235B-A22B, Apache 2.0)
• Meta — Llama 3.1
• Ollama — download e installazione
• Qwen — guida rapida all'esecuzione

Articolo generato con IA