Vai al contenuto principale

Blog

Articoli, guide e approfondimenti sull'intelligenza artificiale locale

8 articoli trovati per "quantizzazione"

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale
ModelliIntermedio

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale

64,8B di parametri, Apache 2.0, 1M di contesto e un checkpoint NVFP4 pensato per 128 GB di memoria unificata: i conti e i criteri per girare un dense da frontier in locale.

iaLocale Team
19 novembre 2026
Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise
ModelliIntermedio

Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise

Mistral ha pubblicato Large 4 in open-weight (1,03T totali, 52B attivi, 1M di contesto, licenza open-weight): un articolo che insegna a leggere le specifiche MoE e a fare i conti di RAM, quantizzazione e velocità per l'inferenza on-premise.

iaLocale Team
14 novembre 2026
Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop
ModelliIntermedio

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop

74B di parametri, 9B attivi: il MoE di NVIDIA per gli agenti in locale sta in 24GB di VRAM con la quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

iaLocale Team
2 novembre 2026
MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
ModelliIntermedio

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

MiniCPM-V 4.7 (35B totali, ~3B attivi, rilasciato il 12 ottobre 2026 da OpenBMB e ModelBest) è il primo MoE open della serie, visivo-linguistico: immagini multiple, video, OCR. 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, 17+ su Android. Quantizzazioni ufficiali BF16, FP8, INT4, AWQ, GPTQ, GGUF; motore Ollama, llama.cpp, vLLM, SGLang. Le tre tecniche: Lookahead Expert Scheduling, quantizzazione fine per livello, campionamento speculativo DSpark.

iaLocale Team
21 ottobre 2026
GGUF: il formato che fa stare i modelli sul tuo hardware
ModelliIntermedio

GGUF: il formato che fa stare i modelli sul tuo hardware

GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.

iaLocale Team
30 settembre 2026
Quantizzazione: ottenere di più dallo stesso hardware
ModelliIntermedio

Quantizzazione: ottenere di più dallo stesso hardware

La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

iaLocale Team
28 settembre 2026
Quando un modello grande non serve: scegliere per dimensione
ModelliIntermedio

Quando un modello grande non serve: scegliere per dimensione

Il metodo per scegliere la dimensione del modello in base all'hardware: i tre limiti (memoria, velocità, latenza percepita), la tabella VRAM per quantizzazione Q4, le classi per hardware e i casi in cui il modello piccolo vince.

iaLocale Team
27 settembre 2026
Come leggere le specifiche di un modello: famiglia, dimensione, contesto
ModelliIntermedio

Come leggere le specifiche di un modello: famiglia, dimensione, contesto

Guida alla lettura delle specifiche di un modello: famiglia, dimensione totale e attiva, finestra di contesto, quantizzazione, benchmark e licenza, con un esempio su DeepSeek V4.1 Flash.

iaLocale Team
26 settembre 2026