Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
2 articoli trovati per "inferenza"

ModelliIntermedio
Mistral Large 4 in open-weight: un MoE da 1T (52B attivi) per l'inferenza on-premise
Mistral ha pubblicato Large 4 in open-weight (1,03T totali, 52B attivi, 1M di contesto, licenza open-weight): un articolo che insegna a leggere le specifiche MoE e a fare i conti di RAM, quantizzazione e velocità per l'inferenza on-premise.
iaLocale Team14 novembre 2026

ModelliIntermedio
GGUF: il formato che fa stare i modelli sul tuo hardware
GGUF è il formato a file singolo che distribuisce i modelli per l'inferenza locale: header con firma e versione, metadati chiave-valore, indice dei tensor e pesi allineati per il caricamento rapido via mmap. Tipi di quantizzazione con dimensioni reali (8B da 14.96 GiB a F16 a 4.58 GiB a Q4_K_M), convenzione sui nomi e regola per scegliere la dimensione rispetto a VRAM o RAM.
iaLocale Team30 settembre 2026

