Glossario IA Locale

Formato floating-point a 8 bit per pesi e attivazioni dei grandi modelli (varianti E4M3 e E5M2). Metà della VRAM del FP16 a perdita di qualità minima nei pesi: i modelli recenti (es. Kolibri di Aleph Alpha) sono rilasciati direttamente in FP8. A differenza di NVFP4 o MXFP4, è supportato nativamente dalle librerie di base (cuBLAS) senza micro-scaling per blocco.

La generazione attuale di memoria video: fino a 32 Gbps per pin, con 256-bit significa 1 TB/s (RTX 5090). Per l'inferenza in locale la banda di memoria decide la velocità di generazione: i modelli Blackwell di NVIDIA la usano su tutte le schede 50, e il rincaro GDDR7 del 2026 ha spostato i prezzi street di molte schede di fascia media.

GGML Unified Format. Il formato di file standard per distribuire modelli LLM quantizzati, specialmente con llama.cpp. Supporta il salvataggio del modello, dei pesi quantizzati e dei token. È il formato predominante per l'inferenza locale su hardware consumer.

Microscaling FP4: formato a 4 bit punto flottante in cui ogni blocco di 32 pesi condivide un esponente di scala. È il formato nativo di gpt-oss: i pesi partono già quantizzati dalla casa, senza passo di conversione. Rispetto al Q4_K_M GGUF, MXFP4 è ottimizzato per i tensor core Blackwell e per l'hardware NVIDIA in particolare.

Formato di quantizzazione a 4 bit di NVIDIA (NVIDIA Floating Point 4): rappresenta i pesi dei modelli con 4 bit più un fattore di scala per gruppo, riducendo la memoria di circa un quarto rispetto a 16 bit. È il formato nativo dei tensor core Blackwell e permette a modelli da 35B di girare su GPU da 32 GB.

Rappresentazione dei pesi con valori limitati a {−1, 0, +1}, spesso con una scala condivisa per gruppo. Porta il costo a ~1,58 bit per peso (più la scala), permettendo modelli di decine di miliardi di parametri in pochi GB, come in Bonsai-2 27B.