Quantizzazione

Tecnica che riduce la precisione numerica di un modello per diminuire la sua dimensione e accelerare l'inferenza. Una quantizzazione a 4-bit può ridurre un modello da 40 GB a circa 10 GB mantenendo gran parte delle prestazioni. I formati GGUF e GPTQ sono standard per i modelli quantizzati.