Quantification

Technique qui réduit la précision numérique d'un modèle pour diminuer sa taille et accélérer l'inférence. Une quantification à 4 bits peut réduire un modèle de 40 Go à environ 10 Go tout en maintenant la plupart des performances. Les formats GGUF et GPTQ sont des standards pour les modèles quantifiés.