Glossaire IA Locale
Termes et définitions de l'intelligence artificielle locale, des modèles open source et du calcul.
3 termes dans Optimisation
Technique qui réduit les accès mémoire pendant l'attention en la découpant en blocs et en gardant les résultats intermédiaires en mémoire rapide. Elle baisse la demande de bande passante et accélère le prefill et la décodification, surtout sur les contextes longs. Dans llama.cpp, on l'active avec le drapeau -fa.
Le coût unitaire avec lequel on paie l'inférence sur les API et les providers : un montant par million de tokens en entrée (input) et, séparément, en sortie (output). Le comparer au coût par token de son propre matériel (facture + amortissement) dit quand il vaut mieux posséder plutôt que d'appeler une API.
Technique qui réduit la précision numérique d'un modèle pour diminuer sa taille et accélérer l'inférence. Une quantification à 4 bits peut réduire un modèle de 40 Go à environ 10 Go tout en maintenant la plupart des performances. Les formats GGUF et GPTQ sont des standards pour les modèles quantifiés.