WUSH-KV : quantification de la KV cache avec des transformations adaptées aux données
RechercheSource:arXiv
Une nouvelle méthode, WUSH-KV, réduit la mémoire et la bande occupées par la KV cache pour l'Inférence à long contexte, en la quantifiant à basse précision avec des transformations calibrées sur les données. À 2 bits, l'approche égale ou surpasse la transformation OSCAR sur tous les modèles et les tâches testées. C'est le signe que l'optimisation de la mémoire ne concerne plus seulement les poids, mais aussi la mémoire de contexte.
Articles connexes
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
Comment lire les spécifications d'un modèle : famille, taille, contexte
Famille, paramètres, contexte, quantification, benchmarks et licence : comment décoder la fiche technique d'un modèle d'IA et bien choisir.
Quantification : tirer davantage du même matériel
Ce qu'est la quantification, les niveaux Q4/Q5/Q8 et comment choisir le bon pour votre VRAM, avec un exemple concret sur Qwen2.5 14B.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.