Aller au contenu principal
← Retour aux actualités

llama.cpp v0.9.0 : quantification FP8 OCP, KV unifié multi-séquence et TTS Chatterbox

Outils et sorties
Source:GitHub
Le moteur d'inférence locale ajoute la quantification OCP FP8 E4M3 (mode saturant) et l'opérateur flash_attn_ext_rows qui rend la KV cache unifiée efficace pour l'inférence multi-séquence. Nouvelles architectures (Clover-35B-A3B-Preview, Limite 1B, Metis-1.6 et Mistral Large 4), TTS Chatterbox, Nemotron 3.5 Transcribe en 40 langues et prefill plus rapide pour gemma4 E2B/E4B ; ggml passe en v0.29.0 avec parallélisme de tenseurs multi-nœuds NCCL.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.