llama.cpp v0.9.0 : quantification FP8 OCP, KV unifié multi-séquence et TTS Chatterbox
Outils et sortiesArticles connexes
Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise
1 000 milliards de paramètres, 52B actifs, 1M de contexte, licenza open-weight : les calculs de quantification, de RAM et de vitesse pour le faire tourner en local.
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
MagpieTTS 357M : la synthèse vocale en 12 langues, même sur un laptop
MagpieTTS Multilingual 357M de NVIDIA : 12 langues, français inclus, dans un fichier de 332 Mo qui tourne localement sur un laptop sans GPU. Exigences, installation en trois commandes, limites honnêtes.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

