llama.cpp b11717 : Hadamard pour les quantifiés Q1_0 et Q2_0 sur NPU Snapdragon
Matériel et accélérateursArticles connexes
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
Llama 3 et Llama 4 : la famille open de Meta, quel modèle tourne sur votre matériel
De la 3.1 8B à la 4 Scout MoE au contexte de 10M : la famille Llama en tableau, ce qui tourne sur 16, 48 et 128 Go de RAM, la licence Community traduite pour l'entreprise italienne et le choix par budget.
À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.