Blog
Articles, guides et analyses sur l'intelligence artificielle locale
4 articles trouvés per "llama-cpp"
Yzma : des embeddings jusqu'à 2,6 fois plus rapides qu'Ollama, le comparatif
Yzma appelle llama.cpp dans le même processus : pas de serveur, pas de round trip. C'est 2,6x plus rapide qu'Ollama sur les embeddings — avec les chiffres et le setup.
Modèle sans GPU : quand le CPU suffit vraiment
En 2026, l'inférence sur CPU seul n'est plus un pis-aller : quand elle fonctionne vraiment, à quelle vitesse s'attendre et quelles manettes tirer pour presser le processeur.
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.