Un modèle de décision de 11,4 Mo à poids ouverts : le System-1 pour appareils
Modèles décisionnelsArticles connexes
Modèle sans GPU : quand le CPU suffit vraiment
En 2026, l'inférence sur CPU seul n'est plus un pis-aller : quand elle fonctionne vraiment, à quelle vitesse s'attendre et quelles manettes tirer pour presser le processeur.
Modèles de décision en local : JEV-35B et le System 1 à 3 Md actifs
Pas besoin d'un grand LLM pour décider. JEV-35B (35 Md, 3 Md actifs) en NVFP4 sur une GPU de 32 Go et ej (11,4 Mo) sur CPU montrent comment faire du routage, de la classification et du contrôle qualité sans générer un seul jeton.
KV cache : pourquoi la RAM sert à plus que le seul modèle
Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.