Aller au contenu principal

Blog

Articles, guides et analyses sur l'intelligence artificielle locale

7 articles trouvés per "token"

Turnbook : la mémoire locale des agents de coding, sans appel au modèle
Cas d’usageIntermédiaire

Turnbook : la mémoire locale des agents de coding, sans appel au modèle

Chaque conversation enregistrée mot pour mot dans un fichier SQLite, sans appel au modèle : recherche par embeddings locaux, 3,1k tokens par réponse. 91,8 % sur LongMemEval, zéro token pour enregistrer.

iaLocale Team
20 novembre 2026
QRAE : compresser le contexte des agents DeepSearch pour économiser token et latence
ModèlesIntermédiaire

QRAE : compresser le contexte des agents DeepSearch pour économiser token et latence

QRAE utilise l'entropie d'attention du modèle pour décider quels fragments récupérés restent dans le contexte : token -45 %, latence -30 % et succès en hausse sur quatre benchmarks.

iaLocale Team
18 novembre 2026
Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM
ModèlesIntermédiaire

Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM

Ling 3.1 Flash d'inclusionAI : MoE hybride 560B totaux / 25B actifs, contexte natif 1M tokens, checkpoint FP8, licence MIT. Concrètement, pour 24 Go de VRAM : quantifications, parallélisme et coûts API.

iaLocale Team
19 octobre 2026
Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local
ModèlesIntermédiaire

Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local

Kolibri (78,1B/3,46B, Apache 2.0, FP8) d'Aleph Alpha est le MoE européen open-weight : raisonnement, tool calling et contexte jusqu'à 1M de tokens. En FP8 il pèse ~78 Go de VRAM : il tourne sur RTX 5090 32GB + mémoire partagée ou sur Mac à mémoire unifiée ; pour une adoption pratique il manque encore l'architecture kolibri1 dans llama.cpp et les builds d'Ollama/LM Studio.

iaLocale Team
18 octobre 2026
À combien revient un token : cinq chemins, les comptes et le point d'équilibre
ComparaisonsIntermédiaire

À combien revient un token : cinq chemins, les comptes et le point d'équilibre

API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.

iaLocale Team
15 octobre 2026
Coûts : local vs API, avec les vrais chiffres
Cas d’usageIntermédiaire

Coûts : local vs API, avec les vrais chiffres

Combien coûte vraiment le local par rapport à une API cloud ? Tarifs par token vérifiés, amortissement de la carte graphique, électricité et point de rentabilité, calculé avec les vrais chiffres.

iaLocale Team
6 octobre 2026
Quantification : tirer davantage du même matériel
ModèlesIntermédiaire

Quantification : tirer davantage du même matériel

La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

iaLocale Team
28 septembre 2026