Blog
Articles, guides et analyses sur l'intelligence artificielle locale
6 articles trouvés per "quantizzazione"

Ripple-65B : un dense de 64,8B sous Apache-2.0, les comptes pour le faire tourner en local
64,8 milliards de paramètres, Apache 2.0, 1M de contexte et un checkpoint NVFP4 pensé pour 128 Go de mémoire unifiée : les comptes et les critères pour faire tourner un dense frontier en local.

Mistral Large 4 en open-weight : un MoE de 1T (52B actifs) pour l'inférence on-premise
Mistral a publié Large 4 en open-weight (1,03T au total, 52B actifs, 1M de contexte, licenza open-weight) : un article qui apprend à lire les spécifications MoE et à faire les calculs de RAM, de quantification et de vitesse pour l'inférence on-premise.

GGUF : le format qui fait tenir les modèles sur votre matériel
GGUF est le format à fichier unique qui distribue les modèles pour l'inférence locale : en-tête avec signature et version, métadonnées clé-valeur, index des tenseurs et poids alignés pour un chargement rapide via mmap. Types de quantification avec tailles réelles (8B de 14.96 Gio en F16 à 4.58 Gio en Q4_K_M), convention de nommage et règle pour choisir la taille selon la VRAM ou la RAM.

Quantification : tirer davantage du même matériel
La quantification réduit la précision des poids (de FP16 à 4-8 bits) pour faire entrer les modèles dans moins de VRAM et générer plus de tokens par seconde. Niveaux, tailles réelles de Qwen2.5 14B, règle de choix à partir de Q4_K_M et limites (code, raisonnement, langues autres que l'anglais).

Quand un grand modèle ne sert à rien : choisir par la taille
La méthode pour choisir la taille du modèle selon le matériel : les trois limites (mémoire, vitesse, latence perçue), le tableau VRAM pour la quantification Q4, les classes par matériel et les cas où le petit modèle gagne.

Comment lire les spécifications d'un modèle : famille, taille, contexte
Guide de lecture des spécifications d'un modèle : famille, taille totale et active, fenêtre de contexte, quantification, benchmarks et licence, avec un exemple sur DeepSeek V4.1 Flash.

