Le modèle local répond en rafale ? La faute est souvent au chat template
Outils et sortiesArticles connexes
GGUF : le format qui fait tenir les modèles sur votre matériel
On ouvre la boîte : ce qu'il y a vraiment dans un fichier .gguf, pourquoi c'est un seul fichier, comment lire le nom et comment choisir la taille pour votre VRAM, avec les dimensions réelles d'un modèle 8B.
D'où apprennent les modèles locaux : les poids ouverts expliqués sans fumage
Le modèle ne se raccroche pas à internet pour ses capacités : il les a absorbées une fois au pré-entraînement et il les exécute sur votre matériel. Poids ouverts ne veut pas dire données ouvertes, et les modèles viennent de beaucoup de labs.
Modèles de décision en local : JEV-35B et le System 1 à 3 Md actifs
Pas besoin d'un grand LLM pour décider. JEV-35B (35 Md, 3 Md actifs) en NVFP4 sur une GPU de 32 Go et ej (11,4 Mo) sur CPU montrent comment faire du routage, de la classification et du contrôle qualité sans générer un seul jeton.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.