Glossaire IA Locale

Deuxième phase de l'inférence : le modèle génère la réponse un token à la fois. Chaque token nécessite de relire tous les poids du modèle et le KV cache depuis la mémoire, donc la vitesse (tokens par seconde) est dictée surtout par la bande passante mémoire.

Famille de modèles linguistiques open de Google DeepMind, construite sur la même technologie que la série Gemini. Les tailles vont de 1B à 27B paramètres ; Gemma 3 ajoute un contexte de 128K tokens, plus de 140 langues et des entrées multimédias, tandis que Gemma 4 (2026) passe à la licence Apache 2.0.

Le processus par lequel un modèle entraîné est utilisé pour générer des réponses ou faire des prédictions sur de nouvelles données. En IA locale, l'inférence se produit sur votre ordinateur plutôt que sur des serveurs distants. Cela garantit confidentialité et latence constante sans dépendre d'une connexion Internet.

Famille de modèles LLM open source de Meta. Llama 3 est la génération actuelle, avec des versions de 8B et 70B paramètres. Llama est l'un des modèles les plus utilisés au monde pour l'IA locale, avec une large compatibilité avec Ollama, llama.cpp et la plupart des frameworks d'inférence.

Large Language Model. Un modèle d'intelligence artificiel entraîné sur d'immenses quantités de texte, capable de comprendre et de générer du langage humain. Les LLM tels que Llama, Mistral et GPT sont à la base des chatbots, assistants virtuels et outils d'écriture automatique.

Famille de modèles LLM open source développés par Mistral, entreprise française. Mistral 7B et Mixtral sont parmi les modèles les plus populaires pour l'inférence locale grâce à leur rapport qualité/performance. Ils sont disponibles sur Hugging Face et pris en charge par Ollama, llama.cpp et d'autres outils.

Modèle qui, donné un état et une question typée (oui/non, choix parmi des options, score), renvoie une distribution de probabilités sur les options en un seul passage, sans générer de jetons. C'est le « System 1 » de l'IA : rapide et calibré, utilisé pour le routage, la classification et le contrôle qualité, à la place d'un LLM génératif quand il ne faut pas écrire.

Un modèle où chaque jeton traverse tous les paramètres : il n'y a pas de sélection d'experts, toute la capacité est active à chaque pas. Plus coûteux à décoder qu'un MoE de taille totale comparable, mais sans routage des experts. Exemple : Qwen3.8-27B.

Modèles linguistiques de plus grande échelle (série GPT d'OpenAI, Claude d'Anthropic, etc.) accessibles aujourd'hui quasi toujours uniquement via API payantes : les prix au token les plus bas, mais avec dépendance au fournisseur et limites d'envoi.

Version d'un modèle adaptée à la conversation : elle comprend les instructions et répond de manière directe, reconnaissable au suffixe « instruct » ou « -it ». Le modèle de base, sans cet entraînement, est un compléteur de texte pur utilisé pour le fine-tuning.

Modèles d'IA petits et rapides conçus pour répondre à des questions à choix multiples avec une étiquette structurée et une probabilité par option, au lieu de générer du texte libre. Le nom vient de Jev, l'acronyme qui identifie cette classe de modèles. Ils sont pensés pour le tri, le routage, la classification et la modération à faible latence : là où un grand LLM générerait un paragraphe, un modèle de décision renvoie l'option et le degré de confiance.

Première phase de l'inférence, où le modèle traite le prompt d'entrée (tous les tokens) en une seule passe. Elle détermine le temps jusqu'au premier token : quasi instantané sur GPU, elle peut prendre quelques secondes sur CPU pour un prompt long.

Un tableau multidimensionnel de nombres : la matrice qui forme chaque couche d'un modèle neuronal (poids, biais, embeddings). Dans un fichier GGUF, chaque tenseur a un nom, des dimensions, un type et un offset ; c'est l'alignement et le type de chaque tenseur qui déterminent comment le modèle est chargé et combien de mémoire il occupe.

Word Error Rate (taux d'erreur au niveau du mot) : métrique standard pour comparer les transcriptions. On compare le texte produit à la transcription de référence : moins d'erreurs par mot, plus la métrique est basse et meilleur est le modèle.