Glossaire IA Locale

Petit fichier de poids entraînés (matrices de faible rang) ajouté au modèle de base sans le modifier : de quelques Mo, il se charge et se retire à volonté, et un même modèle peut porter plusieurs adaptateurs pour des comportements différents.

Programme qui utilise un modèle de langage pour atteindre un objectif en plusieurs étapes : il décide quels outils appeler (recherche, calculatrice, terminal, navigateur), lit les résultats et décide de l'étape suivante, tant que la tâche est inachevée. La différence avec une chat : l'agent agit sur l'environnement, et son comportement dépend de l'harness — le code qui l'entoure — qui assemble observations et actions.

Famille de puces Apple (M1, M2, M3, M4 et suivantes) qui équipe les Mac depuis 2020. Pour l'IA locale, l'atout est la mémoire unifiée partagée entre CPU et GPU : un Mac de 32 Go peut exécuter des modèles qui demanderaient un GPU dédié sur PC.

Mécanisme par lequel le modèle, avant d'exécuter un appel d'outil (envoi d'un e-mail, modification d'un fichier, requête vers une API), s'arrête et présente la demande à l'utilisateur, qui peut l'autoriser ou la refuser. C'est le moyen le plus direct de garder le contrôle sur ce que votre IA peut faire avec vos données : chaque action potentiellement irréversible passe par un oui explicite.

Famille de schémas d'attention (DeltaNet, Gated DeltaNet, Mamba, etc.) qui remplace la KV cache à croissance linéaire par un état récurrent de taille fixe, réduisant drastiquement la mémoire à long contexte. C'est la technique à la base des modèles à attention hybride comme Qwen3.8-27B.

Bande mémoire (GB/s). La vitesse à laquelle la GPU lit les poids du modèle depuis la VRAM. C'est le facteur qui limite la vitesse de génération des tokens : à modèle égal, une carte avec une bande plus élevée produit plus de tokens par seconde. Elle se mesure en Go par seconde et figure dans les spécifications officielles de chaque carte.

Quantité de données que la RAM peut lire ou écrire par seconde (Go/s). C'est le facteur dominant de la vitesse de décodification sur CPU : chaque token exige de relire les poids du modèle, donc un 8B en Q4 (~5 Go) à 64 Go/s fait environ 11-12 tok/s. Sur GPU, ça compte moins, car la VRAM a beaucoup plus de bande.

Une base de données spécialisée qui stocke les embeddings (vecteurs numériques) des documents et répond à des recherches par similarité : donné l'embedding de la question, elle renvoie les passages les plus proches. C'est le composant qui rend possible le RAG.

Technique de serving où les requêtes en cours sont regroupées en batch de façon dynamique : quand une réponse se termine, sa place dans le batch est immédiatement occupée par la requête suivante dans la file, sans attendre que toutes les réponses du batch finissent. La GPU reste presque continuellement occupée.

Mesure standardisée des capacités d'un modèle sur un ensemble de tâches définies (raisonnement, langues, code). Les benchmarks permettent de comparer des modèles entre eux, mais ne remplacent pas le test sur votre cas d'usage : le benchmark qui compte, c'est celui sur vos questions et vos documents.

Customer Relationship Management : logiciel qui gère les relations avec les clients — contacts, devis, négociations, historique. La qualité des données CRM détermine dans quelle mesure une entreprise peut automatiser ventes et suivi.

Compute Unified Device Architecture : le stack de programmation GPU de NVIDIA — bibliothèques, compilateur et runtime qui font tourner l'inférence des modèles sur les GPU NVIDIA. C'est le backend par défaut d'Ollama et llama.cpp sur hardware NVIDIA : les optimisations (Flash Attention, kernels quantifiés, formats FP4) arrivent plus tôt sur CUDA que sur toute autre plateforme.

Nombre de tokens qu'un système d'inférence génère par unité de temps, généralement mesuré en tokens par seconde. Il existe le débit global (toutes les requêtes concurrentes) et la latence d'un utilisateur unique : deux nombres qui racontent des choses différentes et qu'il faut mesurer séparément.

Deuxième phase de l'inférence : le modèle génère la réponse un token à la fois. Chaque token nécessite de relire tous les poids du modèle et le KV cache depuis la mémoire, donc la vitesse (tokens par seconde) est dictée surtout par la bande passante mémoire.

Le découpage d'un document en petits blocs de texte avant l'indexation. Chaque bloc devient une entrée interrogeable dans la base vectorielle : la taille des blocs est l'un des premiers paramètres à ajuster quand les résultats du RAG ne convainquent pas.

Architecture qui applique les Transformers aux modèles de diffusion pour la génération d'images. À la place de la convolution classique, elle utilise l'attention pour transformer du bruit en image. La composante de génération de Qwen-Image est un DiT de 32 couches.

Famille de techniques de décodage spéculatif (paper EAGLE, arXiv:2401.15077) : un petit draft model lit les états cachés du grand modèle et prédit les jetons suivants à partir de là. L'échantillonnage reste lossless, comme le speculative sampling classique. Les checkpoints EAGLE officiels (par exemple Mistral-Medium-3.5-128B-EAGLE) sont servis nativement par vLLM et SGLang.

Représentation vectorielle du texte. Un modèle transforme des mots, phrases ou documents en un tableau de nombres (vecteur) qui capture le sens sémantique. Les embeddings sont utilisés pour la recherche sémantique, la similarité de texte et comme base pour les systèmes RAG.

Le nombre maximal de token qu'un modèle peut traiter simultanément dans une seule interaction. Une fenêtre de contexte plus large permet au modèle de lire des documents plus longs, des conversations plus étendues et du code plus complexe. Les modèles modernes supportent de 8K à 128K+ token de contexte.

Processus d'entraînement supplémentaire sur un modèle pré-entraîné, en utilisant un jeu de données spécifique pour le spécialiser dans une tâche particulière. Par exemple, on peut affiner Llama 7B avec des documents juridiques pour créer un modèle expert en droit. Les techniques populaires incluent LoRA et QLoRA.

Technique qui réduit les accès mémoire pendant l'attention en la découpant en blocs et en gardant les résultats intermédiaires en mémoire rapide. Elle baisse la demande de bande passante et accélère le prefill et la décodification, surtout sur les contextes longs. Dans llama.cpp, on l'active avec le drapeau -fa.

Format flottant sur 8 bits pour les poids et les activations des grands modèles (variantes E4M3 et E5M2). La moitié de la VRAM du FP16 avec une perte de qualité minimale sur les poids : les modèles récents (ex. Kolibri d'Aleph Alpha) sont livrés directement en FP8. Contrairement à NVFP4 ou MXFP4, il est supporté nativement par les bibliothèques de base (cuBLAS) sans micro-scaling par bloc.

La génération actuelle de mémoire vidéo : jusqu'à 32 Gbps par broche, soit 1 To/s sur un bus 256-bit (RTX 5090). Pour l'inférence locale, la bande passante mémoire détermine la vitesse de génération : les cartes Blackwell de NVIDIA l'emploient sur toute la série 50, et la hausse du GDDR7 en 2026 a fait grimper les prix de rue de nombreuses cartes milieu de gamme.

Famille de modèles linguistiques open de Google DeepMind, construite sur la même technologie que la série Gemini. Les tailles vont de 1B à 27B paramètres ; Gemma 3 ajoute un contexte de 128K tokens, plus de 140 langues et des entrées multimédias, tandis que Gemma 4 (2026) passe à la licence Apache 2.0.

L'art d'écrire des instructions efficaces pour obtenir de meilleurs résultats d'un modèle linguistique. Cela inclut des techniques comme le few-shot prompting (fournir des exemples dans le prompt), chain-of-thought (demander au modèle de raisonner étape par étape) et role prompting (définir un rôle pour le modèle).

Bibliothèque tensorielle C/C++ sur laquelle est construit llama.cpp (du nom de GGML, le format qui l'a fait connaître). Elle définit tenseurs, opérations et backends — CPU, GPU, Apple Silicon — sur lesquels tournent les modèles en inférence locale. C'est le niveau « matériel » de la pile d'inférence : au-dessus d'elle se trouvent les runtime comme Ollama et llama.cpp.

GGML Unified Format. Le format de fichier standard pour distribuer des modèles LLM quantifiés, en particulier avec llama.cpp. Il prend en charge le stockage du modèle, des poids quantifiés et des jetons. C'est le format dominant pour l'inférence locale sur du matériel grand public.

Unité de traitement graphique. Pour l'IA locale, c'est le composant qui accélère l'inférence : la mémoire vidéo (VRAM) détermine la taille du modèle exécutable. Les GPU Apple, intégrés dans Apple Silicon, travaillent sur la mémoire unifiée plutôt que sur une VRAM séparée.

Service cloud qui exécute du code ou des modèles sur GPU uniquement quand il y a de la demande, en démarrant les instances en quelques secondes et en ramenant le coût à zéro en attente. On paie les secondes de calcul réelles, pas un serveur toujours allumé.

Schéma d'attention où plusieurs têtes de requête partagent le même groupe de matrices Key et Value, réduisant le nombre de têtes_KV par rapport au MHA. Baisse le coût et la vitesse d'accès mémoire pendant le décodage, avec un compromis de qualité minimal.

Phénomène par lequel un LLM génère de fausses informations ou inventées avec grande confiance. Les hallucinations sont un problème connu des modèles linguistiques : ils peuvent inventer des faits, citations ou références inexistantes. Le RAG et le fine-tuning sont des techniques pour les réduire.

La plateforme open source de référence pour les modèles, ensembles de données et applications d'intelligence artificielle. Le Hugging Face Hub héberge des milliers de modèles LLM open source (Llama, Mistral, Phi et bien d'autres) prêts à être téléchargés et utilisés localement. C'est aussi une organisation qui développe des bibliothèques telles que Transformers et Datasets.

Le processus par lequel un modèle entraîné est utilisé pour générer des réponses ou faire des prédictions sur de nouvelles données. En IA locale, l'inférence se produit sur votre ordinateur plutôt que sur des serveurs distants. Cela garantit confidentialité et latence constante sans dépendre d'une connexion Internet.

Key-Value cache. La mémoire qu'un modèle à transformer utilise pour se souvenir de la conversation : à chaque nouveau token, une petite entrée s'ajoute, qui croît avec la longueur du contexte et le nombre d'utilisateurs servis en parallèle. C'est la composante de la VRAM qui varie selon les paramètres et qu'il faut calculer pour chaque utilisateur.

Le temps qui s'écoule entre la requête et la réponse du modèle. En local, il dépend surtout de la vitesse de génération (tokens par seconde), elle-même liée à la taille des poids relus à chaque token : en dessous de ~15 tokens/s, l'usage interactif devient pénible, quelle que soit la qualité des réponses.

Famille de modèles LLM open source de Meta. Llama 3 est la génération actuelle, avec des versions de 8B et 70B paramètres. Llama est l'un des modèles les plus utilisés au monde pour l'IA locale, avec une large compatibilité avec Ollama, llama.cpp et la plupart des frameworks d'inférence.

Bibliothèque écrite en C++ pour exécuter des modèles LLM sur des processeurs et cartes graphiques grand public. C'est le moteur sous-jacent à de nombreux outils d'inférence locale, y compris Ollama. Elle prend en charge la quantification GGUF et peut exécuter de grands modèles sur du matériel limité en exploitant à la fois le processeur et la carte graphique.

Large Language Model. Un modèle d'intelligence artificiel entraîné sur d'immenses quantités de texte, capable de comprendre et de générer du langage humain. Les LLM tels que Llama, Mistral et GPT sont à la base des chatbots, assistants virtuels et outils d'écriture automatique.

L'interface réseau de votre propre ordinateur, joignable à l'adresse 127.0.0.1 (IPv4) ou ::1 (IPv6). Les services qui tournent en local — le serveur d'Ollama, LM Studio, les interfaces web — écoutent là : vos applications se connectent au modèle local sans traverser le réseau externe. Un pare-feu bien configuré qui bloque l'accès externe à localhost est la première ligne de défense : aucun programme ne peut faire partir vos contenus vers l'extérieur sans qu'une connexion sortante de la machine le montre.

Low-Rank Adaptation. Technique d'affinement efficace qui met à jour uniquement une petite fraction des poids du modèle au lieu de tous les paramètres. LoRA permet d'entraîner un modèle 7B sur un seul GPU grand public, générant des fichiers d'adaptation de quelques Mo au lieu de gigaoctets.

Une attaque dans laquelle un système malveillant s'insère entre deux parties qui croient communiquer directement. L'expéditeur et le destinataire pensent parler entre eux, mais un tiers voit (et modifie parfois) ce qui passe. Le remède principal est le TLS/HTTPS avec certificats validés : cela rend la communication chiffrée et authentifiée, ainsi un intrus au milieu ne peut ni lire ni altérer le contenu.

Pool unique de mémoire partagé entre CPU et GPU : tous les cœurs lisent et écrivent la même mémoire sans copier. C'est le modèle des systèmes NVIDIA basés sur Grace (par exemple les 748 Go du DGX Station) et de la mémoire unifiée Apple : le modèle de LLM vit à un seul endroit, sans copie entre RAM et VRAM.

Architecture des puces Apple Silicon où CPU et GPU partagent le même pool de RAM. Pour l'IA locale, tout le modèle peut y résider sans copier les données entre mémoire système et mémoire vidéo.

Famille de modèles LLM open source développés par Mistral, entreprise française. Mistral 7B et Mixtral sont parmi les modèles les plus populaires pour l'inférence locale grâce à leur rapport qualité/performance. Ils sont disponibles sur Hugging Face et pris en charge par Ollama, llama.cpp et d'autres outils.

Architecture de modèle où le modèle compte beaucoup de milliards de paramètres au total, mais pour chaque token n'en active qu'une petite sous-partie (les 'experts' sélectionnés par le routeur). Le résultat, c'est la qualité d'un grand modèle avec la vitesse et le coût de calcul d'un petit. Exemple : Qwen3 30B-A3B a 30,5B de paramètres totaux mais n'en utilise que 3,3B par token. Le prix, c'est que tout le poids du modèle doit quand même être chargé en mémoire.

Framework de machine learning d'Apple conçu pour les puces Apple Silicon. Il est au cœur de nombreuses applications d'IA locale sur Mac : il exploite la mémoire unifiée et accélère l'inférence.

Memory map : le mécanisme par lequel le système d'exploitation associe un fichier à la mémoire du programme, en ne lisant sur demande que les portions utiles. C'est la raison pour laquelle les modèles au format GGUF, avec les tenseurs alignés, se chargent en quelques secondes : pas besoin de copier tout le fichier en RAM.

Fonction introduite dans Qwen3 où le modèle peut générer une longue étape de raisonnement intermédiaire avant de produire la réponse finale. Elle améliore la qualité sur les problèmes logiques, mathématiques et de planification, au prix de plus de tokens (donc plus de temps et de mémoire) par réponse. Elle peut être activée ou désactivée, et dans Qwen3 le modèle décide aussi seul de raisonner.

Modèle qui, donné un état et une question typée (oui/non, choix parmi des options, score), renvoie une distribution de probabilités sur les options en un seul passage, sans générer de jetons. C'est le « System 1 » de l'IA : rapide et calibré, utilisé pour le routage, la classification et le contrôle qualité, à la place d'un LLM génératif quand il ne faut pas écrire.

Un modèle où chaque jeton traverse tous les paramètres : il n'y a pas de sélection d'experts, toute la capacité est active à chaque pas. Plus coûteux à décoder qu'un MoE de taille totale comparable, mais sans routage des experts. Exemple : Qwen3.8-27B.

Modèles linguistiques de plus grande échelle (série GPT d'OpenAI, Claude d'Anthropic, etc.) accessibles aujourd'hui quasi toujours uniquement via API payantes : les prix au token les plus bas, mais avec dépendance au fournisseur et limites d'envoi.

Version d'un modèle adaptée à la conversation : elle comprend les instructions et répond de manière directe, reconnaissable au suffixe « instruct » ou « -it ». Le modèle de base, sans cet entraînement, est un compléteur de texte pur utilisé pour le fine-tuning.

Système informatique inspiré du cerveau humain, composé de couches de neurones artificiels. Les LLM sont basés sur l'architecture Transformer, une famille spécifique de réseaux de neurones optimisée pour le langage. Chaque modèle est défini par son architecture, ses poids et le jeu de données sur lequel il a été entraîné.

Modèles d'IA petits et rapides conçus pour répondre à des questions à choix multiples avec une étiquette structurée et une probabilité par option, au lieu de générer du texte libre. Le nom vient de Jev, l'acronyme qui identifie cette classe de modèles. Ils sont pensés pour le tri, le routage, la classification et la modération à faible latence : là où un grand LLM générerait un paragraphe, un modèle de décision renvoie l'option et le degré de confiance.

Une technique où le modèle est entraîné à prédire plusieurs jetons futurs en un seul pas au lieu d'un. Elle permet de proposer plusieurs candidats sans appels supplémentaires et sert de base à la décodage spéculative : le checkpoint contient déjà les modules MTP entraînés.

Microscaling FP4 : format flottant 4 bits où chaque bloc de 32 poids partage un exposant d'échelle. C'est le format natif de gpt-oss : les poids sont livrés déjà quantifiés, sans étape de conversion. Par rapport au Q4_K_M GGUF, le MXFP4 est optimisé pour les tensor core Blackwell et le matériel NVIDIA en particulier.

Non-Uniform Memory Access : architecture des systèmes multi-socket où chaque CPU accède à sa mémoire locale plus vite qu'à la mémoire de l'autre socket. Les serveurs d'inférence doivent épingler les threads sur un seul nœud NUMA, sinon la performance chute jusqu'à 30 %.

Format de quantification 4 bits de NVIDIA (NVIDIA Floating Point 4) : il représente les poids du modèle avec 4 bits plus un facteur d'échelle par groupe, réduisant la mémoire d'environ un quart par rapport à 16 bits. C'est le format natif des tensor cores Blackwell et il permet à des modèles de 35 Md de paramètres de tourner sur une GPU de 32 Go.

Optical Character Recognition : technique qui convertit des images et des scans en texte sélectionnable. Pour les documents non « nés numériques », c'est l'étape qui précède le modèle de langage : sans OCR, le modèle n'a pas de texte sur lequel travailler.

Outil open source pour télécharger, gérer et exécuter des modèles LLM localement. Il prend en charge Llama, Mistral, Phi et bien d'autres. En une seule commande, vous pouvez démarrer un modèle et y accéder via une API REST locale. C'est l'un des moyens les plus simples de commencer avec l'IA locale.

Logiciel dont le code source est public et peut être étudié, modifié et redistribué. En IA, les modèles open source tels que Llama, Mistral et Gemma peuvent être téléchargés et exécutés localement, permettant un contrôle total, la confidentialité et la personnalisation.

Un modèle est open-weight lorsque ses poids sont téléchargeables et que son usage et sa redistribution sont régis par une licence. Contrairement à l'open source, le code, les données et la méthode d'entraînement ne sont pas nécessairement publics. La plupart des modèles modernes sont open-weight.

Technique de gestion de la mémoire introduite par vLLM : la mémoire du KV cache est allouée en petits blocs (pages) plutôt que dans un seul espace contigu, comme le fait un système d'exploitation avec la mémoire virtuelle. Elle élimine la fragmentation et le gaspillage de mémoire et permet à plusieurs requêtes concurrentes de partager la même GPU.

Technique spécifique aux MoE : au lieu de diviser chaque couche, les experts (les sous-réseaux conditionnels) sont répartis sur plusieurs GPU. Un token n'invoque que les experts actifs, donc la VRAM est utilisée plus efficacement que avec le parallélisme de tenseurs.

Technique de serving qui divise chaque matrice (tenseur) d'un modèle sur plusieurs GPU : chaque carte calcule une partie de la même couche et les résultats sont recombinés. Utile quand une couche ne tient pas sur une seule GPU, par exemple pour les gros MoE.

Valeur numérique interne à un modèle d'IA qui est apprise pendant l'entraînement. Un modèle de 7B (milliards) de paramètres a 7 milliards de valeurs qui déterminent son comportement. Plus de paramètres signifient généralement des capacités accrues, mais nécessitent plus de ressources informatiques.

Parameter-Efficient Fine-Tuning. Famille de techniques qui n'entraîne qu'une petite fraction des paramètres du modèle (LoRA, adaptateurs, prompts apprenables) au lieu de tous les poids, réduisant mémoire et temps d'entraînement.

Représentation des poids limitée aux valeurs {−1, 0, +1}, souvent avec une échelle partagée par groupe. Amène le coût à ~1,58 bit par poids (plus l'échelle), permettant des modèles de dizaines de milliards de paramètres en quelques Go, comme dans Bonsai-2 27B.

Le seuil d'utilisation (tokens par mois, requêtes, heures de travail) à partir duquel le coût mensuel du calcul local — amortissement du matériel + électricité — devient inférieur au coût de l'API cloud équivalente. En dessous, l'API gagne ; au-dessus, le local gagne.

Première phase de l'inférence, où le modèle traite le prompt d'entrée (tous les tokens) en une seule passe. Elle détermine le temps jusqu'au premier token : quasi instantané sur GPU, elle peut prendre quelques secondes sur CPU pour un prompt long.

Le coût unitaire avec lequel on paie l'inférence sur les API et les providers : un montant par million de tokens en entrée (input) et, séparément, en sortie (output). Le comparer au coût par token de son propre matériel (facture + amortissement) dit quand il vaut mieux posséder plutôt que d'appeler une API.

Quantized Low-Rank Adaptation. Variante de LoRA qui quantise le modèle de base à 4 bits (NF4) avant l'entraînement : elle permet d'adapter des modèles jusqu'à 65B sur une seule carte graphique de 48 Go, avec des adaptateurs de quelques Mo.

Technique qui réduit la précision numérique d'un modèle pour diminuer sa taille et accélérer l'inférence. Une quantification à 4 bits peut réduire un modèle de 40 Go à environ 10 Go tout en maintenant la plupart des performances. Les formats GGUF et GPTQ sont des standards pour les modèles quantifiés.

Entraînement qui simule la quantification pendant le training, afin que le modèle apprenne à travailler avec des poids à faible précision. Contrairement à la quantification post-training (appliquée à froid, ex. Q4_K_M), la QAT préserve beaucoup plus de qualité à bits égaux. Google a publié des checkpoints QAT officiels pour la famille Gemma 4 en juin 2026.

Retrieval Augmented Generation. Architecture qui combine un modèle de langage avec un système de recherche documentaire. Au lieu de s'appuyer uniquement sur la connaissance du modèle, le système récupère des documents pertinents dans une base de données avant de générer la réponse. Cela réduit les hallucinations et rend le système facilement mis à jour sans réentraînement.

La mémoire principale de l'ordinateur, utilisée par la CPU pour les programmes et — en l'absence de GPU — pour charger les poids des modèles. En inférence sur CPU, la quantité de RAM détermine quels modèles on peut charger et sa bande passante détermine la vitesse de génération.

Remote Direct Memory Access : permet à une machine de lire et écrire directement dans la mémoire d'une autre, sans faire passer les données par leurs CPU. Sur Mac Studio, elle sert à mutualiser jusqu'à 4 unités via Thunderbolt 5 et à accélérer l'inférence distribuée jusqu'à 3 fois.

Radeon DNA : l'architecture GPU consumer d'AMD. RDNA 3 (série RX 7000) et RDNA 4 (série RX 9000) sont les familles officiellement supportées par ROCm 7 sous Linux pour l'IA locale, avec Ollama et llama.cpp et sans workaround : les identifiants de GPU sont gfx1100 pour RDNA 3 et gfx1200/gfx1201 pour RDNA 4.

L'étape d'un système RAG où, à partir de la question de l'utilisateur, le système cherche dans la base vectorielle les blocs de texte les plus similaires et les ajoute au prompt. La qualité de la récupération est le facteur qui détermine la qualité de la réponse finale.

Le logiciel AMD pour le calcul GPU : l'équivalent de CUDA sur les Radeon. Depuis ROCm 7, les cartes consumer RDNA 3 et 4 (RX 7900 XTX, RX 9070 XT) sont officiellement prises en charge sur Linux avec Ollama et llama.cpp, sans variable d'environnement de contournement. La voie alternative est Vulkan : moins optimisé mais plus transversal, et c'est aussi la voie maintenue pour les Intel Arc.

Famille d'instructions CPU qui traite plusieurs éléments de données en une seule opération (AVX, AVX-512, NEON, AMX). C'est la raison pour laquelle une CPU moderne exécute les modèles quantifiés à des vitesses utilisables : la même opération s'applique à 8 ou 16 nombres à la fois.

La proximité entre les vecteurs de deux textes en fonction du sens, et non de la correspondance littérale. C'est le principe sur lequel repose la recherche dans une base vectorielle : « frein » et « système de freinage » ne sont pas le même mot, mais leurs vecteurs sont voisins.

Technique d'inférence : un petit modèle (draft) propose les tokens et le grand modèle les vérifie en un seul passage, en les acceptant ou en les corrigeant. Résultat : plus de tokens par seconde sans changer la qualité. Variantes modernes : MTP (Multi-Token Prediction, intégré aux checkpoints Qwen3.8) et EAGLE (par exemple sur Mistral Medium 3.5).

La technologie qui convertit l'audio en texte (reconnaissance vocale, ASR). En local, avec des modèles comme Whisper Large-v3-Turbo, la transcription se fait sur votre propre matériel : l'audio ne quitte jamais la machine, ce qui en fait l'option de référence pour des documents sensibles. La qualité se mesure au WER (taux d'erreur par mot) : environ 2,5 % en anglais propre.

Technique de transmission où le serveur envoie à la chat non la réponse complète à chaque mise à jour, mais seulement le fragment nouveau (le delta) par rapport à la précédente. Le résultat arrive quand même token par token, mais le trafic réseau est considérablement réduit — dans les implémentations récentes jusqu'à environ 99 % de moins — et les réponses restent fluides même sur des connexions lentes.

Le jeu d'instructions qui définit le comportement permanent d'un modèle : ton, rôle, format de réponse, contraintes. Contrairement au prompt de l'utilisateur (une question unique), le system prompt gouverne chaque réponse de la session et n'est pas montré au modèle comme une demande.

Les données qu'un logiciel envoie automatiquement pour rapporter ce qu'il a fait : version, type d'erreur, métriques d'utilisation. La télémétrie n'est pas la même chose que les contenus : un programme peut envoyer de la télémétrie sans jamais toucher à vos prompts et à vos documents. Quand vous lisez une politique de confidentialité, la question à poser est quelles données partent et dans quelles conditions.

Un tableau multidimensionnel de nombres : la matrice qui forme chaque couche d'un modèle neuronal (poids, biais, embeddings). Dans un fichier GGUF, chaque tenseur a un nom, des dimensions, un type et un offset ; c'est l'alignement et le type de chaque tenseur qui déterminent comment le modèle est chargé et combien de mémoire il occupe.

La synthèse vocale : la technologie qui génère un audio parlé à partir de texte. Les systèmes locaux comme Piper, basés sur VITS/ONNX, tournent en temps réel sur CPU, sans GPU : idéaux pour les pipelines d'accessibilité, les commandes vocales et les assistants. Le compromis à évaluer est la naturalité contre la latence et les ressources.

L'unité de base de texte traitée par un LLM. Un token est typiquement un mot ou une partie de mot. En anglais, environ 1 token ≈ 4 caractères. Les modèles ont un contexte maximal mesuré en token : GPT-4 supporte 128K token, tandis que Llama 3 supporte 128K. Plus de token = plus de contexte mais plus de ressources nécessaires.

Le composant qui découpe le texte en jetons, les unités que le modèle lit vraiment. Un tokenizer multilingue encode l'italien en moins de jetons qu'un tokenizer anglophone, réduisant calcul et consommation de contexte.

Capacité d'un modèle de langage à appeler des fonctions externes (API, calculatrice, base de données, navigateur) pendant la réponse : le modèle produit un appel structuré avec les bons paramètres, le logiciel exécute la fonction et renvoie le résultat au modèle, qui poursuit son raisonnement. C'est le mécanisme qui transforme une chat en agent : gpt-oss, Qwen et Gemma le supportent, et les moteurs comme vLLM et Ollama le gèrent nativement.

Architecture de réseau de neurones introduite en 2017 (Attention Is All You Need) qui a révolutionné le NLP. Contrairement aux réseaux récurrents, les Transformer utilisent l'attention pour traiter l'entrée complète simultanément. Tous les LLM modernes (GPT, Llama, Mistral, Claude) sont basés sur cette architecture.

Technologie Apple qui unit deux puces M5 Max en une seule puce M5 Ultra, présentée au système comme un seul processeur. La mémoire unifiée des deux dies forme un pool unique (jusqu'à 512 Go) accessible par le CPU, le GPU et les Neural Accelerators.

Voiced Language Model with a Varying-rate adversarial (VITS) : architecture neuronale de synthèse vocale qui génère la forme d'onde directement à partir du texte, sans vocoder séparé. Elle est à la base de Piper et Kokoro-82M.

Voice Activity Detection : technique qui identifie quelles portions d'un flux audio contiennent de la voix, afin de découper l'audio en segments pertinents et d'ignorer le silence. Indispensable dans les pipelines de transcription en temps réel.

Video RAM. La mémoire dédiée de la carte graphique (GPU). C'est la ressource critique pour l'inférence locale : un modèle 7B quantifié à 4 bits nécessite environ 5 Go de VRAM, un modèle 13B environ 9 Go. Lorsque la VRAM est insuffisante, le système peut utiliser la RAM système, mais avec des performances réduites.

API cross-plateforme de Khronos pour la programmation GPU, née pour le jeu vidéo mais devenue la voie ouverte pour l'IA locale : Ollama et llama.cpp la supportent nativement sur Windows, Linux et macOS (via MoltenVK), sur NVIDIA, AMD et Intel sans driver propriétaire. Moins optimisée que CUDA pour l'inférence — en général 70-90 % de la vitesse du chemin natif — mais c'est le seul stack qui tourne sur pratiquement toutes les cartes, et c'est le chemin retenu pour les GPU Intel Arc depuis l'archivage d'IPEX-LLM.

Word Error Rate (taux d'erreur au niveau du mot) : métrique standard pour comparer les transcriptions. On compare le texte produit à la transcription de référence : moins d'erreurs par mot, plus la métrique est basse et meilleur est le modèle.

Une séquence d'étapes reproductibles qui relie des systèmes entre eux : un événement arrive, des opérations s'exécutent dans l'ordre, un résultat est produit. Dans les plateformes d'automatisation, le workflow se construit visuellement en reliant des nœuds (e-mail → modèle IA → CRM → notification).