Glossaire IA Locale

Quantité de données que la RAM peut lire ou écrire par seconde (Go/s). C'est le facteur dominant de la vitesse de décodification sur CPU : chaque token exige de relire les poids du modèle, donc un 8B en Q4 (~5 Go) à 64 Go/s fait environ 11-12 tok/s. Sur GPU, ça compte moins, car la VRAM a beaucoup plus de bande.

Technique de serving où les requêtes en cours sont regroupées en batch de façon dynamique : quand une réponse se termine, sa place dans le batch est immédiatement occupée par la requête suivante dans la file, sans attendre que toutes les réponses du batch finissent. La GPU reste presque continuellement occupée.

Mesure standardisée des capacités d'un modèle sur un ensemble de tâches définies (raisonnement, langues, code). Les benchmarks permettent de comparer des modèles entre eux, mais ne remplacent pas le test sur votre cas d'usage : le benchmark qui compte, c'est celui sur vos questions et vos documents.

Nombre de tokens qu'un système d'inférence génère par unité de temps, généralement mesuré en tokens par seconde. Il existe le débit global (toutes les requêtes concurrentes) et la latence d'un utilisateur unique : deux nombres qui racontent des choses différentes et qu'il faut mesurer séparément.

Le temps qui s'écoule entre la requête et la réponse du modèle. En local, il dépend surtout de la vitesse de génération (tokens par seconde), elle-même liée à la taille des poids relus à chaque token : en dessous de ~15 tokens/s, l'usage interactif devient pénible, quelle que soit la qualité des réponses.

Une technique où le modèle est entraîné à prédire plusieurs jetons futurs en un seul pas au lieu d'un. Elle permet de proposer plusieurs candidats sans appels supplémentaires et sert de base à la décodage spéculative : le checkpoint contient déjà les modules MTP entraînés.

Technique de gestion de la mémoire introduite par vLLM : la mémoire du KV cache est allouée en petits blocs (pages) plutôt que dans un seul espace contigu, comme le fait un système d'exploitation avec la mémoire virtuelle. Elle élimine la fragmentation et le gaspillage de mémoire et permet à plusieurs requêtes concurrentes de partager la même GPU.

Technique d'inférence : un petit modèle (draft) propose les tokens et le grand modèle les vérifie en un seul passage, en les acceptant ou en les corrigeant. Résultat : plus de tokens par seconde sans changer la qualité. Variantes modernes : MTP (Multi-Token Prediction, intégré aux checkpoints Qwen3.8) et EAGLE (par exemple sur Mistral Medium 3.5).

Technique de transmission où le serveur envoie à la chat non la réponse complète à chaque mise à jour, mais seulement le fragment nouveau (le delta) par rapport à la précédente. Le résultat arrive quand même token par token, mais le trafic réseau est considérablement réduit — dans les implémentations récentes jusqu'à environ 99 % de moins — et les réponses restent fluides même sur des connexions lentes.