Glossaire IA Locale
Termes et définitions de l'intelligence artificielle locale, des modèles open source et du calcul.
8 termes dans Matériel
Famille de puces Apple (M1, M2, M3, M4 et suivantes) qui équipe les Mac depuis 2020. Pour l'IA locale, l'atout est la mémoire unifiée partagée entre CPU et GPU : un Mac de 32 Go peut exécuter des modèles qui demanderaient un GPU dédié sur PC.
Bande mémoire (GB/s). La vitesse à laquelle la GPU lit les poids du modèle depuis la VRAM. C'est le facteur qui limite la vitesse de génération des tokens : à modèle égal, une carte avec une bande plus élevée produit plus de tokens par seconde. Elle se mesure en Go par seconde et figure dans les spécifications officielles de chaque carte.
Unité de traitement graphique. Pour l'IA locale, c'est le composant qui accélère l'inférence : la mémoire vidéo (VRAM) détermine la taille du modèle exécutable. Les GPU Apple, intégrés dans Apple Silicon, travaillent sur la mémoire unifiée plutôt que sur une VRAM séparée.
Pool unique de mémoire partagé entre CPU et GPU : tous les cœurs lisent et écrivent la même mémoire sans copier. C'est le modèle des systèmes NVIDIA basés sur Grace (par exemple les 748 Go du DGX Station) et de la mémoire unifiée Apple : le modèle de LLM vit à un seul endroit, sans copie entre RAM et VRAM.
Non-Uniform Memory Access : architecture des systèmes multi-socket où chaque CPU accède à sa mémoire locale plus vite qu'à la mémoire de l'autre socket. Les serveurs d'inférence doivent épingler les threads sur un seul nœud NUMA, sinon la performance chute jusqu'à 30 %.
La mémoire principale de l'ordinateur, utilisée par la CPU pour les programmes et — en l'absence de GPU — pour charger les poids des modèles. En inférence sur CPU, la quantité de RAM détermine quels modèles on peut charger et sa bande passante détermine la vitesse de génération.
Famille d'instructions CPU qui traite plusieurs éléments de données en une seule opération (AVX, AVX-512, NEON, AMX). C'est la raison pour laquelle une CPU moderne exécute les modèles quantifiés à des vitesses utilisables : la même opération s'applique à 8 ou 16 nombres à la fois.
Video RAM. La mémoire dédiée de la carte graphique (GPU). C'est la ressource critique pour l'inférence locale : un modèle 7B quantifié à 4 bits nécessite environ 5 Go de VRAM, un modèle 13B environ 9 Go. Lorsque la VRAM est insuffisante, le système peut utiliser la RAM système, mais avec des performances réduites.