Glossaire IA Locale

Format flottant sur 8 bits pour les poids et les activations des grands modèles (variantes E4M3 et E5M2). La moitié de la VRAM du FP16 avec une perte de qualité minimale sur les poids : les modèles récents (ex. Kolibri d'Aleph Alpha) sont livrés directement en FP8. Contrairement à NVFP4 ou MXFP4, il est supporté nativement par les bibliothèques de base (cuBLAS) sans micro-scaling par bloc.

La génération actuelle de mémoire vidéo : jusqu'à 32 Gbps par broche, soit 1 To/s sur un bus 256-bit (RTX 5090). Pour l'inférence locale, la bande passante mémoire détermine la vitesse de génération : les cartes Blackwell de NVIDIA l'emploient sur toute la série 50, et la hausse du GDDR7 en 2026 a fait grimper les prix de rue de nombreuses cartes milieu de gamme.

GGML Unified Format. Le format de fichier standard pour distribuer des modèles LLM quantifiés, en particulier avec llama.cpp. Il prend en charge le stockage du modèle, des poids quantifiés et des jetons. C'est le format dominant pour l'inférence locale sur du matériel grand public.

Microscaling FP4 : format flottant 4 bits où chaque bloc de 32 poids partage un exposant d'échelle. C'est le format natif de gpt-oss : les poids sont livrés déjà quantifiés, sans étape de conversion. Par rapport au Q4_K_M GGUF, le MXFP4 est optimisé pour les tensor core Blackwell et le matériel NVIDIA en particulier.

Format de quantification 4 bits de NVIDIA (NVIDIA Floating Point 4) : il représente les poids du modèle avec 4 bits plus un facteur d'échelle par groupe, réduisant la mémoire d'environ un quart par rapport à 16 bits. C'est le format natif des tensor cores Blackwell et il permet à des modèles de 35 Md de paramètres de tourner sur une GPU de 32 Go.

Représentation des poids limitée aux valeurs {−1, 0, +1}, souvent avec une échelle partagée par groupe. Amène le coût à ~1,58 bit par poids (plus l'échelle), permettant des modèles de dizaines de milliards de paramètres en quelques Go, comme dans Bonsai-2 27B.