KV cache

Key-Value cache. La mémoire qu'un modèle à transformer utilise pour se souvenir de la conversation : à chaque nouveau token, une petite entrée s'ajoute, qui croît avec la longueur du contexte et le nombre d'utilisateurs servis en parallèle. C'est la composante de la VRAM qui varie selon les paramètres et qu'il faut calculer pour chaque utilisateur.