PagedAttention

Technique de gestion de la mémoire introduite par vLLM : la mémoire du KV cache est allouée en petits blocs (pages) plutôt que dans un seul espace contigu, comme le fait un système d'exploitation avec la mémoire virtuelle. Elle élimine la fragmentation et le gaspillage de mémoire et permet à plusieurs requêtes concurrentes de partager la même GPU.