Aller au contenu principal
← Retour au glossaire

Bande passante mémoire

Performances

Quantité de données que la RAM peut lire ou écrire par seconde (Go/s). C'est le facteur dominant de la vitesse de décodification sur CPU : chaque token exige de relire les poids du modèle, donc un 8B en Q4 (~5 Go) à 64 Go/s fait environ 11-12 tok/s. Sur GPU, ça compte moins, car la VRAM a beaucoup plus de bande.

Articles liés

Ce terme dans d'autres langues