Aller au contenu principal
← Retour au glossaire

Flash attention

Optimisation

Technique qui réduit les accès mémoire pendant l'attention en la découpant en blocs et en gardant les résultats intermédiaires en mémoire rapide. Elle baisse la demande de bande passante et accélère le prefill et la décodification, surtout sur les contextes longs. Dans llama.cpp, on l'active avec le drapeau -fa.

Articles liés

Ce terme dans d'autres langues