Attention linéaire

Famille de schémas d'attention (DeltaNet, Gated DeltaNet, Mamba, etc.) qui remplace la KV cache à croissance linéaire par un état récurrent de taille fixe, réduisant drastiquement la mémoire à long contexte. C'est la technique à la base des modèles à attention hybride comme Qwen3.8-27B.