Aller au contenu principal
← Retour au glossaire

Gated DeltaNet

Architectures

Variante d'attention linéaire utilisée dans les modèles Qwen 3.5/3.8 : elle maintient un état de dimension constante mis à jour par une règle de type delta (elle retire les informations obsolètes avant d'ajouter la nouvelle), au lieu d'accumuler toutes les paires clé-valeur. Avec peu de couches de ce type, la mémoire de la KV cache croît peu avec le contexte, et les couches d'attention classique alternent, par exemple 1 sur 4 dans Qwen3.8-2.4T-A95B.

Articles liés

Ce terme dans d'autres langues