Mixture-of-Experts (MoE)

Architecture de modèle où le modèle compte beaucoup de milliards de paramètres au total, mais pour chaque token n'en active qu'une petite sous-partie (les 'experts' sélectionnés par le routeur). Le résultat, c'est la qualité d'un grand modèle avec la vitesse et le coût de calcul d'un petit. Exemple : Qwen3 30B-A3B a 30,5B de paramètres totaux mais n'en utilise que 3,3B par token. Le prix, c'est que tout le poids du modèle doit quand même être chargé en mémoire.