Qwen3.8-27B vs Gemma 4 26B A4B : la nouvelle frontière à 24 Go

Vous avez 24 Go de VRAM et vous voulez le meilleur modèle qui y tient. Jusqu'ici, le choix était simple : prenez le modèle dense le plus gros qui entre. Plus maintenant. D'un côté, Qwen3.8-27B, un modèle dense de 27,8 milliards de paramètres qui active tout à chaque jeton. De l'autre, Gemma 4 26B A4B, un modèle à experts mélangés qui contient 25,2 milliards de paramètres au total mais n'en active que 3,8 par jeton.

Ce sont deux philosophies opposées pour arriver au même but : la qualité d'un grand modèle sur une carte grand public. Et la réponse n'est pas « lequel est le plus intelligent » — les deux le sont, à un niveau qui compte. La réponse qui compte est une autre : lequel vous donne le plus pour votre matériel, pour votre usage, et à quelle vitesse.

Les fiches techniques

	Qwen3.8-27B	Gemma 4 26B A4B
Architecture	Dense	MoE (mixture-of-experts)
Paramètres totaux	27,8 Md	25,2 Md
Paramètres actifs par jeton	27,8 Md (tous)	3,8 Md
Contexte natif	262K (étendable à ~1M)	256K
Multimodalité	Texte + images + vidéo	Texte + images (+ audio)
Attention	Hybride (DeltaNet + GQA) + MTP	GQA standard
Poids en Q4_K_M	≈16,4 Go	≈16,8 Go
Licence	Apache 2.0	Apache 2.0

Deux chiffres frappent. Le contexte : Qwen démarre à 262K et s'étend avec YaRN jusqu'à un million de jetons, Gemma se tient à 256K. Et la mémoire en Q4_K_M : pratiquement identique, à une demi-gigaoctet l'un de l'autre. Autrement dit, à parité de VRAM et presque à parité de poids, vous choisissez entre deux façons de construire la même capacité.

Comment ils fonctionnent vraiment

Qwen3.8-27B est dense : chaque jeton traverse les 27,8 milliards de paramètres. Mais ce n'est pas un transformeur classique. Son attention est hybride — sur chaque bloc de quatre couches, trois utilisent une forme d'attention linéaire (Gated DeltaNet) et une utilise l'attention de groupe (GQA) traditionnelle. L'attention linéaire ne conserve pas un vecteur pour chaque jeton passé : la mémoire ne croît pas avec la longueur du contexte, et c'est pour cela que ce modèle atteint 262K natifs et un million étendu sans faire exploser la VRAM. S'y ajoute un MTP (prédiction multi-jetons) entraîné directement dans le checkpoint, qui prépare le terrain pour la décodage spéculative.

Gemma 4 26B A4B fait le même pari d'une autre façon. C'est un mixture-of-experts : beaucoup de spécialistes (les experts) sont en parallèle, mais pour chaque jeton n'en active que quelques-uns — 3,8 milliards au total. Le modèle « pèse » comme un 25B en mémoire, mais le travail de chaque jeton coûte comme un 3,8B. Le contexte de 256K est géré avec l'attention standard ; la vitesse vient du fait qu'à chaque pas on déplace peu de paramètres.

Le point : Qwen obtient son efficacité sur le contexte (attention linéaire), Gemma l'obtient sur le décodage (peu de paramètres actifs). Ce sont deux leviers différents sur le même outil.

Vitesse : qui va plus vite

Ici, gagne celui qui utilise le moins de bande. La vitesse de décodage dépend de combien de paramètres il faut lire depuis la VRAM par jeton. Gemma, avec 3,8B actifs, déplace une fraction de ce que Qwen déplace à chaque pas : sur une carte donnée, Gemma a tendance à répondre plus vite, surtout en décodage mot par mot. L'écart est réel et se sent quand on chatte beaucoup ou génère de longs textes.

Qwen n'est pas lent : 27,8B dense sur 24 Go, c'est un modèle qui tourne à une vitesse parfaitement utilisable, et l'attention linéaire lui fait économiser de la mémoire sur les longs contextes. Mais à parité de matériel, le MoE a un avantage de vitesse structurel. Si votre priorité est la latence — réponses immédiates, usage intensif, plusieurs utilisateurs sur une carte — Gemma est le choix le plus rapide.

Qualité et multilinguisme

Sur les benchmarks publiés, Qwen3.8-27B se défend très bien : c'est un modèle conçu avec l'œil vers les tâches agentiques et le codage, et il y obtient des résultats parmi les meilleurs de sa gamme. L'attention hybride lui permet de gérer de très longs contextes sans perdre le fil. Si vous voulez un modèle qui mène à bien des tâches multi-étapes ou travaille sur de grands documents, Qwen est le bon profil.

Gemma 4 vise la couverture : plus de 140 langues, un entrée multimodal et une qualité générale solide à un coût d'inférence très bas. Si le multilinguisme et le rapport qualité/vitesse comptent pour vous, Gemma est difficile à battre.

Sur le multilinguisme, les deux tiennent bien les langues qu'on leur demande. Gemma a un avantage structurel sur la volumétrie des langues prises en charge ; Qwen compense par la profondeur sur les tâches structurées. Pour un usage quotidien, la différence de qualité perçue est petite : ce qui compte, c'est comment vous les utilisez.

Exigences : Q4_K_M et vos 24 Go

Les deux en Q4_K_M tiennent dans une fourchette similaire : Qwen ≈16,4 Go, Gemma ≈16,8 Go. Avec 24 Go de VRAM, vous avez de la marge pour les poids, pour le cache KV et pour un contexte qui compte. C'est la fourchette parfaite pour 24 Go — une 3090/4090, une 5090, ou une Apple Silicon avec une mémoire unifiée équivalente.

Si vous avez moins de 24 Go : Gemma est plus indulgent, car ses 3,8B actifs le rendent rapide même en déportant une partie des poids ; en Q4_0 (quantification 4 bits), il descend à environ 14,4 Go selon les chiffres de Google, ce qui le rend plus flexible sur un matériel moins généreux. Qwen, étant dense, souffre davantage quand il faut partager les poids entre GPU et RAM.

Quand choisir l'un ou l'autre

• Choisissez Qwen3.8-27B si vous visez les tâches longues et structurées : codage agentique, travail sur de grands documents, contextes jusqu'à un million de jetons, vidéo et images. Vous voulez la capacité au maximum et ça ne vous dérange pas que chaque jeton coûte plus cher.
• Choisissez Gemma 4 26B A4B si vous voulez la fluidité maximale : chat rapide, plusieurs utilisateurs, multilinguisme, et un modèle qui reste léger même en quantifications agressives. La qualité est là, et la note en mémoire est plus basse.
• En pratique, beaucoup finissent par garder les deux : Gemma comme cheval de bataille quotidien, Qwen comme modèle « de travail lourd » quand il faut de la profondeur.

En une ligne

Même VRAM, même classe de qualité, deux philosophies. Gemma 26B A4B va plus vite et couvre plus de langues ; Qwen3.8-27B va plus en profondeur sur les contextes et les tâches longues. Il n'y a pas de vainqueur absolu : il y a le bon modèle pour la façon dont vous utilisez votre carte.

Sources

• Qwen3.8-27B — fiche modèle sur Hugging Face
• Gemma 4 — Vue d'ensemble officielle
• Gemma 4 26B A4B — fiche modèle sur Hugging Face

Article généré par IA