Ling 3.1 Flash : 560B open-weight sous licence MIT, contexte de 1M — ce que ça change si vous avez 24 Go de VRAM

Pensez à une voiture de 560 chevaux avec des papiers libres : vous pouvez en faire ce que vous voulez, sans abonnement et sans demander la permission à quiconque. C'est plus ou moins ce qui se passe avec Ling 3.1 Flash, le modèle MoE de 560 milliards de paramètres qu'inclusionAI vient de rendre disponible en open-weight sous licence MIT avec un contexte d'un million de tokens. La question concrète, en revanche, est une autre : si vous avez une GPU de 24 Go de VRAM, que pouvez-vous réellement en faire ?

La réponse honnête : ne pas faire tourner le modèle entier, mais comprendre exactement ce dont vous avez besoin pour l'essayer et quelles alternatives réalistes vous permettent d'atteindre la même classe de performances. Regardons les chiffres, car dans ce cas ce sont les chiffres qui décident de tout.

Qu'est-ce que Ling 3.1 Flash et pourquoi cela change les cartes

Ling 3.1 Flash est un modèle de raisonnement hybride : il peut raisonner de façon étendue (thinking) ou répondre en instantané, et dans les deux modes il prend en charge le tool calling et les sorties structurées. C'est le successeur de Ling 3.0 Flash (124B au total / ~5B actifs), mais il passe à une autre échelle : 560B de paramètres au total, 25B actifs par token, contexte natif d'1M de tokens.

Les chiffres clés, d'après la fiche du modèle officielle :

Spécification	Valeur
Architecture	MoE hybride (attention linéaire KDA + Gated MLA)
Paramètres au total	560B
Paramètres actifs par token	25B
Contexte natif	1 048 576 tokens (1M)
Experts	512 routés + 1 partagé, 8 activés par token
Précision native	FP8 (checkpoint ~572 Go sur disque)
Licence	MIT

Le point qui compte pour vous est le rapport total/actifs : 560B de poids, mais seulement 25B de calcul par token. C'est le schéma MoE classique — la mémoire vous oblige à tout charger, la vitesse ne dépend que de ce qui s'active.

MIT signifie quoi, concrètement

MIT est la licence open source la plus permissive qui existe : utiliser le modèle, y compris commercialement, ne coûte rien, vous pouvez le redistribuer, le modifier et l'intégrer dans vos produits sans rien demander à personne. Ce n'est pas un « model-open » avec des restrictions d'usage : c'est open au sens plein. Pour qui gère des données sensibles ou veut une infrastructure sans dépendances externes, c'est la différence entre un modèle qu'on peut adopter et un service qu'on doit traiter comme un service.

Le contexte d'1M de tokens, traduit

Un million de tokens correspond à environ 750 000 mots en français — l'équivalent de plusieurs romans ou d'un référentiel de code moyen en entier. La plupart des modèles cloud s'arrêtent à 128K ou 200K tokens ; ici le plafond est cinq fois plus haut. En pratique, cela veut dire pouvoir charger dans un seul prompt un codebase complet, une base de connaissances d'entreprise ou une conversation très longue sans fragmenter en fenêtres.

Ce que fait vraiment une GPU de 24 Go

Là, les chiffres ne laissent aucune place à l'interprétation. Le checkpoint natif est en FP8 : ~572B paramètres × 1 octet ≈ 572 Go. Le modèle entier n'entre pas dans 24 Go — pas avec n'importe quelle quantisation standard, car le seul FP8 pèse plus de 23 fois votre VRAM.

Combien de GPU faut-il alors ? Faisons les comptes avec les quantisations de référence :

Quantisation	Poids sur disque	2× 24 Go	4× 24 Go	8× 24 Go	2× 48 Go	4× 96 Go
FP8 (nativ)	~572 Go	Non	Non	Non	Non	Non
Q8_0	~570 Go	Non	Non	Non	Non	Non
Q4_K_M	~290 Go	Non	Non	Non	Non	Oui
Q3_K_M	~220 Go	Non	Non	Oui	Oui	Oui
Q2_K	~170 Go	Non	Non	Oui	Oui	Oui

La lecture est simple : pour Q4 il faut au moins 4 GPU de 96 Go (ou 8 de 24 Go avec offloading lent), pour Q3 juste 8× 24 Go. La recette officielle indiquée par inclusionAI est 8× H200 avec tensor parallelism 8 + expert parallelism 8, ou 4× GB300 avec TP4/EP4.

En pratique, avec 24 Go de VRAM vous avez trois voies honnêtes :

1. API ou cloud : vous utilisez Ling 3.1 Flash comme service. Sur OpenRouter il coûte 0,075 $ par million de tokens en entrée et 0,225 $ en sortie (cache read 0,015 $/M), contexte servi 262K tokens. C'est la voie la plus rapide pour expérimenter.
2. Multi-GPU à la maison : 2× 48 Go (A6000) ou 4× 96 Go (H200/MI300X) pour Q4. C'est le setup « domestique » le plus proche de la recette officielle.
3. MoE plus petits sur 24 Go : la voie la plus réaliste. Les modèles MoE avec 20–40B actifs (par exemple le 30B-A3B de Qwen3) tournent en Q4 sur une seule 24 Go à 10–20 tokens/s. Ce n'est pas Ling 3.1 Flash, mais le principe MoE est le même et les coûts sont une fraction.

Le point clé : Ling 3.1 Flash n'est pas « trop grand pour 24 Go » au sens absolu — c'est la référence contre laquelle mesurer ce que votre VRAM peut réellement soutenir.

Combien coûte l'API, en euros

Regardons les comptes avec les prix OpenRouter du jour (1 USD ≈ 0,93 EUR) :

Scénario	Tokens in	Tokens out	Coût
1 requête, 100K in / 10K out	100 000	10 000	~10 $ (≈ 9 €)
1 requête, 1M in / 30K out	1 000 000	30 000	~305 $ (≈ 284 €)
10 requêtes/jour de 100K	1 000 000	100 000	~100 $/jour (≈ 93 €)
100 000 requêtes/mois (100K in chacune)	10 000 000 000	—	~750 000 $/mois

La dernière ligne est exagérée à dessein : elle sert juste à montrer qu'au-delà d'un certain seuil l'API devient économiquement absurde. Pour un usage occasionnel (quelques centaines de milliers de tokens par jour), l'API reste plus que rentable et ne vous fait pas dépenser 40 000 € de GPU.

Et les limites ?

Parlons-en, car l'honnêteté vaut autant que l'enthousiasme :

• 24 Go ne suffisent pas pour le modèle entier, ni en Q4 ni en Q3 : il faut du multi-GPU ou l'API.
• Le contexte d'1M est natif, mais la KV cache grandit avec la longueur : sur du matériel de grand public, l'utilisation effective s'arrêtera bien avant le million de tokens, selon la VRAM restante et la quantisation.
• MoE + offloading : charger les poids sur RAM/SSD fonctionne, mais la vitesse de génération baisse de façon notable par rapport à un setup entièrement en VRAM.
• Les benchmarks officiels (Terminal-Bench 4.0, SWE-bench Pro, FrontierSWE) sont mesurés sur H200/GB300 : les chiffres sur du matériel de grand public ne sont pas déclarés et vous ne pouvez pas espérer les mêmes performances.
• Licence MIT ≠ absence de responsabilité : la licence couvre les poids, pas les données que vous chargez. La responsabilité sur ce que vous envoyez au modèle reste la vôtre.

Si votre cas d'usage ne justifie pas le matériel, l'API est le choix pragmatique. Si vous construisez une infrastructure locale sérieuse, Ling 3.1 Flash est la référence contre laquelle concevoir.

Comment l'essayer, si vous avez le bon matériel

La voie officielle indiquée par inclusionAI est SGLang, avec l'image day-0 qui inclut le support et la décodage spéculatif MTP. Pour un setup à 8 GPU (TP8 + EP8) :

docker pull lmsysorg/sglang:dev-ling-3.1-flash
docker run --gpus all --network host --ipc=host --rm \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-3.1-flash \
  --tp 8 --ep 8 \
  --speculative-algorithm NEXTN \
  --host 0.0.0.0 --port 30000

Et la vérification :

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Ling-3.1-flash","messages":[{"role":"user","content":"Bonjour"}],"stream":false,"temperature":1.0,"top_k":20,"top_p":0.95,"chat_template_kwargs":{"enable_thinking":true}}'

Si le port est déjà occupé, changez --port ; si le serveur part en OOM, baissez le contexte (--context-length) ou utilisez Q4 au lieu de FP8. vLLM fonctionne en alternative, avec --enable-expert-parallel et le parser tool ling3.

Sources

• Fiche du modèle inclusionAI/Ling-3.1-flash (Hugging Face) — spécifications complètes, architecture, recette SGLang/vLLM.
• OpenRouter — inclusionAI/ling-3.1-flash — prix API et contexte servi.
• Pandaily — Ant Group open-source les poids de Ling-3.1-flash sous MIT — contexte du lancement.

Articles liés

• Ollama vs LM Studio : quel outil choisir pour l'IA locale — la comparaison pratique entre les deux outils les plus répandus.
• Mac Studio M5 Ultra : 512 Go de mémoire unifiée sur le desktop — si vous voulez toucher aux grands MoE dans un seul châssis.
• Kolibri d'Aleph Alpha : le MoE de 78B qui tourne (presque) en local — la contrepartie plus petite de ce même principe MoE.

En résumé

Ling 3.1 Flash est le plus grand modèle MoE open disponible sous licence MIT : 560B au total, 25B actifs, 1M de contexte, FP8 natif. Avec 24 Go de VRAM vous ne le faites pas tourner en entier — il faut 2× 48 Go ou plus, ou l'API. Mais c'est exactement la référence qu'il vous faut pour comprendre où votre matériel s'arrête et ce que vous pouvez faire de réaliste à la place : des MoE plus petits à 10–20 tokens/s, ou le cloud pour les pics. MIT signifie que vous pouvez l'adopter sans rien demander à personne. Les chiffres sont sur la table : choisissez selon votre cas d'usage.

Article généré par IA