Ling 3.1 Flash: 560B open-weight con licenza MIT, 1M di contesto - cosa cambia per chi ha 24GB di VRAM
Pensa a un'auto da 560 cavalli con la carta d'identità libera: puoi farci quello che vuoi, senza abbonamento e senza chiedere permesso a nessuno. È più o meno quello che sta succedendo con Ling 3.1 Flash, il modello MoE da 560 miliardi di parametri che inclusionAI ha appena reso disponibile in open-weight con licenza MIT e contesto da 1 milione di token. La domanda concreta, però, è un'altra: se hai una GPU da 24 GB di VRAM, cosa puoi farci davvero?
La risposta onesta: non girare l'intero modello, ma capire esattamente cosa ti serve per provarlo e quali alternative realistiche ti permettono di toccare la stessa classe di prestazioni. Vediamo i numeri, perché in questo caso i numeri decidono tutto.
Cos'è Ling 3.1 Flash e perché cambia le carte
Ling 3.1 Flash è un modello "hybrid reasoning" ibrido: può ragionare in modo esteso (thinking) oppure rispondere in istantanea, e in entrambe le modalità supporta tool calling e output strutturati. È il successore di Ling 3.0 Flash (124B totali / ~5B attivi), ma scala su un altro piano: 560B parametri totali, 25B attivi per token, contesto nativo da 1M di token.
I numeri chiave, dal model card ufficiale:
| Specifica | Valore |
|---|---|
| Architettura | MoE ibrida (attenzione lineare KDA + Gated MLA) |
| Parametri totali | 560B |
| Parametri attivi per token | 25B |
| Contesto nativo | 1.048.576 token (1M) |
| Esperti | 512 routed + 1 condiviso, 8 attivati per token |
| Precisione nativa | FP8 (checkpoint ~572 GB su disco) |
| Licenza | MIT |
Il punto che conta per te è il rapporto totale/attivi: 560B di pesi, ma solo 25B di calcolo per token. È il classico schema MoE — la memoria ti chiede di caricare tutto, la velocità dipende solo da ciò che si attiva.
MIT significa cosa, in pratica
MIT è la licenza open source più permissiva che esiste: usare il modello, anche in commerciale, non costa nulla, puoi ridistribuirlo, modificarlo e integrarlo nei tuoi prodotti senza chiedere nulla a nessuno. Non è un "model-open" con restrizioni d'uso: è open in senso pieno. Per chi gestisce dati sensibili o vuole un'infrastruttura senza dipendenze esterne, questa è la differenza tra un modello che puoi adottare e uno che devi trattare come un servizio.
Il contesto da 1M token, tradotto
Un milione di token corrisponde a circa 750.000 parole in italiano — l'equivalente di più romanzi o di un intero repository medio di codice. La maggior parte dei modelli cloud si ferma a 128K o 200K token; qui il tetto è cinque volte più alto. In pratica significa poter caricare in un solo prompt un codicebase completo, una base di conoscenza aziendale o una conversazione molto lunga senza frammentare in finestre.
Cosa fa davvero una GPU da 24 GB
Qui i numeri non lasciano spazio a interpretazioni. Il checkpoint nativo è FP8: ~572B parametri × 1 byte ≈ 572 GB. Il modello intero non entra in 24 GB — non con alcuna quantizzazione standard, perché il solo FP8 pesa più di 23 volte la tua VRAM.
Quante GPU servono, allora? Facciamo i conti con le quantizzazioni di riferimento:
| Quantizzazione | Pesi su disco | 2× 24GB | 4× 24GB | 8× 24GB | 2× 48GB | 4× 96GB |
|---|---|---|---|---|---|---|
| FP8 (nativa) | ~572 GB | No | No | No | No | No |
| Q8_0 | ~570 GB | No | No | No | No | No |
| Q4_K_M | ~290 GB | No | No | No | No | Sì |
| Q3_K_M | ~220 GB | No | No | Sì | Sì | Sì |
| Q2_K | ~170 GB | No | No | Sì | Sì | Sì |
La lettura è semplice: per Q4 servono almeno 4 GPU da 96 GB (o 8 da 24 GB con offloading lento), per Q3 appena 8× 24 GB. La ricetta ufficiale indicata da inclusionAI è 8× H200 con tensor parallelism 8 + expert parallelism 8, o 4× GB300 con TP4/EP4.
In pratica, con 24 GB di VRAM hai tre strade oneste:
- API o cloud: usi Ling 3.1 Flash come servizio. Su OpenRouter costa $0.075 per milione di token in input e $0.225 in output (cache read $0.015/M), contesto servito 262K token. È la via più rapida per sperimentare.
- Multi-GPU a casa: 2× 48 GB (A6000) o 4× 96 GB (H200/MI300X) per Q4. È il setup "domestico" più vicino alla ricetta ufficiale.
- MoE più piccoli su 24 GB: la via più realistica. I modelli MoE con 20–40B attivi (ad esempio il 30B-A3B di Qwen3) girano in Q4 su una singola 24 GB a 10–20 token/s. Non sono Ling 3.1 Flash, ma il principio MoE è lo stesso e i costi sono una frazione.
Il punto chiave: Ling 3.1 Flash non è "troppo grande per 24 GB" in senso assoluto — è il riferimento contro cui misurare cosa la tua VRAM può effettivamente sostenere.
Quanto costa l'API, in euro
Vediamo i conti con i prezzi OpenRouter di oggi (1 USD ≈ 0,93 EUR):
| Scenario | Token in | Token out | Costo |
|---|---|---|---|
| 1 richiesta, 100K in / 10K out | 100.000 | 10.000 | ~$10 (≈ €9) |
| 1 richiesta, 1M in / 30K out | 1.000.000 | 30.000 | ~$305 (≈ €284) |
| 10 richieste al giorno da 100K | 1.000.000 | 100.000 | ~$100/giorno (≈ €93) |
| 100.000 richieste/mese (100K in ciascuna) | 10.000.000.000 | — | ~$750.000/mese |
L'ultima riga è esagerata a proposito: serve solo per mostrare che sopra una certa soglia l'API diventa economicamente assurda. Per un uso occasionale (qualche centinaia di migliaia di token al giorno), l'API resta più che conveniente e non ti fa spendere 40.000 € di GPU.
E i limiti?
Parliamone, perché onestà vale quanto l'entusiasmo:
- 24 GB non basta per l'intero modello, né per Q4 né per Q3: serve un multi-GPU o l'API.
- Il contesto da 1M è nativo, ma la KV cache cresce con la lunghezza: su hardware da consumer, l'utilizzo effettivo si fermera molto prima del milione di token, a seconda di VRAM residua e quantizzazione.
- MoE + offloading: caricare i pesi su RAM/SSD funziona, ma la velocità di generazione cala in modo significativo rispetto a un setup tutto in VRAM.
- I benchmark ufficiali (Terminal-Bench 4.0, SWE-bench Pro, FrontierSWE) sono misurati su H200/GB300: i numeri su hardware da consumer non sono dichiarati e non puoi aspettarti le stesse prestazioni.
- Licenza MIT ≠ assenza di responsabilità: la licenza copre i pesi, non i dati che carichi. La responsabilità su cosa mandi al modello resta tua.
Se il tuo caso d'uso non giustifica l'hardware, l'API è la scelta pragmatica. Se invece stai costruendo un'infrastruttura locale seria, Ling 3.1 Flash è il riferimento contro cui progettare.
Come provarlo, se hai l'hardware giusto
La via ufficiale indicata da inclusionAI è SGLang, con l'immagine day-0 che include il supporto e il decodifica speculativa MTP. Per una setup a 8 GPU (TP8 + EP8):
docker pull lmsysorg/sglang:dev-ling-3.1-flash
docker run --gpus all --network host --ipc=host --rm \
lmsysorg/sglang:dev-ling-3.1-flash \
python3 -m sglang.launch_server \
--model-path inclusionAI/Ling-3.1-flash \
--tp 8 --ep 8 \
--speculative-algorithm NEXTN \
--host 0.0.0.0 --port 30000
E la verifica:
curl -s http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"Ling-3.1-flash","messages":[{"role":"user","content":"Ciao"}],"stream":false,"temperature":1.0,"top_k":20,"top_p":0.95,"chat_template_kwargs":{"enable_thinking":true}}'
Se la porta è già occupata, cambia --port; se il server va in OOM, abbassa il contesto (--context-length) o usa Q4 invece di FP8. vLLM funziona in alternativa, con --enable-expert-parallel e il parser tool ling3.
Fonti
- Model card inclusionAI/Ling-3.1-flash (Hugging Face) — specifiche complete, architettura, ricetta SGLang/vLLM.
- OpenRouter — inclusionAI/ling-3.1-flash — prezzi API e contesto servito.
- Pandaily — Ant Group open-sources Ling-3.1-flash sotto MIT — contesto del rilascio.
Articoli correlati
- Ollama vs LM Studio: quale tool scegliere per l'IA locale — il confronto pratico tra i due strumenti più diffusi.
- Mac Studio M5 Ultra: 512 GB di memoria unificata sul desktop — se vuoi toccare MoE grandi su un solo chassis.
- Kolibri di Aleph Alpha: il MoE da 78B che gira (quasi) in locale — la controparte più piccola di questo stesso principio MoE.
In sintesi
Ling 3.1 Flash è il modello MoE open più grande reso disponibile con licenza MIT: 560B totali, 25B attivi, 1M di contesto, FP8 nativo. Con 24 GB di VRAM non lo giri intero — servono 2× 48 GB in su, o l'API. Ma è esattamente il riferimento che ti serve per capire dove si ferma la tua hardware e cosa puoi realisticamente fare al suo posto: MoE più piccoli a 10–20 token/s, o cloud per i picchi. MIT significa che puoi adottarlo senza chiedere nulla a nessuno. I numeri sono sul tavolo: scegli in base al tuo caso d'uso.
Articolo generato con IA
Ti è piaciuto questo articolo?
Iscriviti alla newsletter per ricevere nuovi tutorial e guide.
Articoli Correlati
Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.
MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM
Il primo MoE open da 35B (3B attivi) che gira fluido su smartphone: 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, OCR, video e GGUF Q4_K_M da 21,8 GB per il desktop. I numeri, le tre tecniche e i limiti.