Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
6 articoli trovati per "qwen"

Decodifica speculativa e MTP: velocità gratis
La decodifica speculativa rende l'IA locale più veloce senza cambiare la qualità dell'output: un modello bozza i token, il modello grande li verifica. Ecco come funziona il draft-verify, le teste MTP nei modelli Qwen, EAGLE su Mistral Medium 3.5 e come abilitare tutto in tre comandi.

Qwen3.8-27B vs Gemma 4 26B A4B: la nuova frontiera a 24GB
Dense da 27,8B o MoE con 3,8B attivi, contesto da 262K contro 256K e quasi lo stesso peso in Q4_K_M: due modi opposti di portare la qualità da modello grande su una scheda consumer da 24GB. Chi va più in fretta, chi va più in profondità, e quando scegliere l'uno o l'altro.

Modelli di immagini in locale: da SDXL a Qwen-Image
Dai 2,6B parametri di SDXL ai 7B di Qwen-Image 2.1: come funzionano i diffusion model, quanti GB di VRAM servono davvero e quale modello scegliere per il tuo hardware.

KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.

Qwen-Image 2.1: generare e modificare immagini in locale
Qwen-Image 2.1 unifica generazione da testo, editing e trasparenza RGBA in un modello open da 7B (DiT da 32 layer). Setup locale con diffusers, supporto nativo in ComfyUI, esigenze di VRAM (~14GB in bfloat16) e casi d'uso (sticker, foto di prodotto, workflow di design).

Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).

