Strumenti, framework e modelli per l'IA locale
12 risorse trovate per "moe"
Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
MoE di Aleph Alpha: 78,1B parametri (3,46B attivi per token), Apache 2.0, pesi FP8, contesto fino a 1M token, reasoning mode e tool calling. Pensato per carichi mission-critical su hardware locale.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Il modello MoE compatto della famiglia Llama 4: 17B di parametri attivi su 109B totali (16 esperti). Licenza comunitaria Meta con uso libero sotto i 700 milioni di utenti mensili. Uno dei punti d'ingresso migliori della famiglia Llama 4.
Il primo MoE open-source della serie MiniCPM-V di OpenBMB: 35,2B di parametri totali, ~3B attivi per token, comprensione di immagini multiple e video con compressione precoce dei token visivi (LLaVA-UHD v4). Primo MoE open-source con decodifica fluida on-device — 13+ tok/s con soli 3GB di RAM su iPhone 17 Pro Max — grazie al Lookahead Expert Scheduling (llama.cpp-omni), quantizzazione fine per livello e DSpark speculative sampling. Supporto day-0 per Rockchip, Houmo, Intel, AMD e Arm; gira su Ollama, llama.cpp, vLLM e SGLang.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Otto esperti da 7B con due attivi per token: 47B di parametri totali e ragionamento da modello grande a una frazione del costo di calcolo. Un classico del mondo open.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Modello Mixture-of-Experts: 30B di parametri totali ma solo 3,3B attivi per token. Velocità da modello piccolo con qualità da modello medio; il rapporto qualità/velocità migliore della sua classe.
Modello MoE da 35B parametri con ~3B attivi per token della famiglia Qwen, Apache-2.0. È la base di fine-tune di JEV-35B. Adatto a GPU da 40+ GB in BF16 o a quantizzazioni 4/8-bit per hardware più piccolo.
