Tools, frameworks, and models for local AI
13 resources found for "MoE"
An open decision model from Autotrust, 35B parameters (3B active), a fine-tune of Qwen3.5-35B-A3B for text classification and risk scoring. In NVFP4 quantization it occupies about 25.6 GB of VRAM: it runs on a 32 GB GPU with no frontier inference needed.
DeepSeek's MoE model with 552B total parameters and 8-16B active per token. 1M-token context, MIT license: free commercial use. Built for online serving, too large for local use on a single PC.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
Aleph Alpha's MoE: 78.1B parameters (3.46B active per token), Apache 2.0, FP8 weights, context up to 1M tokens, reasoning mode and tool calling. Built for mission-critical workloads on local hardware.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
The compact MoE of the Llama 4 family: 17B active parameters out of 109B total (16 experts). Meta's community license allows free use under 700 million monthly users. One of the best entry points into the Llama 4 family.
The first open-source MoE of OpenBMB's MiniCPM-V series: 35.2B total parameters, ~3B active per token, multi-image and video understanding with early visual-token compression (LLaVA-UHD v4). First open-source MoE with fluid on-device decoding — 13+ tok/s on 3GB of RAM on an iPhone 17 Pro Max — thanks to Lookahead Expert Scheduling (llama.cpp-omni), fine per-level quantization and DSpark speculative sampling. Day-0 support for Rockchip, Houmo, Intel, AMD and Arm; runs on Ollama, llama.cpp, vLLM and SGLang.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Eight 7B experts with two active per token: 47B total params with large-model reasoning at a fraction of the compute cost. An open-world classic.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Mixture-of-Experts model: 30B total params but only 3.3B active per token. Small-model speed with mid-size quality; the best speed/quality ratio in its class.
A 35B-parameter MoE model with ~3B active per token from the Qwen family, Apache-2.0. It is the fine-tune base of JEV-35B. Suited to 40GB+ GPUs in BF16 or to 4/8-bit quantizations for smaller hardware.
