Vai al contenuto principale
← Torna alle notizie

MiniCPM-V 4.7 35B-A3B: il primo MoE open-source fluido on-device, 13 tok/s con 3GB di RAM

Nuovi modelli
Fonte:Hugging Face
OpenBMB rilascia MiniCPM-V 4.7, variante 35B-A3B: il primo MoE open-source in grado di decodificare in modo fluido su smartphone senza compromessi di qualità — 13+ Token/secondo con soli 3GB di memoria su iPhone 17 Pro Max. Il segreto è lo scheduling degli esperti in anticipo (Lookahead Expert Scheduling su llama.cpp-omni) unito a Quantizzazione fine per livello e campionamento speculativo. Supporto day-0 per Rockchip, Intel, AMD e Arm; Ollama, llama.cpp, vLLM e SGLang.
Leggi l'articolo originale

Articoli correlati

MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAM

Il primo MoE open da 35B (3B attivi) che gira fluido su smartphone: 13+ tok/s con 3 GB di RAM su iPhone 17 Pro Max, OCR, video e GGUF Q4_K_M da 21,8 GB per il desktop. I numeri, le tre tecniche e i limiti.

vLLM: servire modelli veloci

vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti (throughput, quantizzazione, KV cache) per scegliere quando usarlo al posto di Ollama.

Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware

Dalla 3.1 8B alla 4 Scout MoE con contesto da 10M: la famiglia Llama in tabella, cosa gira su 16, 48 e 128 GB di RAM, la licenza Community tradotta per l'azienda italiana e la scelta per budget.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

MiniCPM-V 4.7 35B-A3B (MoE)

Modelli

Il primo MoE open-source della serie MiniCPM-V di OpenBMB: 35,2B di parametri totali, ~3B attivi per token, comprensione di immagini multiple e video con compressione precoce dei token visivi (LLaVA-UHD v4). Primo MoE open-source con decodifica fluida on-device — 13+ tok/s con soli 3GB di RAM su iPhone 17 Pro Max — grazie al Lookahead Expert Scheduling (llama.cpp-omni), quantizzazione fine per livello e DSpark speculative sampling. Supporto day-0 per Rockchip, Houmo, Intel, AMD e Arm; gira su Ollama, llama.cpp, vLLM e SGLang.

🐑

Llama 4 Maverick (MoE)

Modelli

Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.

🐑

Llama 4 Scout (MoE)

Modelli

Il modello MoE compatto della famiglia Llama 4: 17B di parametri attivi su 109B totali (16 esperti). Licenza comunitaria Meta con uso libero sotto i 700 milioni di utenti mensili. Uno dei punti d'ingresso migliori della famiglia Llama 4.

🖥️

AMD Ryzen AI Max+ 395 (Strix Halo)

Hardware

La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.

Sfoglia tutte le risorse