Aller au contenu principal
← Retour aux actualités

MiniCPM-V 4.7 35B-A3B : le premier MoE open-source fluide on-device, 13 tok/s avec 3 Go de RAM

Nouveaux modèles
Source:Hugging Face
OpenBMB publie MiniCPM-V 4.7, variante 35B-A3B : le premier MoE open-source capable de décoder fluidement sur smartphone sans compromis de qualité — 13+ tokens/seconde avec seulement 3 Go de mémoire sur iPhone 17 Pro Max. Le secret : le Lookahead Expert Scheduling sur llama.cpp-omni, associé à une quantisation fine par couche et à l'échantillonnage spéculatif. Support day-0 pour Rockchip, Intel, AMD et Arm ; Ollama, llama.cpp, vLLM et SGLang.
Lire l'article original

Articles connexes

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM

Le premier MoE open de 35B (3B actifs) qui tourne fluidement sur smartphone : 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, OCR, vidéo et GGUF Q4_K_M de 21,8 Go pour le desktop. Chiffres, trois techniques et limites.

vLLM : servir des modèles rapides

vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts (débit, quantification, KV cache) pour choisir quand l'utiliser à la place d'Ollama.

Llama 3 et Llama 4 : la famille open de Meta, quel modèle tourne sur votre matériel

De la 3.1 8B à la 4 Scout MoE au contexte de 10M : la famille Llama en tableau, ce qui tourne sur 16, 48 et 128 Go de RAM, la licence Community traduite pour l'entreprise italienne et le choix par budget.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.

MiniCPM-V 4.7 35B-A3B (MoE)

Modèles

Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.

🐑

Llama 4 Maverick (MoE)

Modèles

Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.

🐑

Llama 4 Scout (MoE)

Modèles

Le modèle MoE compact de la famille Llama 4 : 17B de paramètres actifs sur 109B au total (16 experts). Licence communautaire Meta avec usage libre sous 700 millions d'utilisateurs mensuels. L'un des meilleurs points d'entrée de la famille Llama 4.

🖥️

AMD Ryzen AI Max+ 395 (Strix Halo)

Matériel

La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.

Parcourir toutes les ressources