Modèles
MiniCPM-V 4.7 35B-A3B (MoE)
Publié le 13 oct. 20264.7 35B-A3B
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
visionmoeon-devicemultimodaliphone