Outils, frameworks et modèles pour l'IA locale
9 ressources trouvées pour "Llama"
Le modèle décisionnel de 9B de Bespoke Labs : il tourne entièrement en local via Ollama 0.35 et répond à des questions typées (vrai/faux, échelle numérique, choix multiple) avec la nouvelle API systemone. Conçu pour la classification rapide dans les pipelines automatisés, sans cloud.
Modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, dérivé de Qwen3.8-27B avec attention hybride (~75 % linéaire). En GGUF PTQ1_0 il occupe 5,95 Go, conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max, avec un contexte de 262K tokens. Licence Apache 2.0. Exige la fork llama.cpp de Prism ML (les noyaux ternaires ne sont pas dans llama.cpp stock).
Le plus grand modèle open de Meta : qualité de frontière fermée mais exigences de datacenter. En pratique, il exige du multi-GPU à forte VRAM ou le cloud.
Modèle open de niveau frontière avec un contexte de 131K tokens. Exige 48-80 Go de VRAM, un Mac à mémoire unifiée ou une configuration multi-GPU.
Le cheval de bataille local par excellence : qualité solide, contexte de 131K tokens et un écosystème de quantisations GGUF immense. Le choix standard pour la conversation et les assistants.
Petit modèle rapide avec un contexte jusqu'à 131K tokens. Point d'entrée idéal pour la conversation et les résumés sur du matériel modeste, excellent sur smartphones et mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Le modèle MoE compact de la famille Llama 4 : 17B de paramètres actifs sur 109B au total (16 experts). Licence communautaire Meta avec usage libre sous 700 millions d'utilisateurs mensuels. L'un des meilleurs points d'entrée de la famille Llama 4.
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
