Outils, frameworks et modèles pour l'IA locale
52 ressources trouvées pour "LLM"
Alibaba Group : les modèles Qwen font partie des LLM open-weight les plus performants au monde, publiés sous licences permissives. Les modèles Qwen du catalogue sont les ressources filles.
Modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, dérivé de Qwen3.8-27B avec attention hybride (~75 % linéaire). En GGUF PTQ1_0 il occupe 5,95 Go, conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max, avec un contexte de 262K tokens. Licence Apache 2.0. Exige la fork llama.cpp de Prism ML (les noyaux ternaires ne sont pas dans llama.cpp stock).
DeepSeek (Shenzhen, Chine) : les LLM open-weight les plus efficaces de leur classe, axés sur les MoE à faible activation. DeepSeek V4.1-Flash pousse 552B de paramètres totaux avec ~8B actifs et un contexte de 1M. Les modèles du catalogue sont les ressources filles.
Modèle MoE de DeepSeek avec 552B de paramètres au total et 8 à 16B actifs par token. Contexte de 1M de tokens, licence MIT : usage commercial libre. Conçu pour le service en ligne, trop grand pour un usage local sur un seul PC.
Famille de modèles open de Google en tailles 1B, 4B, 12B et 27B. Contexte de 128K tokens, plus de 140 langues supportées et entrées multimédias (texte et images). Excellent choix pour le RAG et les documents longs sur du matériel grand public.
La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modèle compact de la famille Gemma 4 de Google : 8B de paramètres au total, dont 4,5B effectifs grâce aux embeddings par couche (PLE). Contexte de 131K tokens, plus de 140 langues, entrées texte+images et audio. La taille d'entrée de la famille Gemma 4 pour l'usage local sur 8-16GB.
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
Intel : les GPU Arc (Xe) sont la troisième plateforme grand public pour l'IA locale, avec 12-16 Go de VRAM à prix d'entrée. La voie d'inférence maintenue est Vulkan (Ollama natif, llama.cpp) : le projet IPEX-LLM a été archivé en janvier 2026. Les GPU du catalogue sont les ressources filles.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Framework pour construire des applications basées sur des LLM avec chains, agents et tool use.
Le plus grand modèle open de Meta : qualité de frontière fermée mais exigences de datacenter. En pratique, il exige du multi-GPU à forte VRAM ou le cloud.
Modèle open de niveau frontière avec un contexte de 131K tokens. Exige 48-80 Go de VRAM, un Mac à mémoire unifiée ou une configuration multi-GPU.
Le cheval de bataille local par excellence : qualité solide, contexte de 131K tokens et un écosystème de quantisations GGUF immense. Le choix standard pour la conversation et les assistants.
Petit modèle rapide avec un contexte jusqu'à 131K tokens. Point d'entrée idéal pour la conversation et les résumés sur du matériel modeste, excellent sur smartphones et mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Le modèle MoE compact de la famille Llama 4 : 17B de paramètres actifs sur 109B au total (16 experts). Licence communautaire Meta avec usage libre sous 700 millions d'utilisateurs mensuels. L'un des meilleurs points d'entrée de la famille Llama 4.
Framework open source pour le fine-tuning unifié de 100+ LLM et VLM (Qwen, Llama, Mistral, Gemma) : du SFT complet à LoRA, QLoRA et DPO, avec WebUI intégrée et démarrage depuis un seul fichier YAML. Projet de référence de la communauté (ACL 2024).
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Outil open source qui estime la vitesse d'inférence d'un modèle local sur plus de 250 configurations matérielles (GPU, Mac, CPU) : estimations mesurées depuis des benchmarks communautaires ou dérivées de setups similaires. Sert à choisir le matériel avant de l'acheter.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Meta Platforms : la famille Llama est la ligne de LLM open-weight la plus répandue au monde, de 1B à 405B de paramètres, avec licence commerciale. Les modèles Llama du catalogue sont les ressources filles.
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
Modèle de 7B rapide et efficace, bien calibré pour les tâches multilingues européennes. Excellente qualité d'instruction à une fraction du coût des modèles 13B et plus.
Mistral AI (Paris, France) : les LLM européens open-weight les plus efficaces, avec des licences permissives et une attention à la confidentialité et à la localisation. Les modèles Mistral du catalogue sont les ressources filles.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Huit experts de 7B dont deux actifs par token : 47B de paramètres au total et un raisonnement de grand modèle à une fraction du coût de calcul. Un classique du monde open.
Framework d'apprentissage automatique d'Apple pour Apple Silicon : arrays avec calcul paresseux sur CPU et GPU unifiées, mémoire unifiée comme atout. La bibliothèque mlx-lm apporte entraînement, fine-tuning (LoRA/QLoRA) et inférence de LLM directement sur Mac.
Les runtime qui font tourner les modèles locaux sur votre matériel : Ollama pour la simplicité, llama.cpp pour la portabilité, vLLM pour le débit de production. Les moteurs du catalogue sont les ressources filles.
Famille de modèles vision-encodeur-décodeur de NVIDIA pour la compréhension de documents en local : markdown, formules LaTeX, bounding boxes et classe sémantique par élément, dans l'ordre de lecture. ViT-H (C-RADIO) + décodeur mBART à 10 blocs, tous sous le milliard de paramètres. En local via vLLM (v0.20–v0.26 pour la 2.0) ou Transformers, sur GPU NVIDIA (Turing à Blackwell).
Modèle vocal end-to-end full-duplex de 11B : compréhension et génération audio dans une seule architecture, sans stack en cascade ASR→LLM→TTS. Premier modèle full-duplex open avec tool calling pendant la conversation, réponses en ~450ms, interruptions et tours naturels.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Gateway cloud pour l'inférence LLM : un seul endpoint API pour des centaines de modèles (dont les MoE open-weight), avec prix par token et routage automatique entre providers. Pour Ling 3.1 Flash : 0,075 $/M d'entrée, 0,225 $/M de sortie.
Modèle open-weight de 7B (DiT de 32 couches) qui unifie génération à partir de texte jusqu'à 2048x2048, édition avec jusqu'à 10 images de référence et transparence RGBA native. Pensé pour tourner en local sur 16Go+ de VRAM ; supporté par diffusers et ComfyUI.
Modèle ultra-compact de 0,5 milliard de paramètres. S'exécute sur n'importe quel matériel, y compris embarqué : idéal pour des résumés légers et des appareils locaux à très faible consommation.
Saut net en raisonnement et qualité d'instruction par rapport aux 8B. Excellent pour le code, les agents et la rédaction structurée sur GPU 16 Go ou Mac avec 32 Go de RAM.
Qualité proche des modèles 70B à une fraction de la taille : le point idéal pour les usages avancés. Excellent en italien, en code et en raisonnement. Exige 24 Go de VRAM ou plus.
Modèle de 3 milliards de paramètres au soutien multilingue excellent, y compris l'italien. Bon équilibre entre qualité et exigences matérielles pour résumés et rédaction.
Le meilleur modèle dense open de sa classe, avec un soutien multilingue de premier ordre en italien, en français et dans d'autres langues européennes. Exige 48-80 Go.
Modèle Mixture-of-Experts : 30B de paramètres au total mais seulement 3,3B actifs par token. Vitesse d'un petit modèle avec la qualité d'un modèle moyen ; le meilleur rapport qualité/vitesse de sa classe.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Modèle MoE de 35 Md de paramètres avec ~3 Md actifs par jeton de la famille Qwen, Apache-2.0. C'est la base de fine-tune de JEV-35B. Adapté à des GPU de 40 Go+ en BF16 ou à des quantisations 4/8 bits pour du matériel plus petit.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.
Outil Python à dépendance nulle qui reconnaît et résume chaque fichier avec un LLM local (Ollama, LM Studio ou MLX-LM), entièrement hors ligne. Détecte le type par le contenu, extrait la structure (CSV, e-mails, scripts, logs) et signale les fichiers contenant des instructions à l'assistant. Fonctionne aussi sans modèle (--no-llm). Licence MIT.
Application macOS de dictée 100 % locale : transcription avec Whisper sur l'appareil et réécriture avec un LLM local (Qwen) sur la GPU M-series. Le texte arrive dans l'application cible ; aucune donnée ne passe par le cloud.
Framework de fine-tuning optimisé pour GPU NVIDIA et Apple Silicon : matrices custom en CUDA qui réduisent l'usage de mémoire et doublent la vitesse d'entraînement par rapport aux méthodes standard. Supporte LLM et modèles de diffusion.
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
