Outils, frameworks et modèles pour l'IA locale
4 ressources trouvées pour "Serving"
Modèle MoE de DeepSeek avec 552B de paramètres au total et 8 à 16B actifs par token. Contexte de 1M de tokens, licence MIT : usage commercial libre. Conçu pour le service en ligne, trop grand pour un usage local sur un seul PC.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
