Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Ressources
Outils, frameworks et modèles pour l'IA locale
6 ressources trouvées pour "LLM"
Outils, frameworks et modèles pour l'IA locale
6 ressources trouvées pour "LLM"
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Outil open source pour exécuter des LLM en local, simplement.
Gateway cloud pour l'inférence LLM : un seul endpoint API pour des centaines de modèles (dont les MoE open-weight), avec prix par token et routage automatique entre providers. Pour Ling 3.1 Flash : 0,075 $/M d'entrée, 0,225 $/M de sortie.
Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.