Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence⚡
Magnitude
Publié le 12 juin 2026
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Caractéristiques
- Noyaux compilés sur votre matériel
- Jusqu'à 2× vs llama.cpp
- Apple Silicon / NVIDIA / AMD / CPU
- Optimisation pour agents
Historique des versions
- 1.0Actuelle
Lancio pubblico (YC S25, presentazione su Hacker News): repository magnitudedev/magnitude creato a giugno 2026.
Tags
Liens utiles
Découvrir Magnitude
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Magnitude.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale