Inférence⚡
Magnitude
Publié le 12 juin 20261.0
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
LLMInferenzaRustLocal

