Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Publié le 10 nov. 2026
Moteur d'inférence open source pour Apple Silicon basé sur Metal : il déclare une décodification jusqu'à trois fois plus rapide que les moteurs classiques sur MacBook et Mac Studio. Projet jeune, sans benchmarks indépendants pour le moment.
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Tokspur.
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Outil open source pour exécuter des LLM en local, simplement.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.