Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Ressources
Outils, frameworks et modèles pour l'IA locale
2 ressources trouvées pour "C++"
Outils, frameworks et modèles pour l'IA locale
2 ressources trouvées pour "C++"
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.