Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
whisper.cpp
Publié le 1 mars 2023
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
Caractéristiques
- C/C++, senza Python
- Quantizzazione GGML
- Apple Silicon (Metal) e Vulkan
- Streaming
- MIT
Historique des versions
- whisper.cppActuelle
Port C++ di Whisper su ggml: ottimizzato per CPU e Apple Silicon, quantizzazione GGML, streaming. MIT.
Tags
Liens utiles
Découvrir whisper.cpp
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser whisper.cpp.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale