Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence⚡
faster-whisper
Publié le 11 févr. 2023
Réimplémentation de Whisper basée sur CTranslate2 : jusqu'à 4 fois plus rapide qu'openai/whisper avec la même précision et moins de mémoire. Prise en charge de la quantification 8-bit sur CPU et GPU.
Caractéristiques
- CTranslate2, jusqu'à 4x plus rapide
- Quantification 8-bit (CPU et GPU)
- Python, MIT
- 99 langues de Whisper
Historique des versions
- v1.2.1Actuelle
Ultima release verificata: mantenute le ottimizzazioni CTranslate2 e la quantizzazione 8-bit su CPU e GPU.
- v1.1.1
Serie 1.x: API stabile per il modello Whisper, supporto ai modelli large-v3 e tooling per la trascrizione in streaming.
- v0.2.0
Prima release taggata su PyPI: reimplementation di Whisper su CTranslate2 con benchmark pubblici rispetto a openai/whisper, whisper.cpp e transformers.
Tags
Liens utiles
Découvrir faster-whisper
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser faster-whisper.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale