Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Publié le 1 avr. 2022
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
TTS locale basato su VITS + ONNX: sintesi vocale in tempo reale su CPU, voci multilingue. MIT.
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Piper TTS.
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
Outil open source pour exécuter des LLM en local, simplement.
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.