Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence⚡
SGLang
Publié le 18 janv. 2024
Moteur de serving open source pour LLM avec RadixAttention, continuous batching et décodage spéculatif de premier plan (MTP, EAGLE, draft model, ngram). Licence Apache-2.0.
Caractéristiques
- RadixAttention
- Continuous batching
- Décodage spéculatif (MTP/EAGLE/draft/ngram)
- Multi-GPU
- API OpenAI
- Serving haut débit
Historique des versions
- v0.1.5Actuelle
Prima release pubblica di SGLang sul repository GitHub (sgl-project/sglang, creato a gennaio 2024).
Tags
Liens utiles
Découvrir SGLang
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser SGLang.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale