Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Inferenza⚡
SGLang
Pubblicato il 18 gen 2024
Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.
Caratteristiche
- RadixAttention
- Continuous batching
- Decodifica speculativa (MTP/EAGLE/draft/ngram)
- Multi-GPU
- API OpenAI
- Serving ad alto throughput
Cronologia delle versioni
- v0.1.5Attuale
Prima release pubblica di SGLang sul repository GitHub (sgl-project/sglang, creato a gennaio 2024).
Tag
Link Utili
Scopri SGLang
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare SGLang.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale