Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
vLLM
Publié le 13 juin 2023
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
Caractéristiques
- PagedAttention
- Batching continu
- Multi-GPU
- API OpenAI
- Mise en cache des préfixes
- Préremplissage fractionné
Historique des versions
- v0.30.0Actuelle
Aggiunge supporto a DeepSeek-V4.1-Flash, GLM-5.3-Flash e altri modelli, insieme alla feature Fast Start con cache pesi persistente in GPU.
- v0.14.0
Abilita di default l'asynchronous scheduling, che sovrappone scheduling e esecuzione GPU migliorando il throughput.
- v0.8.0
Attiva di default il nuovo motore V1 per gli scenari supportati, con miglioramenti di prestazioni e metriche.
- v0.6.0
Raggiunge circa il doppio del throughput rispetto a v0.5.3 con lo scheduler a più passi e l'output processor asincrono.
- v0.5.0
Aggiunge il supporto alla quantizzazione FP8 e l'API Vision di OpenAI per i modelli LLaVA.
- v0.4.0
Introduce la cache automatica del prefisso (automatic prefix caching) e il primo modello vision LLaVA.
- v0.2.0
Porta fino al 60% di miglioramento delle prestazioni e aggiunge il supporto iniziale ad AWQ e a Mistral-7B.
- v0.1.0
Prima release ufficiale di vLLM, motore di inferenza ad alto throughput basato su PagedAttention.
Tags
Liens utiles
Découvrir vLLM
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser vLLM.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale