Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Ollama
Publié le 27 juil. 2023
Outil open source pour exécuter des LLM en local, simplement.
Caractéristiques
- Local d'abord
- Bibliothèque de modèles
- CLI simple
- API REST
- Inférence CPU uniquement
Historique des versions
- v0.35.0Actuelle
Aggiunge il supporto ai modelli di decisione in stile Jev (API TypeSafe) con l'endpoint /v1/systemone: risposte strutturate con probabilità per opzione, pensate per triage, routing e moderazione a bassa latenza.
- v0.34.4
Output strutturati su modelli con thinking in un unico passaggio; corregge gli errori 'model not found' con librerie locali grandi; Qwen 3.8 più rapido su Apple Silicon.
- v0.34.3
Pubblica i controlli thinking per modello via GET /api/show e CLI; supporta i modelli visivi Nemotron H su Apple Silicon con MLX; corregge il pull da Hugging Face.
Tags
Liens utiles
Découvrir Ollama
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Ollama.
Ressources liées — Inférence
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inférence🚀
vLLM
Publié le 13 juin 2023v0.30.0
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
LLMServingGPUHigh-throughput