Inference⚡
llama.cpp
Released Oct 15, 2022
C++ implementation of LLMs for efficient inference on consumer CPUs and GPUs.
LLMC++LocalEfficient
Back to resources
Ollama
Released on Jul 27, 2023
Open source tool to run LLMs locally with simplicity.
Features
- Local-first
- Model library
- Simple CLI
- REST API
- CPU-only inference
Version history
- v0.35.0Latest
Aggiunge il supporto ai modelli di decisione in stile Jev (API TypeSafe) con l'endpoint /v1/systemone: risposte strutturate con probabilità per opzione, pensate per triage, routing e moderazione a bassa latenza.
- v0.34.4
Output strutturati su modelli con thinking in un unico passaggio; corregge gli errori 'model not found' con librerie locali grandi; Qwen 3.8 più rapido su Apple Silicon.
- v0.34.3
Pubblica i controlli thinking per modello via GET /api/show e CLI; supporta i modelli visivi Nemotron H su Apple Silicon con MLX; corregge il pull da Hugging Face.
Tags
Useful links
Discover Ollama
Visit the official site to download, learn more and start using Ollama.
Related resources — Inference
Inference🗣️
Piper TTS
Released Apr 1, 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inference🚀
vLLM
Released Jun 13, 2023v0.30.0
High-throughput LLM serving with PagedAttention and hardware optimizations.
LLMServingGPUHigh-throughput