Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Ollama
Pubblicato il 27 lug 2023
Strumento open source per eseguire LLM localmente con semplicità.
Caratteristiche
- Local-first
- Model library
- Simple CLI
- REST API
- Inferenza solo CPU
Cronologia delle versioni
- v0.35.0Attuale
Aggiunge il supporto ai modelli di decisione in stile Jev (API TypeSafe) con l'endpoint /v1/systemone: risposte strutturate con probabilità per opzione, pensate per triage, routing e moderazione a bassa latenza.
- v0.34.4
Output strutturati su modelli con thinking in un unico passaggio; corregge gli errori 'model not found' con librerie locali grandi; Qwen 3.8 più rapido su Apple Silicon.
- v0.34.3
Pubblica i controlli thinking per modello via GET /api/show e CLI; supporta i modelli visivi Nemotron H su Apple Silicon con MLX; corregge il pull da Hugging Face.
Tag
Link Utili
Scopri Ollama
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Ollama.
Risorse Correlate — Inferenza
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inferenza🚀
vLLM
Pubblicato il 13 giu 2023v0.30.0
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
LLMServingGPUHigh-throughput