Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022di Motori di inferenza
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Software⚙️
Motori di inferenza
I runtime che fanno girare i modelli locali sul tuo hardware: Ollama per la semplicità, llama.cpp per la portabilità, vLLM per il throughput di produzione. I motori nel catalogo sono le risorse figlie.
Caratteristiche
- Supporto CPU, CUDA, ROCm, Metal, NPU
- Quantizzazione GGUF e AWQ
- API locali compatibili OpenAI
Risorse di Motori di inferenza
Inferenza🦙
Inferenza🗣️
Piper TTS
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale
Inferenza🚀
vLLM
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
LLMServingGPUHigh-throughput
Inferenza🎙️
whisper.cpp
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
AudioTrascrizioneOpen SourceLocale
Tag
Scopri Motori di inferenza
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Motori di inferenza.
Risorse Correlate — Software
Software🧩
ComfyUI
Pubblicato il 20 nov 2023v0.40.0
Il workflow visuale a nodi per modelli di diffusione: lo standard per SDXL, FLUX, video e audio. Massima flessibilità, dalla semplice alla pipeline professionale.
SoftwareDiffusionOpen Source
Software🖼️
Fooocus
Pubblicato il 9 ago 20232.5.5
Generazione di immagini SDXL in un clic, in stile Midjourney: zero parametri da gestire. La via più semplice per produrre immagini di qualità.
SoftwareImmaginiSemplice
Software💻
LM Studio
Pubblicato il 15 giu 20231.0.0 (Bionic)
App desktop senza terminale per scaricare ed eseguire modelli GGUF: interfaccia grafica, ricerca modelli integrata e server locale. La via più semplice per iniziare.
SoftwareDesktopGGUF