Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Inferenza
Yzma
Motore di inferenza open source in Go puro che incorpora llama.cpp in-process via purego/ffi (senza CGo). Legge i modelli GGUF e gira su CUDA, Metal, Vulkan, OpenVINO e WebGPU in browser. Copre circa il 96% della funzionalità di llama.cpp; server opzionale con API compatibile OpenAI.
Caratteristiche
- In-process llama.cpp
- GGUF
- OpenAI-compatible server
- WebGPU
Cronologia delle versioni
- 1.30.0Attuale
Version usata nei benchmark di riferimento pubblicati sul sito del progetto: embedding bge-small a 1,7 ms contro 4,5 ms di Ollama 0.40.5.
Tag
Link Utili
Scopri Yzma
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Yzma.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale