Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Torna alle risorse
Inferenza⚡
ML Drift
Motore di inferenza GPU on-device open source (Apache 2.0) di Google, successore del delegate GPU di TensorFlow Lite: tensor virtualization, KV cache stage-aware per prefill e decode, FP16/INT8/INT4. Backend OpenCL (Android), Metal (Apple), WebGPU via Dawn (browser), OpenGL ES 3.1+. Si integra con LiteRT; in produzione su Chrome, YouTube, Photos e Meet.
Caratteristiche
- Apache 2.0
- Tensor virtualization
- KV cache stage-aware (prefill/decode)
- FP16 / INT8 / INT4
- Backend OpenCL, Metal, WebGPU (Dawn), OpenGL ES 3.1+
Tag
Link Utili
Scopri ML Drift
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare ML Drift.
Risorse Correlate — Inferenza
Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Inferenza🗣️
Piper TTS
Pubblicato il 1 apr 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale