Inferenza☁️
Inferenza cloud
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Risorse
Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "Go"
Strumenti, framework e modelli per l'IA locale
3 risorse trovate per "Go"
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Motore di inferenza GPU on-device open source (Apache 2.0) di Google, successore del delegate GPU di TensorFlow Lite: tensor virtualization, KV cache stage-aware per prefill e decode, FP16/INT8/INT4. Backend OpenCL (Android), Metal (Apple), WebGPU via Dawn (browser), OpenGL ES 3.1+. Si integra con LiteRT; in produzione su Chrome, YouTube, Photos e Meet.
Motore di inferenza open source in Go puro che incorpora llama.cpp in-process via purego/ffi (senza CGo). Legge i modelli GGUF e gira su CUDA, Metal, Vulkan, OpenVINO e WebGPU in browser. Copre circa il 96% della funzionalità di llama.cpp; server opzionale con API compatibile OpenAI.