Outils, frameworks et modèles pour l'IA locale
3 ressources trouvées pour "Go"
Les plateformes cloud pour les modèles : des alternatives quand le matériel local ne suffit pas. Replicate et Runpod du catalogue sont les ressources filles.
Moteur d'inférence GPU on-device open source (Apache 2.0) de Google, successeur du délégué GPU de TensorFlow Lite : virtualisation des tenseurs, KV cache stage-aware pour prefill et decode, FP16/INT8/INT4. Backends OpenCL (Android), Metal (Apple), WebGPU via Dawn (navigateur), OpenGL ES 3.1+. S'intègre à LiteRT ; en production sur Chrome, YouTube, Photos et Meet.
Moteur d'inférence open source en Go pur qui incorpore llama.cpp dans le processus via purego/ffi (sans CGo). Lit les modèles GGUF et tourne sur CUDA, Metal, Vulkan, OpenVINO et WebGPU dans le navigateur. Couvre environ 96 % des fonctionnalités de llama.cpp ; serveur optionnel avec API compatible OpenAI.
