Outils, frameworks et modèles pour l'IA locale
3 ressources trouvées pour "Vulkan"
Intel : les GPU Arc (Xe) sont la troisième plateforme grand public pour l'IA locale, avec 12-16 Go de VRAM à prix d'entrée. La voie d'inférence maintenue est Vulkan (Ollama natif, llama.cpp) : le projet IPEX-LLM a été archivé en janvier 2026. Les GPU du catalogue sont les ressources filles.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
