Glossario IA Locale
Termini e definizioni dell'intelligenza artificiale locale, modelli open source e computing.
3 termini in tecnologie
Compute Unified Device Architecture: lo stack di programmazione GPU di NVIDIA — librerie, compilatore e runtime che fanno girare l'inferenza dei modelli sui GPU NVIDIA. È il backend di default di Ollama e llama.cpp su hardware NVIDIA: le ottimizzazioni (Flash Attention, kernel quantizzati, formati FP4) arrivano prima su CUDA che su qualsiasi altra piattaforma.
Radeon DNA: l'architettura GPU consumer di AMD. RDNA 3 (serie RX 7000) e RDNA 4 (serie RX 9000) sono le famiglie supportate ufficialmente da ROCm 7 su Linux per l'IA locale, con Ollama e llama.cpp e senza workaround: le identificativi di GPU sono gfx1100 per RDNA 3 e gfx1200/gfx1201 per RDNA 4.
API cross-platform di Khronos per la programmazione GPU, nata per il gaming ma diventata il percorso aperto per l'IA locale: Ollama e llama.cpp la supportano nativamente su Windows, Linux e macOS (tramite MoltenVK), su NVIDIA, AMD e Intel senza driver proprietari. Meno ottimizzata di CUDA per l'inferenza — di solito il 70-90% della velocità del percorso nativo — ma è l'unico stack che funziona su praticamente ogni scheda, ed è il percorso mantenuto per i GPU Intel Arc da quando IPEX-LLM è stato archiviato.