Glossario IA Locale
Termini e definizioni dell'intelligenza artificiale locale, modelli open source e computing.
8 termini in Hardware
La famiglia di chip Apple (M1, M2, M3, M4 e successivi) che equipaggia i Mac dal 2020. Per l'IA locale è rilevante la memoria unificata condivisa tra CPU e GPU: un Mac con 32 GB può eseguire modelli che su un PC richiederebbero una GPU dedicata.
Banda di memoria (GB/s). La velocità con cui la GPU legge i pesi del modello dalla VRAM. È il fattore che limita la velocità di generazione dei token: a parità di modello, una scheda con banda più alta produce più token al secondo. Si misura in GB al secondo ed è indicata nelle specifiche ufficiali di ogni scheda.
Unità di elaborazione grafica. Per l'IA locale la GPU è il componente che accelera l'inferenza: la memoria video (VRAM) determina quanto modello si può eseguire. Le GPU Apple, integrate in Apple Silicon, lavorano sulla memoria unificata invece che su VRAM separata.
Pool di memoria unico e condiviso tra CPU e GPU, in cui tutti i core leggono e scrivono la stessa memoria senza copie. È il modello dei sistemi NVIDIA basati su Grace (ad esempio i 748GB del DGX Station) e della memoria unificata Apple: il modello di LLM vive in un unico posto e non va copiato tra RAM e VRAM.
Non-Uniform Memory Access: architettura dei sistemi multi-socket in cui ogni CPU accede alla propria memoria locale più velocemente di quella dell'altro socket. I server di inferenza dovrebbero fissare i thread su un singolo nodo NUMA, altrimenti la prestazione scende fino al 30%.
La memoria principale del computer, usata dalla CPU per i programmi e — in assenza di GPU — per caricare i pesi dei modelli. Nell'inferenza su CPU, la quantità di RAM determina quali modelli si possono caricare e la sua banda di memoria determina la velocità di generazione.
Classe di istruzioni CPU che elabora più elementi di dati con un'operazione singola (AVX, AVX-512, NEON, AMX). È la ragione per cui le CPU moderne eseguono i modelli quantizzati a velocità usabili: la stessa operazione aritmetica si applica a 8 o 16 numeri alla volta.
Video RAM. La memoria dedicata della scheda grafica (GPU). È la risorsa critica per l'inferenza locale: un modello 7B quantizzato a 4-bit richiede circa 5 GB di VRAM, un modello 13B circa 9 GB. Quando la VRAM non è sufficiente, il sistema può usare la RAM di sistema, ma con prestazioni ridotte.