Glossario IA Locale

Famiglia di schemi di attenzione (DeltaNet, Gated DeltaNet, Mamba, ecc.) che sostituisce la KV cache a crescita lineare con uno stato ricorrente di dimensione fissa, riducendo drasticamente la memoria a lungo contesto. È la tecnica alla base dei modelli a attenzione ibrida come Qwen3.8-27B.

Biblioteca tensoriale in C/C++ di cui è composto llama.cpp (dal nome GGML, il formato che l'ha resa nota). Definisce tensori, operazioni e backend — CPU, GPU, Apple Silicon — su cui corrono i modelli in inferenza locale. È il livello 'hardware' della dell'inferenza: sopra di essa stanno i runtime come Ollama e llama.cpp.

Schema di attenzione in cui più teste di query condividono lo stesso gruppo di matrici Key e Value, riducendo il numero di teste_KV rispetto al MHA. Abbassa il costo e la velocità di accesso alla memoria durante il decode, con un compromesso di qualità minimo.

Architettura dei chip Apple Silicon in cui CPU e GPU condividono lo stesso pool di RAM. Per l'IA locale significa che tutto il modello può risiedere in quella RAM senza copiare dati tra memoria di sistema e memoria video.

Architettura di modello in cui il modello conta molti miliardi di parametri in totale, ma per ogni token ne attiva solo una piccola sottoinsieme (gli 'experts' selezionati dal router). Il risultato è la qualità di un modello grande con la velocità e il costo di calcolo di uno piccolo. Esempio: Qwen3 30B-A3B ha 30,5B di parametri totali ma ne usa solo 3,3B per token. Il prezzo è che tutto il peso del modello va comunque caricato in memoria.

Funzione introdotta in Qwen3 in cui il modello può generare un lungo passo di ragionamento intermedio prima di produrre la risposta finale. Migliora la qualità su problemi logici, matematici e di pianificazione, al costo di più token (e quindi più tempo e memoria) per ogni risposta. Può essere attivata o disattivata, e in Qwen3 il modello decide anche da solo se ragionare.

Retrieval Augmented Generation. Architettura che combina un modello linguistico con un sistema di ricerca documenti. Invece di affidarsi solo alla conoscenza del modello, il sistema recupera documenti rilevanti da una base dati prima di generare la risposta. Questo riduce le allucinazioni e rende il sistema aggiornabile senza riaddestramento.

La fase di un sistema RAG in cui, a partire dalla domanda dell'utente, il sistema cerca nella base vettoriale i blocchi di testo più simili e li aggiunge al prompt. La qualità del recupero è il fattore che determina la qualità della risposta finale.

Architettura di rete neurale introdotta nel 2017 (Attention Is All You Need) che rivoluzionò il NLP. A differenza delle reti ricorrenti, i Transformer usano l'attenzione per processare l'intero input simultaneamente. Tutti gli LLM moderni (GPT, Llama, Mistral, Claude) si basano su questa architettura.

Tecnologia Apple che unisce due die M5 Max in un unico chip M5 Ultra, presentandoli al sistema come un solo processore. La memoria unificata dei due die forma un pool unico (fino a 512GB) accessibile da CPU, GPU e Neural Acceleratori.

Voiced Language Model with a Varying-rate adversarial (VITS): architettura neurale per la sintesi vocale che genera la forma d'onda direttamente dal testo senza un vocoder separato. È alla base di Piper e Kokoro-82M.