Glossario IA Locale

La seconda fase di inferenza: il modello genera la risposta un token alla volta. Ogni token richiede di rileggere tutti i pesi del modello e il KV cache dalla memoria, per cui la velocità (token/secondo) è determinata soprattutto dalla banda di memoria.

Famiglia di modelli linguistici open di Google DeepMind, costruita sulla stessa tecnologia della serie Gemini. Le taglie spaziano da 1B a 27B parametri; Gemma 3 aggiunge contesto di 128K token, oltre 140 lingue e input multimediali, mentre Gemma 4 (2026) passa alla licenza Apache 2.0.

Il processo in cui un modello addestrato viene utilizzato per generare risposte o fare previsioni su nuovi dati. Nell'IA locale, l'inferenza avviene sul tuo computer invece che su server remoti. Questo garantisce privacy e tempi di risposta costanti senza dipendere da connessioni internet.

Famiglia di modelli LLM open source di Meta. Llama 3 è la generazione corrente, con versioni da 8B e 70B parametri. Llama è uno dei modelli più usati al mondo per l'IA locale, con ampia compatibilità con Ollama, llama.cpp e la maggior parte dei framework di inferenza.

Large Language Model. Un modello di intelligenza artificiale addestrato su enormi quantità di testo, capace di comprendere e generare linguaggio umano. Gli LLM come Llama, Mistral e GPT sono alla base di chatbot, assistenti virtuali e strumenti di scrittura automatica.

Famiglia di modelli LLM open source sviluppati da Mistral, azienda francese. Mistral 7B e Mixtral sono tra i modelli più popolari per l'inferenza locale grazie al loro rapporto qualità/prestazioni. Sono disponibili su Hugging Face e supportati da Ollama, llama.cpp e altri tool.

Modelli di IA piccoli e veloci progettati per rispondere a domande a scelta multipla con un'etichetta strutturata e una probabilità per opzione, invece di generare testo libero. Il nome viene da Jev, l'acronimo che identifica questa classe di modelli. Sono pensati per triage, routing, classificazione e moderazione a bassa latenza: dove un grande LLM genererebbe un paragrafo, un modello di decisione restituisce l'opzione e il grado di confidenza.

Un modello in cui ogni token attraversa tutti i parametri: non c'è selezione di esperti, tutta la capacità è attiva a ogni passo. Più pesante da decodare di un MoE di dimensioni totali comparabili, ma senza routing degli expert. Esempio: Qwen3.8-27B.

Modello che, dato uno stato e una domanda tipizzata (sì/no, scelta tra opzioni, punteggio), restituisce una distribuzione di probabilità sulle opzioni in un solo passaggio, senza generare token. È il "System 1" dell'IA: rapido e calibrato, usato per routing, classificazione e controllo qualità, al posto di un LLM generativo quando non serve scrivere.

Modelli linguistici di massima scala (serie GPT di OpenAI, Claude di Anthropic, ecc.) che oggi si possono usare quasi sempre solo tramite API a pagamento: i prezzi più bassi per token, ma con dipendenza dal provider e limiti di invio.

Versione di un modello adattata alla conversazione: capisce le istruzioni e risponde in modo diretto, riconoscibile dal suffisso "instruct" o "-it". Il modello base, senza questo addestramento, è un completatore puro di testo usato per il fine-tuning.

La prima fase di inferenza, in cui il modello elabora il prompt in ingresso (tutti i token) in una sola passata. Determina il tempo al primo token: quasi istantaneo su GPU, può richiedere alcuni secondi su CPU per prompt lunghi.

Un array multidimensionale di numeri: la matrice che forma ogni livello di un modello neurale (pesi, bias, embed). In un file GGUF ogni tensor ha nome, dimensioni, tipo e offset, e proprio l'allineamento e il tipo di ogni tensor determinano come il modello viene caricato e quanta memoria occupa.

Word Error Rate (tasso di errore a livello di parola): metrica standard per confrontare le trascrizioni. Si calcola confrontando il testo prodotto con la trascrizione di riferimento: meno errori per parola, più bassa è la metrica e migliore è il modello.