Glossario IA Locale

Piccolo file di pesi addestrati (matrici di rango basso) che si aggiunge al modello base senza modificarlo: di pochi MB, si carica e si rimuove a piacere, e lo stesso modello può portare più adattatori per comportamenti diversi.

Processo di addestramento aggiuntivo su un modello pre-addestrato, usando un dataset specifico per specializzarlo in un compito particolare. Ad esempio, si può fare il fine-tuning di Llama 7B con documenti legali per creare un modello esperto in diritto. Tecniche popolari includono LoRA e QLoRA.

Low-Rank Adaptation. Tecnica di fine-tuning efficiente che aggiorna solo una piccola frazione dei pesi del modello invece di tutti i parametri. LoRA permette di addestrare un modello 7B su una singola GPU consumer, generando file di adattamento di pochi MB invece di gigabyte.

Parameter-Efficient Fine-Tuning. Famiglia di tecniche che addestra una piccola frazione dei parametri del modello (LoRA, adattatori, prompt learnable) invece di tutti i pesi, riducendo memoria e tempo di addestramento.

Quantized Low-Rank Adaptation. Variante di LoRA che quantizza il modello base a 4 bit (NF4) prima dell'addestramento: consente di adattare modelli fino a 65B su una singola GPU da 48 GB, con adattatori di pochi MB.