LoRA

Low-Rank Adaptation. Tecnica di fine-tuning efficiente che aggiorna solo una piccola frazione dei pesi del modello invece di tutti i parametri. LoRA permette di addestrare un modello 7B su una singola GPU consumer, generando file di adattamento di pochi MB invece di gigabyte.