Vai al contenuto principale
← Torna alle notizie

PaLoRA: adattamento a rango basso a passo modulato per l'apprendimento continuo

Ricerca
Fonte:Hugging Face
Il paper PaLoRA mostra che la restrizione del passo nei metodi LoRA per l'apprendimento continuo dovrebbe crescere con il rango effettivo della conoscenza accumulata, e propone un ritmo adattivo che porta +4% di accuratezza su Benchmark a 50 task.
Leggi l'articolo originale

Articoli correlati

Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA

Quando il prompt e il RAG non bastano: adatti i pesi del modello ai tuoi dati. LoRA, QLoRA, preparazione del dataset e strumenti locali (LLaMA-Factory, Unsloth, MLX) su una sola GPU consumer.

L'italiano nei modelli locali: cosa aspettarsi

Quanti modelli locali reggono davvero l'italiano? I numeri dei vendor, dove sbagliano, e il metodo in mezz'ora per misurarli tu stesso.

Ollama vs llama.cpp: sotto il cofano

Ollama usa llama.cpp sotto il cofano, ma non è la stessa cosa: uno è il motore, l'altro la macchina. Cosa c'è davvero sotto, quando la differenza conta e come scegliere senza slogan.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🏭

LLaMA-Factory

Framework

Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).

🪓

Unsloth

Framework

Framework di fine-tuning ottimizzato per GPU NVIDIA e Apple Silicon: matrici custom in CUDA che riducono l'uso di memoria e raddoppiano la velocità di addestramento rispetto ai metodi standard. Supporta LLM e modelli di diffusione.

Sfoglia tutte le risorse