WUSH-KV: quantizzazione della KV cache con trasformazioni adattive ai dati
RicercaFonte:arXiv
Un nuovo metodo, WUSH-KV, riduce la memoria e la banda occupate dalla KV cache per l'Inferenza a lungo contesto, quantizzandola a bassa precisione con trasformazioni calibrate sui dati. A 2 bit, l'approccio eguaglia o supera la trasformazione OSCAR su tutti i modelli e i task testati. È il segno che l'ottimizzazione della memoria non riguarda più solo i pesi, ma anche la memoria di contesto.
Articoli correlati
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
Come leggere le specifiche di un modello: famiglia, dimensione, contesto
Famiglia, parametri, contesto, quantizzazione, benchmark e licenza: come decodificare la scheda tecnica di un modello di IA e scegliere bene.
Quantizzazione: ottenere di più dallo stesso hardware
Cos'è la quantizzazione, i livelli Q4/Q5/Q8 e come scegliere quello giusto per la tua VRAM, con un esempio concreto su Qwen2.5 14B.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.