Vai al contenuto principale
← Torna alle notizie

TACO: ottimizzatore ternario che riduce di 174x la memoria per il fine-tuning

Ricerca
Fonte:arXiv
I ricercatori dell'University of Central Florida propongono TACO, un ottimizzatore ternario one-sparse per colonna per il Fine-tuning degli LLM: mantiene i gradienti di primo ordine riducendo lo stato persistente dell'ottimizzatore da 27,7 GB a 0,16 GB su OPT-13B.
Leggi l'articolo originale

Articoli correlati

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Da zero al primo modello che risponde: cosa ti serve davvero, Ollama passo per passo, come scegliere il modello per la tua memoria, la velocità attesa per hardware e i problemi tipici con le soluzioni.

KV cache: perché la RAM serve più del solo modello

Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.

Fine-tuning: adattare un modello ai tuoi dati con LoRA e QLoRA

Quando il prompt e il RAG non bastano: adatti i pesi del modello ai tuoi dati. LoRA, QLoRA, preparazione del dataset e strumenti locali (LLaMA-Factory, Unsloth, MLX) su una sola GPU consumer.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🌱

Bonsai-2 27B

Modelli

Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).

⚡

DeepSeek V4.1 Flash

Modelli

Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.

💎

Gemma 3

Modelli

Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.

💎

Gemma 3 4B

Modelli

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

Sfoglia tutte le risorse