Vai al contenuto principale
← Torna alle notizie

Cost-Aware Abstention: su 47.837 ticket IT, un classificatore TF-IDF con soglia batte i LLM sul costo

Ricerca
Fonte:arXiv
Paper su corpus pubblico di 47.837 ticket e 8 classi: con un modello di costo illustrativo (ok 0, triage umano 1, routing sbagliato 5), TF-IDF con regressione logistica e soglia 0,60 è la policy che minimizza il costo — il modello di costo condiziona la scelta della policy più che la potenza del classificatore.
Leggi l'articolo originale

Articoli correlati

Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware

Dalla 3.1 8B alla 4 Scout MoE con contesto da 10M: la famiglia Llama in tabella, cosa gira su 16, 48 e 128 GB di RAM, la licenza Community tradotta per l'azienda italiana e la scelta per budget.

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Da zero al primo modello che risponde: cosa ti serve davvero, Ollama passo per passo, come scegliere il modello per la tua memoria, la velocità attesa per hardware e i problemi tipici con le soluzioni.

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi

Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🌱

Bonsai-2 27B

Modelli

Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).

⚡

DeepSeek V4.1 Flash

Modelli

Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.

💎

Gemma 3

Modelli

Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.

💎

Gemma 3 4B

Modelli

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

Sfoglia tutte le risorse