Il modello locale risponde a raffica? La colpa è spesso del chat template
Strumenti e rilasciArticoli correlati
GGUF: il formato che fa stare i modelli sul tuo hardware
Apriamo la scatola: cosa c'è davvero dentro un file .gguf, perché è un solo file, come si legge il nome e come scegliere la dimensione per la tua VRAM, con i numeri reali di un modello 8B.
Da dove imparano i modelli locali: i pesi aperti spiegati senza fuffa
Il modello non si aggancia a internet per le capacità: le ha assorbite una volta al pre-training e le esegue sul tuo hardware. Pesi aperti non è dati aperti, e i modelli vengono da molti lab, non da uno solo.
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.