Un modello di decisione da 11,4 MB con pesi aperti: la System-1 per dispositivi
Modelli decisionaliArticoli correlati
Modello senza GPU: quando la CPU basta davvero
Nel 2026 l'inferenza su sola CPU non è più un ripiego: quando funziona davvero, a quale velocità arrivare e quali leve tirare per strizzare al massimo il processore.
Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi
Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.