Backburner: l'offloading su iPhone per LLM locali più veloci
On-device e edgeArticoli correlati
GPU o CPU: quando la CPU basta
Serve davvero una GPU per l'IA locale? Per molti usi no: come funzionano prefill e decode, cosa conta (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo sul tuo hardware.
Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.