Google rilascia ML Drift, motore di inferenza GPU on-device open source
On-device e edgeArticoli correlati
Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.
GPU o CPU: quando la CPU basta
Serve davvero una GPU per l'IA locale? Per molti usi no: come funzionano prefill e decode, cosa conta (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo sul tuo hardware.
vLLM: servire modelli veloci
vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti (throughput, quantizzazione, KV cache) per scegliere quando usarlo al posto di Ollama.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.