vLLM v0.31.0rc3: support per input dummy randomizzati nel Model Runner V2
Hardware e acceleratoriArticoli correlati
vLLM: servire modelli veloci
vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti (throughput, quantizzazione, KV cache) per scegliere quando usarlo al posto di Ollama.
Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.
Le schede Blackwell da 16GB: 5060 Ti, 5070, 5070 Ti
Il tier da 16GB di VRAM è il centro di gravità dell'IA locale nel 2026. È la memoria sufficiente per far girare i migliori modelli densi open nei formati Q4 — la classe 27B, il nuovo punto d'equilibrio del catalogo aperto — senza sacrificare troppo contesto, e un prezzo di listino che (a seconda del mese) resta alla portata di un budget personale. La generazione Blackwell offre tre schede esattamente in mezzo a questo tier: RTX 5060 Ti, 5070 e 5070 Ti. Stessa generazione, stessa GDDR7, tre esperienze molto diverse. Oggi le confrontiamo: cosa ti porta realmente ciascuna, e dove va il tuo budget.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.