Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
4 articoli trovati per "inferenza"

ML Drift: il motore GPU on-device open source di Google, e quando batte i generalisti
Il motore che fa girare i modelli dentro Chrome e YouTube, ora è open source: architettura, numeri di benchmark e il confronto onesto con Ollama e llama.cpp.

Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.

NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere
CUDA, ROCm o Vulkan? Confrontiamo le tre piattaforme per l'IA locale sulla base di ciò che è davvero disponibile: stack software ufficiali, schede per fascia di VRAM (12, 16 e 24GB) e velocità reali. Dove resta la scelta ovvia, dove AMD batte per rapporto qualità-prezzo e quando ha senso uscire da NVIDIA.

Ollama vs llama.cpp: sotto il cofano
Ollama usa llama.cpp sotto il cofano, ma non è la stessa cosa: uno è il motore, l'altro la macchina. Cosa c'è davvero sotto, quando la differenza conta e come scegliere senza slogan.

