Vai al contenuto principale
← Torna alle notizie

LLMspeed: prova quanto sarà veloce il tuo modello locale prima di acquistarlo

Strumenti e rilasci
Fonte:Hacker News
LLMspeed è un tool Open Source (showcase Hacker News) che stima la velocità di Inferenza di oltre 250 combinazioni modello/hardware: RTX 3060 a H100, Mac Studio M5 Ultra, CPU-only. Le stime misurate vengono da Benchmark della community (r/LocalLLaMA, localscore.ai), le altre sono derivate da configurazioni simili o proiettate dalle specifiche. Utile per decidere l'hardware prima di spendere.
Leggi l'articolo originale

Articoli correlati

GPU o CPU: quando la CPU basta

Serve davvero una GPU per l'IA locale? Per molti usi no: come funzionano prefill e decode, cosa conta (la banda di memoria), i numeri reali su un notebook comune, i casi in cui la CPU basta e quando serve la VRAM — con i comandi per misurarlo sul tuo hardware.

Mac Studio M5 Ultra: 512GB di memoria unificata sul desktop

Quattro die, 512GB di memoria unificata a 1,2 TB/s: il Mac Studio M5 Ultra porta i modelli MoE da 100 a 560B in locale. I conti sulla velocità, il confronto di costo con la DGX Station e quando il Mac è la scelta giusta.

Memoria unificata: da Strix Halo a Mac Studio M5 Ultra, quanto ci sta e a che velocità

128GB o 512GB di memoria condivisa tra CPU e GPU: tre piattaforme reali, la banda passante che decide la velocità, e i conti su cosa ci sta dentro e per chi ha senso.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🖥️

NVIDIA RTX 3060 12GB

Hardware

La GPU consumer più accessibile con 12GB di VRAM: il punto d'ingresso per l'inferenza locale. Esegue con margine i modelli da 7-8B quantizzati.

🍓

Raspberry Pi 5

Hardware

SBC con CPU ARM Cortex-A76 a 8 core e 2–16 GB di RAM: il riferimento per l'apprendimento e per l'esecuzione di piccoli modelli di IA locale in inferenza CPU.

⚡

LLMspeed

Software

Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.

🖥️

Mac Studio (M5 Ultra)

Hardware

Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.

Sfoglia tutte le risorse