llama.cpp b11717: Hadamard per i quantizzati Q1_0 e Q2_0 su NPU Snapdragon
Hardware e acceleratoriArticoli correlati
KV cache: perché la RAM serve più del solo modello
Cos'è la KV cache, la formula per calcolarla con i numeri di Llama 3.1 8B e Qwen3 8B, e le tre leve per gestirla: contesto, quantizzazione e flash attention.
Llama 3 e Llama 4: la famiglia open di Meta, quale modello gira sul vostro hardware
Dalla 3.1 8B alla 4 Scout MoE con contesto da 10M: la famiglia Llama in tabella, cosa gira su 16, 48 e 128 GB di RAM, la licenza Community tradotta per l'azienda italiana e la scelta per budget.
Quanto costa un token: cinque strade, i conti e il punto di pareggio
Frontier API, abbonamento, provider di inferenza, GPU in noleggio o hardware tuo: cinque strade per generare token, coi costi reali al mese, il conto della corrente e il punto di pareggio calcolato.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.