Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
7 articoli trovati per "rag"
Yzma: embedding fino a 2,6x più veloci di Ollama, il confronto
Yzma chiama llama.cpp dentro al processo: niente server, niente round trip. Su embedding è 2,6x più rapido di Ollama — con i numeri, il calcolo e il setup.
Text-to-SQL locale: interrogare il database aziendale senza spedire i dati in cloud
Modello in locale, schema al modello, esecuzione sul tuo database: il text-to-SQL in casa, numeri dal benchmark ARCS e dove si rompe davvero.
gpt-oss: il modello di ragionamento open di OpenAI
21B di parametri totali ma solo 3,6B attivi, pesi nativi in MXFP4 e 128K di contesto: il primo modello di ragionamento open di OpenAI sta in 16GB. Cosa significa in pratica.
Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).
RAG: fai domande ai tuoi documenti
RAG, Retrieval Augmented Generation, è il modo più semplice per far rispondere un modello locale a domande sui tuoi documenti: embedding, database vettoriale e ciclo di recupero.
IA locale per la tua attività: 5 casi d'uso pratici
Cinque casi d'uso pratici dell'IA locale per le aziende: supporto clienti, documenti, ricerca interna, CRM e generazione — con i tool, l'hardware minimo e un piano di start in 30 minuti.
Open WebUI: l'interfaccia per la tua IA locale
Open WebUI è l'interfaccia web completa per i tuoi modelli locali: installazione Docker, connessione a Ollama, personalizzazione per modello, RAG con documenti e limiti onesti.