Vai al contenuto principale
← Torna alle notizie

A Vilnius, un muro che ascolta: la pipeline LLM locale di un party con IA

Casi d'uso
Fonte:vania-novikau.me
Un esperimento creativo a Vilnius: un muro con microfoni e altoparlanti alimentato da un pipeline LLM che gira interamente in locale. I partecipanti parlano al muro e ricevono risposte generate su posto — niente cloud, niente server esterni.
Leggi l'articolo originale

Articoli correlati

Costi: locale vs API, fatto coi numeri

Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

La voce locale: da Whisper al text-to-speech

Come costruire una pipeline di voce completamente locale: trascrizione con Whisper, sintesi con Piper o Kokoro-82M, requisiti hardware e casi d'uso pratici.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale

NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🤖

OpenAI gpt-oss-20b

Modelli

Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.

🧭

OpenRouter

Inferenza

Gateway cloud per l'inferenza LLM: un unico endpoint API per centinaia di modelli (inclusi i MoE open-weight) con prezzi per token e routing automatico tra provider. Per Ling 3.1 Flash: 0,075 $/M input, 0,225 $/M output.

🎨

Qwen-Image 2.1

Modelli

Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.

🟠

Anthropic Claude

Inferenza

API di inferenza per i modelli Claude di Anthropic (Claude 1 dal 2023). Come OpenAI si paga al token, in ingresso e in uscita, con limiti di richiesta per piano: la via frontier senza server propri.

Sfoglia tutte le risorse