Strumenti, framework e modelli per l'IA locale
17 risorse trovate per "Audio"
Il workflow visuale a nodi per modelli di diffusione: lo standard per SDXL, FLUX, video e audio. Massima flessibilità, dalla semplice alla pipeline professionale.
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Modello compatto della famiglia Gemma 4 di Google: 8B di parametri totali, di cui 4,5B effettivi grazie agli embedding per livello (PLE). Contesto di 131K token, oltre 140 lingue, input testo+immagini e audio. La taglia di ingresso della famiglia Gemma 4 per l'uso locale su 8-16GB.
Libreria Python di Hugging Face per eseguire i pipeline dei modelli generativi: immagine, video e audio. È il modo standard per girare modelli come Qwen-Image in locale, con supporto CUDA e offload CPU per le GPU con meno memoria.
I modelli foundation per la generazione sincronizzata di video e audio di Kandinsky Lab: da un prompt genera clip video con audio allineato, pubblicata in open weight. Primo paper della giornata su Hugging Face (2026-10-06), con checkpoint e Spaces già disponibili.
Modello di sintesi vocale da 82M di parametri su architettura VITS, Apache-2.0 per i pesi, con voci in decine di lingue e qualità sorprendentemente alta per le dimensioni. Gira in modo efficiente anche solo su CPU.
Genera fino a 30 secondi di musica o effetti sonori da una descrizione testuale. Il modello musicale open di riferimento, leggero e versatile.
Modello di sintesi vocale multilingue di NVIDIA: 357M parametri, 12 lingue (italiano e francese inclusi), architettura encoder-decoder transformer. Compatto e pensato per esecuzione in locale a bassa latenza; pesi disponibili su Hugging Face.
Modello vocale end-to-end full-duplex da 11B: comprensione e generazione audio in un'unica architettura, senza stack in cascata ASR→LLM→TTS. Primo modello full-duplex open con tool calling durante la conversazione, risposte in ~450ms, interruzioni e turni naturali.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Runtime Swift/MLX per il riconoscimento vocale in streaming di Kyutai su Apple Silicon. Il checkpoint di riferimento è STT-1B (inglese e francese) in INT8/FP16, con encoder Mimi causale (32 codici audio ogni 80 ms). Supporta export INT4/INT8. Licenza dei pesi CC-BY-4.0.
Stability AI (Londra, Regno Unito): i modelli Stable Diffusion per la generazione di immagini, video e audio, open-weight con licenze permissive. I modelli Stable nel catalogo sono le risorse figlie.
Fino a 47 secondi di audio da testo: musica e effetti sonori di alta qualità. Ottimo per produzioni sonore e sound design locali.
App macOS di dettatura 100% locale: trascrizione con Whisper sul dispositivo e riscrittura con un LLM locale (Qwen) sulla GPU M-series. Il testo arriva nell'app target; nessun dato passa dal cloud.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
