Strumenti, framework e modelli per l'IA locale
6 risorse trovate per "Local"
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Strumento open source per eseguire LLM localmente con semplicità.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
