Strumenti, framework e modelli per l'IA locale
133 risorse
Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.
Modello ultra-compatto di 0,5 miliardi di parametri. Si esegue su qualsiasi hardware, anche embedded: ideale per riepilugi leggeri e per dispositivi locali a bassissimo consumo.
Salito netto in ragionamento e qualità delle istruzioni rispetto agli 8B. Ottimo per coding, agent e stesura strutturata su GPU da 16GB o Mac con 32GB di RAM.
Qualità vicina ai modelli da 70B a una frazione della dimensione: il punto ideale per usi avanzati. Eccellente in italiano, codice e ragionamento. Richiede 24GB o più di VRAM.
Modello da 3 miliardi di parametri con ottimo supporto multilingue, incluso l'italiano. Buono equilibrio tra qualità e requisiti hardware per riepilugi e stesure.
Il modello dense aperto migliore della sua classe, con supporto multilingue di prim'ordine in italiano, francese e altre lingue europee. Richiede configurazioni da 48-80GB.
Modello Mixture-of-Experts: 30B di parametri totali ma solo 3,3B attivi per token. Velocità da modello piccolo con qualità da modello medio; il rapporto qualità/velocità migliore della sua classe.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
Modello di moderazione della sicurezza da 0,6B con classificatore a livello di token per la sorveglianza in tempo reale durante la generazione incrementale. Tre livelli di gravità (sicuro, controverso, non sicuro) e 119 lingue: piccolo e locale, ideale per filtrare gli output senza cloud.
Lo stato dell'arte dei modelli video aperti a 720p: qualità del movimento e coerenza tra i frame di livello professionale. Richiede 24GB o più di VRAM.
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
La GPU RDNA 4 di AMD: 16GB GDDR6 su bus 256-bit (640 GB/s), 64 CU, 304W. Con ROCm 7 la prima Radeon consumer con supporto ufficiale su Linux (gfx1201, senza workaround): ~92 tok/s su gpt-oss-20b, ~52 tok/s su Qwen 14B. Il 640 GB/s è il 43% in più della RTX 5060 Ti 16GB: la carta 16GB più veloce per modelli 9-20B, ma il 16GB non tiene un 27B dense.
La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.
Il chip Apple di fascia più alta: fino a 256GB di memoria unificata su Mac Studio. Il modo più semplice di eseguire modelli da 70B e oltre con la CPU e la GPU che condividono la stessa memoria.
Chip Apple Silicon con prestazioni eccezionali per sviluppo mobile e inferenza edge.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
Il modello di immagini aperto più avanzato: aderenza al prompt eccellente, anatomia solida e fine-tuning completo. Lo standard per chi fa serio.
Generazione in pochissimi step con qualità alta e ottimo rendering del testo. La versione distillata di FLUX, pensata per la velocità.
Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.
Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.
La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modello compatto della famiglia Gemma 4 di Google: 8B di parametri totali, di cui 4,5B effettivi grazie agli embedding per livello (PLE). Contesto di 131K token, oltre 140 lingue, input testo+immagini e audio. La taglia di ingresso della famiglia Gemma 4 per l'uso locale su 8-16GB.
Piattaforma API per eseguire modelli ML senza gestire infrastruttura.
Piattaforma serverless per deploy e scalatura automatica di modelli IA con GPU.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il modello open più grande di Meta: qualità da frontiera chiusa ma requisiti da datacenter. In pratica richiede multi-GPU ad alta VRAM o il cloud.
Modello open di livello frontiera con contesto da 131K token. Richiede 48-80GB di VRAM, un Mac con memoria unificata o una configurazione multi-GPU.
Il cavallo di battaglia locale per eccellenza: qualità solida, contesto da 131K token e un ecosistema di quantizzazioni GGUF immenso. La scelta standard per chat e assistenti.
Modello piccolo e veloce con contesto fino a 131K token. Punto di ingresso ideale per chat e riepilugi su hardware modesto, ottimo per smartphone e mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Il modello MoE compatto della famiglia Llama 4: 17B di parametri attivi su 109B totali (16 esperti). Licenza comunitaria Meta con uso libero sotto i 700 milioni di utenti mensili. Uno dei punti d'ingresso migliori della famiglia Llama 4.
Genera fino a 30 secondi di musica o effetti sonori da una descrizione testuale. Il modello musicale open di riferimento, leggero e versatile.
Modello da 7B veloce ed efficiente, ben tarato sui compiti multilingue europei. Ottima qualità di istruzioni a una frazione del costo dei modelli da 13B in poi.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Otto esperti da 7B con due attivi per token: 47B di parametri totali e ragionamento da modello grande a una frazione del costo di calcolo. Un classico del mondo open.
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
GPU datacenter da 80GB di HBM2e: lo standard per training e inferenza in datacenter. Richiede server dedicati e alimentazione enterprise.
La workstation desktop NVIDIA per l'IA locale: superchip Grace Blackwell GB10 con 128GB di memoria unificata a 273 GB/s e circa 1 petaFLOP in FP4. CUDA completo, ~12 tok/s su modelli 27B a 4 bit, prefill veloce su contesti lunghi. Prezzo al lancio 3.999 USD, poi 4.699 USD per la carenza di memoria.
Il GPU datacenter di fascia più alta con 80GB di HBM3: il top di gamma per training e inferenza di grandi modelli. Solo in configurazioni enterprise.
Modello vocale end-to-end full-duplex da 11B: comprensione e generazione audio in un'unica architettura, senza stack in cascata ASR→LLM→TTS. Primo modello full-duplex open con tool calling durante la conversazione, risposte in ~450ms, interruzioni e turni naturali.
La GPU consumer più accessibile con 12GB di VRAM: il punto d'ingresso per l'inferenza locale. Esegue con margine i modelli da 7-8B quantizzati.
24GB di VRAM a prezzi di mercato usato molto convenienti: il modo più economico di raggiungere 24GB per modelli da 30B. Produzione terminata.
16GB di VRAM a un prezzo entry-level: la scelta giusta per modelli da 13-14B quantizzati. Buona autonomia per uso personale.
16GB di VRAM con banda da 672 GB/s: prestazioni da fascia alta a prezzo contenuto. Tra le migliori per rapporto VRAM/prezzo.
La GPU consumer più potente al mondo per training locale e inferenza ad alta velocità.
Il 16GB d'ingresso della generazione Blackwell: GB206, 16GB GDDR7 a 448 GB/s, 180W, PCIe 5.0 x8. Lancio a 429 USD: il modo più economico di far girare Qwen3.8-27B e i modelli 30B+ in Q4 su una singola scheda. Prezzo street 2026 più alto per la carenza di GDDR7.
Blackwell GB205 di fascia media: 12GB GDDR7 su bus 192-bit (672 GB/s), 6.144 CUDA core, 250W. Supporto completo ai formati FP4/FP8 per l'inferenza. Lancio a 549 USD, marzo 2025.
Blackwell GB203 da fascia alta: 16GB GDDR7 su bus 256-bit (896 GB/s), 8.960 CUDA core, 300W. Il 16GB rende possibile Qwen3.8-27B o i modelli 30B+ in Q4 con contesto ampio. Lancio a 749 USD, febbraio 2025.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
Fino a 47 secondi di audio da testo: musica e effetti sonori di alta qualità. Ottimo per produzioni sonore e sound design locali.
Il classico del generazione di immagini: veloce, leggero e con l'ecosistema di LoRA e ControlNet più vasto in assoluto. Perfetto per GPU da 6-8GB.
Lo standard attuale per immagini fotorealiste e artistiche a 1024px. Migliore aderenza al prompt e composizioni più coerenti rispetto a SD 1.5.
Trasforma un'immagine in un breve clip video di circa 2 secondi. Il punto d'ingresso per la generazione video locale; 16GB di VRAM consigliati.
Il workflow visuale a nodi per modelli di diffusione: lo standard per SDXL, FLUX, video e audio. Massima flessibilità, dalla semplice alla pipeline professionale.
Generazione di immagini SDXL in un clic, in stile Midjourney: zero parametri da gestire. La via più semplice per produrre immagini di qualità.
App desktop senza terminale per scaricare ed eseguire modelli GGUF: interfaccia grafica, ricerca modelli integrata e server locale. La via più semplice per iniziare.
Interfaccia web completa in stile ChatGPT per Ollama e llama.cpp: account multi-utente, conversazioni organizzate, gestione documenti per RAG, prompt di sistema per modello, tool e plugin. In v0.11.4 (settembre 2026) i metadati dei file viaggiano con i blocchi recuperati e la ricerca ibrida gira nativamente nel database: le grandi basi di conoscenza sono molto più veloci. Il modo più semplice per trasformare la tua IA locale in un prodotto d'uso quotidiano.
Alibaba Group: i modelli Qwen sono tra i LLM open-weight più performanti al mondo, rilasciati con licenze permissive. I modelli Qwen nel catalogo sono le risorse figlie.
AMD: le GPU Radeon con architettura RDNA sono la seconda piattaforma consumer per l'IA locale. Da ROCm 7 le schede consumer (RX 7900 XTX, RX 9070 XT) hanno supporto ufficiale su Linux senza workaround, e l'APO Strix Halo porta fino a 128GB di memoria unificata in un portatile. Le GPU e le APU nel catalogo sono le risorse figlie.
Apple Inc. (Cupertino, USA): i chip Apple Silicon e i Mac con memoria unificata sono tra i riferimenti per l'IA locale su consumer hardware. I prodotti Apple nel catalogo sono le risorse figlie.
Black Forest Labs (Monaco di Baviera, Germania): i modelli FLUX, il punto di riferimento attuale per la generazione di immagini open di alta qualità. I modelli FLUX nel catalogo sono le risorse figlie.
DeepSeek (Shenzhen, Cina): i LLM open-weight più efficienti della loro classe, con l'enfasi sui MoE a bassa attivazione. DeepSeek V4.1-Flash porta 552B di parametri totali con ~8B attivi, 1M di contesto. I modelli nel catalogo sono le risorse figlie.
Google DeepMind: i modelli Gemma sono la linea open-weight di Google — compatti, multilingua e multimediali, con licenza permissiva. La famiglia Gemma 4 (2026) arriva a 256K di contesto. I modelli nel catalogo sono le risorse figlie.
Intel: le GPU Arc (Xe) sono la terza piattaforma consumer per l'IA locale, con 12-16GB di VRAM a prezzi d'ingresso. Il percorso di inferenza mantenuto è Vulkan (Ollama nativo, llama.cpp): il progetto IPEX-LLM è stato archiviato nel gennaio 2026. Le GPU nel catalogo sono le risorse figlie.
Meta Platforms: la famiglia Llama è la linea di LLM open-weight più diffusa al mondo, da 1B a 405B parametri, con licenza per uso commerciale. I modelli Llama nel catalogo sono le risorse figlie.
Mistral AI (Parigi, Francia): i LLM europei open-weight più efficienti, con licenze permissive e attenzione a privacy e localizzazione. I modelli Mistral nel catalogo sono le risorse figlie.
NVIDIA: le GPU con architettura CUDA sono lo standard de facto per l'inferenza IA locale. La VRAM determina quali modelli girano in locale: 24GB (RTX 4090) copre ~30B quantizzati, 80GB (A100/H100) i modelli 70B+ in precisione completa. Le GPU nel catalogo sono le risorse figlie.
OpenAI: oltre ai modelli cloud (GPT-5), la serie gpt-oss (2025) ha reso i suoi modelli di reasoning open-weight e gratuiti, in MXFP4 — i primi grandi modelli di reasoning eseguibili su un laptop. Whisper è lo standard open per la trascrizione vocale. I modelli nel catalogo sono le risorse figlie.
Stability AI (Londra, Regno Unito): i modelli Stable Diffusion per la generazione di immagini, video e audio, open-weight con licenze permissive. I modelli Stable nel catalogo sono le risorse figlie.
Il supercomputer desktop di NVIDIA basato su GB300 Grace Blackwell Ultra: fino a 748GB di memoria coerente, fino a 20 petaflop in FP4, CPU Grace a 72 core collegati via NVLink-C2C. Pensato per sviluppare ed eseguire agenti e modelli frontier-class al desk. Annunciato a GTC nel marzo 2025; versione per Windows annunciata il 1 giugno 2026 in arrivo a fine anno. Listino nell'ordine dei 99.000 USD.
SBC con CPU ARM Cortex-A76 a 8 core e 2–16 GB di RAM: il riferimento per l'apprendimento e per l'esecuzione di piccoli modelli di IA locale in inferenza CPU.
CLI di NVIDIA in Rust per lo sviluppo assistito da IA del kernel Linux, con focus sull'IA locale: validazione dei patch, build, boot e test, pensata per il backporting di patch su kernel più vecchi. Supporta back-end locali (Claude, OpenCode, Codex) o server OpenAI-compatibili. Licenza Apache 2.0, guidato da Andrea Righi.
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
Guida online che incrocia modelli open-weights e hardware reale: per ogni GPU, Mac e mini-PC mostra cosa gira, quanto spazio serve e a quanti token al secondo, con guide su quantizzazione e memoria. Lo strumento giusto per la via dell'hardware proprio.
Proxy open source che intercetta e mostra i contenuti delle richieste HTTPS in chiaro: lo strumento per verificare cosa parte davvero in rete dal tuo setup di IA locale.
App GTK4/libadwaita per GNOME per chattare con modelli locali via Ollama, in Rust e GPLv3: gestisce l'installazione di Ollama, i modelli, e il caricamento di documenti e immagini locali.
I runtime che fanno girare i modelli locali sul tuo hardware: Ollama per la semplicità, llama.cpp per la portabilità, vLLM per il throughput di produzione. I motori nel catalogo sono le risorse figlie.
Strumento Python a dipendenza zero che riconosce e riassume ogni file con un LLM locale (Ollama, LM Studio o MLX-LM), completamente offline. Rileva il tipo per contenuto, estrae la struttura (CSV, email, script, log) e segnala i file che contengono istruzioni all'assistente. Funziona anche senza modello (--no-llm). Licenza MIT.
Runtime Swift/MLX per il riconoscimento vocale in streaming di Kyutai su Apple Silicon. Il checkpoint di riferimento è STT-1B (inglese e francese) in INT8/FP16, con encoder Mimi causale (32 codici audio ogni 80 ms). Supporta export INT4/INT8. Licenza dei pesi CC-BY-4.0.
Le interfacce grafiche per usare i modelli locali senza account né invii al cloud: LM Studio, ComfyUI, Fooocus e Open WebUI. Gli studio nel catalogo sono le risorse figlie.
App macOS di dettatura 100% locale: trascrizione con Whisper sul dispositivo e riscrittura con un LLM locale (Qwen) sulla GPU M-series. Il testo arriva nell'app target; nessun dato passa dal cloud.
Il classico strumento da riga di comando per catturare i pacchetti di rete: il modo più diretto per vedere chi sta parlando con l'esterno dalla tua macchina.
Lo strumento con interfaccia grafica per catturare e analizzare il traffico di rete: filtri, colori, statistiche e visualizzazione in tempo reale di ogni connessione.
Modello di decisione System 1 da 11,4 MB (un file), costruito su un encoder testuale e5-small-v2. Picco di memoria residua di 128 MB, gira su CPU. Dato uno stato e domande tipizzate, restituisce una probabilità calibrata per opzione in un solo passaggio, senza generare token. Inglese-only.
Modello musicale open più recente con controllo eccellente su testi e stili: genera canzoni complete con lyrics in molte lingue, incluso l'italiano.
Modello decisionale open da 35B parametri (3B attivi) di Autotrust, fine-tune di Qwen3.5-35B-A3B per classificazione di testo e scoring del rischio. In quantizzazione NVFP4 occupa circa 25,6 GB di VRAM: gira su una GPU da 32 GB senza bisogno di inferenza frontier.
Il modello decisionale da 9B di Bespoke Labs: gira interamente in locale via Ollama 0.35 e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone. Pensato per la classificazione rapida in pipeline automatizzate, senza cloud.
Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).
Modello di decisione multimodale da 27B (base Qwen3.8-27B) di Cloudflare: legge uno stato (testo, JSON, immagini, video) e uno schema di domande tipizzate e restituisce una probabilità per ogni opzione in una sola passata, senza generazione di testo. Compatibile con l'API Jev e SystemOne.
Modello di immagini da 5,6B open weights per testo-in-immagine, editing con riferimento e composizione multi-riferimento in un solo modello, con box di posizionamento nel prompt. Test encoder Qwen3-VL-4B. In BF16 (11,1 GB), FP8 e NVFP4 (5,3 GB). Licenza FLUX Kommunity (uso non commerciale + eccezione per utenti qualificati).
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
I modelli foundation per la generazione sincronizzata di video e audio di Kandinsky Lab: da un prompt genera clip video con audio allineato, pubblicata in open weight. Primo paper della giornata su Hugging Face (2026-10-06), con checkpoint e Spaces già disponibili.
Modello di sintesi vocale da 82M di parametri su architettura VITS, Apache-2.0 per i pesi, con voci in decine di lingue e qualità sorprendentemente alta per le dimensioni. Gira in modo efficiente anche solo su CPU.
MoE di Aleph Alpha: 78,1B parametri (3,46B attivi per token), Apache 2.0, pesi FP8, contesto fino a 1M token, reasoning mode e tool calling. Pensato per carichi mission-critical su hardware locale.
Generazione video aperta e veloce: testo o immagine a video a 768px con buona qualità del movimento. Tra i modelli video open più rapidi.
API di inferenza per i modelli Claude di Anthropic (Claude 1 dal 2023). Come OpenAI si paga al token, in ingresso e in uscita, con limiti di richiesta per piano: la via frontier senza server propri.
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Piattaforma serverless per eseguire codice e modelli IA su GPU: si paga per i secondi di utilizzo reali, si scala a zero inattiva e si può far girare qualsiasi modello open-weights. Una delle strade per avere inferenza su hardware noleggiato senza gestire server.
API di inferenza per i modelli frontier di OpenAI (serie GPT). Si paga al token: prezzo fisso per milione di token in ingresso e in uscita, senza GPU da gestire e con rate limits per tier di account.
Gateway cloud per l'inferenza LLM: un unico endpoint API per centinaia di modelli (inclusi i MoE open-weight) con prezzi per token e routing automatico tra provider. Per Ling 3.1 Flash: 0,075 $/M input, 0,225 $/M output.
Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.
Marketplace di GPU in affitto: i possessori di GPU mettono in vendita la loro capacità e si affittano per ore o per periodo, a prezzi che seguono la domanda. Una via intermedia tra cloud frontier e hardware proprio.
Libreria Python di Hugging Face per eseguire i pipeline dei modelli generativi: immagine, video e audio. È il modo standard per girare modelli come Qwen-Image in locale, con supporto CUDA e offload CPU per le GPU con meno memoria.
La libreria standard per NLP e modelli multimodali con migliaia di modelli pre-addestrati.
Framework per costruire applicazioni basate su LLM con chain, agent e tool use.
Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).
Framework di machine learning di Apple per Apple Silicon: array con calcolo lazy su CPU e GPU unificate, memoria unificata a favore. La libreria mlx-lm porta addestramento, fine-tuning (LoRA/QLoRA) e inferenza di LLM direttamente su Mac.
Piattaforma di automazione di workflow self-hosted: un canvas visuale a nodi per collegare applicazioni, dati e modelli IA (locali o via API), con nodi AI Agent e oltre 400 integrazioni (email, CRM, fogli, chat).
Piattaforma distribuita per scaling di applicazioni ML e IA.
Framework di fine-tuning ottimizzato per GPU NVIDIA e Apple Silicon: matrici custom in CUDA che riducono l'uso di memoria e raddoppiano la velocità di addestramento rispetto ai metodi standard. Supporta LLM e modelli di diffusione.
