Strumenti, framework e modelli per l'IA locale
52 risorse trovate per "LLM"
Alibaba Group: i modelli Qwen sono tra i LLM open-weight più performanti al mondo, rilasciati con licenze permissive. I modelli Qwen nel catalogo sono le risorse figlie.
Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).
DeepSeek (Shenzhen, Cina): i LLM open-weight più efficienti della loro classe, con l'enfasi sui MoE a bassa attivazione. DeepSeek V4.1-Flash porta 552B di parametri totali con ~8B attivi, 1M di contesto. I modelli nel catalogo sono le risorse figlie.
Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.
Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.
La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modello compatto della famiglia Gemma 4 di Google: 8B di parametri totali, di cui 4,5B effettivi grazie agli embedding per livello (PLE). Contesto di 131K token, oltre 140 lingue, input testo+immagini e audio. La taglia di ingresso della famiglia Gemma 4 per l'uso locale su 8-16GB.
Modello MoE open-weight di inclusionAI: 560B parametri totali, 25B attivi per token, architettura ibrida (attenzione lineare KDA + Gated MLA), finestra di contesto fino a 1M di token, licenza MIT. Reasoning ibrido con modalità di pensiero on/off. A 4 bit entra in 512GB di memoria unificata.
Intel: le GPU Arc (Xe) sono la terza piattaforma consumer per l'IA locale, con 12-16GB di VRAM a prezzi d'ingresso. Il percorso di inferenza mantenuto è Vulkan (Ollama nativo, llama.cpp): il progetto IPEX-LLM è stato archiviato nel gennaio 2026. Le GPU nel catalogo sono le risorse figlie.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Framework per costruire applicazioni basate su LLM con chain, agent e tool use.
Il modello open più grande di Meta: qualità da frontiera chiusa ma requisiti da datacenter. In pratica richiede multi-GPU ad alta VRAM o il cloud.
Modello open di livello frontiera con contesto da 131K token. Richiede 48-80GB di VRAM, un Mac con memoria unificata o una configurazione multi-GPU.
Il cavallo di battaglia locale per eccellenza: qualità solida, contesto da 131K token e un ecosistema di quantizzazioni GGUF immenso. La scelta standard per chat e assistenti.
Modello piccolo e veloce con contesto fino a 131K token. Punto di ingresso ideale per chat e riepilugi su hardware modesto, ottimo per smartphone e mini-PC.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
Il modello MoE compatto della famiglia Llama 4: 17B di parametri attivi su 109B totali (16 esperti). Licenza comunitaria Meta con uso libero sotto i 700 milioni di utenti mensili. Uno dei punti d'ingresso migliori della famiglia Llama 4.
Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Meta Platforms: la famiglia Llama è la linea di LLM open-weight più diffusa al mondo, da 1B a 405B parametri, con licenza per uso commerciale. I modelli Llama nel catalogo sono le risorse figlie.
Il primo MoE open-source della serie MiniCPM-V di OpenBMB: 35,2B di parametri totali, ~3B attivi per token, comprensione di immagini multiple e video con compressione precoce dei token visivi (LLaVA-UHD v4). Primo MoE open-source con decodifica fluida on-device — 13+ tok/s con soli 3GB di RAM su iPhone 17 Pro Max — grazie al Lookahead Expert Scheduling (llama.cpp-omni), quantizzazione fine per livello e DSpark speculative sampling. Supporto day-0 per Rockchip, Houmo, Intel, AMD e Arm; gira su Ollama, llama.cpp, vLLM e SGLang.
Modello da 7B veloce ed efficiente, ben tarato sui compiti multilingue europei. Ottima qualità di istruzioni a una frazione del costo dei modelli da 13B in poi.
Mistral AI (Parigi, Francia): i LLM europei open-weight più efficienti, con licenze permissive e attenzione a privacy e localizzazione. I modelli Mistral nel catalogo sono le risorse figlie.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Otto esperti da 7B con due attivi per token: 47B di parametri totali e ragionamento da modello grande a una frazione del costo di calcolo. Un classico del mondo open.
Framework di machine learning di Apple per Apple Silicon: array con calcolo lazy su CPU e GPU unificate, memoria unificata a favore. La libreria mlx-lm porta addestramento, fine-tuning (LoRA/QLoRA) e inferenza di LLM direttamente su Mac.
I runtime che fanno girare i modelli locali sul tuo hardware: Ollama per la semplicità, llama.cpp per la portabilità, vLLM per il throughput di produzione. I motori nel catalogo sono le risorse figlie.
Famiglia di modelli vision-encoder-decoder di NVIDIA per la comprensione di documenti in locale: markdown, formule LaTeX, bounding box e classe semantica per elemento, nell'ordine di lettura. ViT-H (C-RADIO) + decoder mBART a 10 blocchi, tutti sotto il miliardo di parametri. In locale via vLLM (v0.20–v0.26 per la 2.0) o Transformers, su GPU NVIDIA (Turing ad Blackwell).
Modello vocale end-to-end full-duplex da 11B: comprensione e generazione audio in un'unica architettura, senza stack in cascata ASR→LLM→TTS. Primo modello full-duplex open con tool calling durante la conversazione, risposte in ~450ms, interruzioni e turni naturali.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Gateway cloud per l'inferenza LLM: un unico endpoint API per centinaia di modelli (inclusi i MoE open-weight) con prezzi per token e routing automatico tra provider. Per Ling 3.1 Flash: 0,075 $/M input, 0,225 $/M output.
Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.
Modello ultra-compatto di 0,5 miliardi di parametri. Si esegue su qualsiasi hardware, anche embedded: ideale per riepilugi leggeri e per dispositivi locali a bassissimo consumo.
Salito netto in ragionamento e qualità delle istruzioni rispetto agli 8B. Ottimo per coding, agent e stesura strutturata su GPU da 16GB o Mac con 32GB di RAM.
Qualità vicina ai modelli da 70B a una frazione della dimensione: il punto ideale per usi avanzati. Eccellente in italiano, codice e ragionamento. Richiede 24GB o più di VRAM.
Modello da 3 miliardi di parametri con ottimo supporto multilingue, incluso l'italiano. Buono equilibrio tra qualità e requisiti hardware per riepilugi e stesure.
Il modello dense aperto migliore della sua classe, con supporto multilingue di prim'ordine in italiano, francese e altre lingue europee. Richiede configurazioni da 48-80GB.
Modello Mixture-of-Experts: 30B di parametri totali ma solo 3,3B attivi per token. Velocità da modello piccolo con qualità da modello medio; il rapporto qualità/velocità migliore della sua classe.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Modello MoE da 35B parametri con ~3B attivi per token della famiglia Qwen, Apache-2.0. È la base di fine-tune di JEV-35B. Adatto a GPU da 40+ GB in BF16 o a quantizzazioni 4/8-bit per hardware più piccolo.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.
Strumento Python a dipendenza zero che riconosce e riassume ogni file con un LLM locale (Ollama, LM Studio o MLX-LM), completamente offline. Rileva il tipo per contenuto, estrae la struttura (CSV, email, script, log) e segnala i file che contengono istruzioni all'assistente. Funziona anche senza modello (--no-llm). Licenza MIT.
App macOS di dettatura 100% locale: trascrizione con Whisper sul dispositivo e riscrittura con un LLM locale (Qwen) sulla GPU M-series. Il testo arriva nell'app target; nessun dato passa dal cloud.
Framework di fine-tuning ottimizzato per GPU NVIDIA e Apple Silicon: matrici custom in CUDA che riducono l'uso di memoria e raddoppiano la velocità di addestramento rispetto ai metodi standard. Supporta LLM e modelli di diffusione.
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
