Tools, frameworks, and models for local AI
51 resources found for "GPU"
AMD: RDNA-architecture Radeon GPUs are the second consumer platform for local AI. Since ROCm 7, consumer cards (RX 7900 XTX, RX 9070 XT) are officially supported on Linux with no workarounds, and the Strix Halo APU brings up to 128GB of unified memory in a laptop. The GPUs and APUs in the catalog are the child resources.
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
La GPU RDNA 4 di AMD: 16GB GDDR6 su bus 256-bit (640 GB/s), 64 CU, 304W. Con ROCm 7 la prima Radeon consumer con supporto ufficiale su Linux (gfx1201, senza workaround): ~92 tok/s su gpt-oss-20b, ~52 tok/s su Qwen 14B. Il 640 GB/s è il 43% in più della RTX 5060 Ti 16GB: la carta 16GB più veloce per modelli 9-20B, ma il 16GB non tiene un 27B dense.
La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.
Apple's top-tier chip: up to 256GB unified memory on Mac Studio. The simplest way to run 70B+ models, with CPU and GPU sharing the same memory.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
An open decision model from Autotrust, 35B parameters (3B active), a fine-tune of Qwen3.5-35B-A3B for text classification and risk scoring. In NVFP4 quantization it occupies about 25.6 GB of VRAM: it runs on a 32 GB GPU with no frontier inference needed.
Reimplementation of Whisper based on CTranslate2: up to 4 times faster than openai/whisper with the same accuracy and less memory. Supports 8-bit quantization on both CPU and GPU.
La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.
Hugging Face's Python library for running the pipelines of generative models: image, video, and audio. The standard way to run models like Qwen-Image locally, with CUDA support and CPU offload for lower-memory GPUs.
Intel: Arc (Xe) GPUs are the third consumer platform for local AI, with 12-16GB of VRAM at entry prices. The maintained inference path is Vulkan (native Ollama, llama.cpp): the IPEX-LLM project was archived in January 2026. The GPUs in the catalog are the child resources.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Meta's largest open model: closed-frontier quality but datacenter requirements. In practice it needs high-VRAM multi-GPU or the cloud.
Frontier-class open model with 131K-token context. Needs 48-80GB VRAM, a Mac with unified memory, or a multi-GPU setup.
Il modello MoE grande della famiglia Llama 4 di Meta: 400B di parametri totali con 17B attivi (128 esperti). Contesto 1M di token, nativamente multimodale (testo+immagini), licenza comunitaria Meta. Richiede multi-GPU o macchine con memoria unificata 128GB+ anche quantizzato.
C++ implementation of LLMs for efficient inference on consumer CPUs and GPUs.
Open-source tool that estimates local model inference speed across 250+ hardware configurations (GPU, Mac, CPU): measured estimates from community benchmarks or derived from similar setups. Use it to choose hardware before buying.
An online guide matching open-weights models to real hardware: for every GPU, Mac and mini-PC it shows what runs, how much memory it needs and at how many tokens per second, with guides on quantization and memory. The right tool for the own-hardware path.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
Apple's machine learning framework for Apple Silicon: lazy arrays computed across unified CPU and GPU, with unified memory as an asset. The mlx-lm library brings LLM training, fine-tuning (LoRA/QLoRA) and inference directly to the Mac.
Serverless platform for running code and AI models on GPUs: you pay for real seconds of use, it scales to zero when idle, and you can run any open-weights model. One of the routes to inference on rented hardware without managing servers.
NVIDIA: CUDA-architecture GPUs are the de facto standard for local AI inference. VRAM determines which models run locally: 24GB (RTX 4090) covers ~30B quantized, 80GB (A100/H100) covers 70B+ models at full precision. The GPUs in the catalog are the child resources.
80GB HBM2e datacenter GPU: the standard for datacenter training and inference. Requires dedicated servers and enterprise power.
326M-parameter autoregressive diffusion model for interactive real-time humanoid motion: online text prompts, kinematic constraints (root trajectories, keyframes, sparse poses) and sequences up to 8 seconds. Trained on Bones Rigplay 1 (27-joint Core skeleton, 20 fps), optimized for NVIDIA Ampere, Hopper and Blackwell GPUs. NVIDIA Open Model Agreement license, commercial use allowed. On Hugging Face since October 7, 2026.
The top-tier datacenter GPU with 80GB HBM3: the top-of-the-line for large-model training and inference. Enterprise configurations only.
NVIDIA's vision encoder-decoder family for local document understanding: markdown, LaTeX formulas, bounding boxes and a semantic class per element, in reading order. ViT-H (C-RADIO) + 10-block mBART decoder, all under 1 billion parameters. Locally via vLLM (v0.20–v0.26 for 2.0) or Transformers, on NVIDIA GPUs (Turing through Blackwell).
The most accessible consumer GPU with 12GB VRAM: the entry point for local inference. Comfortably runs 7-8B quantized models.
24GB VRAM at very favorable used-market prices: the cheapest way to reach 24GB for 30B models. Discontinued.
16GB VRAM at an entry-level price: the right choice for quantized 13-14B models. Good headroom for personal use.
16GB VRAM with 672 GB/s bandwidth: high-end performance at a contained price. Among the best VRAM/price ratios.
The world's most powerful consumer GPU for local training and high-speed inference.
Il 16GB d'ingresso della generazione Blackwell: GB206, 16GB GDDR7 a 448 GB/s, 180W, PCIe 5.0 x8. Lancio a 429 USD: il modo più economico di far girare Qwen3.8-27B e i modelli 30B+ in Q4 su una singola scheda. Prezzo street 2026 più alto per la carenza di GDDR7.
Blackwell GB205 di fascia media: 12GB GDDR7 su bus 192-bit (672 GB/s), 6.144 CUDA core, 250W. Supporto completo ai formati FP4/FP8 per l'inferenza. Lancio a 549 USD, marzo 2025.
Blackwell GB203 da fascia alta: 16GB GDDR7 su bus 256-bit (896 GB/s), 8.960 CUDA core, 300W. Il 16GB rende possibile Qwen3.8-27B o i modelli 30B+ in Q4 con contesto ampio. Lancio a 749 USD, febbraio 2025.
16GB GDDR7 with 960 GB/s bandwidth: the mid-range Blackwell GPU. Decode speed well above prior generations.
The fastest consumer GPU on the planet: 32GB GDDR7 and 1,792 GB/s bandwidth. The top pick for local inference without going to the datacenter.
Inference API for OpenAI's frontier models (GPT series). You pay per token: a fixed price per million input and output tokens, no GPUs to manage, with rate limits per account tier.
Clear step up in reasoning and instruction quality over 8B models. Excellent for coding, agents and structured writing on 16GB GPUs or Macs with 32GB RAM.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
A 35B-parameter MoE model with ~3B active per token from the Qwen family, Apache-2.0. It is the fine-tune base of JEV-35B. Suited to 40GB+ GPUs in BF16 or to 4/8-bit quantizations for smaller hardware.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
Serverless platform for deploying and auto-scaling AI models with GPUs.
Open-source serving engine for LLMs with RadixAttention, continuous batching and first-class speculative decoding (MTP, EAGLE, draft models, ngram). Apache-2.0 license.
The image-generation classic: fast, light, and with the largest LoRA/ControlNet ecosystem of all. Perfect for 6-8GB GPUs.
100% local macOS dictation app: on-device transcription with Whisper and a rewrite pass with a local LLM (Qwen) on the M-series GPU. Text lands in the target app; no data touches the cloud.
Optimized fine-tuning framework for NVIDIA GPUs and Apple Silicon: custom CUDA matrices that cut memory usage and double training speed versus standard methods. Supports LLMs and diffusion models.
A marketplace for renting GPUs: GPU owners put their capacity up for sale and rent it out by the hour or by period, at prices that follow demand. A middle path between frontier cloud and your own hardware.
High-throughput LLM serving with PagedAttention and hardware optimizations.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
