Outils, frameworks et modèles pour l'IA locale
25 ressources dans Matériel
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
La GPU RDNA 4 di AMD: 16GB GDDR6 su bus 256-bit (640 GB/s), 64 CU, 304W. Con ROCm 7 la prima Radeon consumer con supporto ufficiale su Linux (gfx1201, senza workaround): ~92 tok/s su gpt-oss-20b, ~52 tok/s su Qwen 14B. Il 640 GB/s è il 43% in più della RTX 5060 Ti 16GB: la carta 16GB più veloce per modelli 9-20B, ma il 16GB non tiene un 27B dense.
La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.
La puce Apple haut de gamme : jusqu'à 256 Go de mémoire unifiée sur Mac Studio. La manière la plus simple d'exécuter des modèles 70B et plus, CPU et GPU partageant la même mémoire.
Puce Apple Silicon aux performances exceptionnelles pour le développement mobile et l'inférence edge.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Il Mac più potente di Apple: M5 Ultra, primo chip a quattro die (due M5 Max uniti da UltraFusion), fino a 36 core CPU, 80 core GPU e 512GB di memoria unificata a 1,2 TB/s. Pensato per modelli frontier-class in locale: MoE da centinaia di miliardi di parametri e RAG su corpora enormi, senza cloud. Il clustering RDMA di più unità porta fino a 3× l'inferenza distribuita.
GPU datacenter de 80 Go de HBM2e : la référence pour le training et l'inférence en datacenter. Exige des serveurs dédiés et une alimentation enterprise.
La workstation desktop NVIDIA per l'IA locale: superchip Grace Blackwell GB10 con 128GB di memoria unificata a 273 GB/s e circa 1 petaFLOP in FP4. CUDA completo, ~12 tok/s su modelli 27B a 4 bit, prefill veloce su contesti lunghi. Prezzo al lancio 3.999 USD, poi 4.699 USD per la carenza di memoria.
Il supercomputer desktop di NVIDIA basato su GB300 Grace Blackwell Ultra: fino a 748GB di memoria coerente, fino a 20 petaflop in FP4, CPU Grace a 72 core collegati via NVLink-C2C. Pensato per sviluppare ed eseguire agenti e modelli frontier-class al desk. Annunciato a GTC nel marzo 2025; versione per Windows annunciata il 1 giugno 2026 in arrivo a fine anno. Listino nell'ordine dei 99.000 USD.
Le GPU datacenter haut de gamme avec 80 Go de HBM3 : le top de gamme pour le training et l'inférence de grands modèles. Uniquement en configuration enterprise.
Le GPU grand public le plus abordable avec 12 Go de VRAM : le point d'entrée pour l'inférence locale. Fait tourner confortablement les modèles 7-8B quantisés.
24 Go de VRAM à des prix d'occasion très avantageux : la manière la plus économique d'atteindre 24 Go pour les modèles 30B. Production terminée.
16 Go de VRAM à un prix entry-level : le bon choix pour les modèles 13-14B quantisés. Bonne autonomie pour un usage personnel.
16 Go de VRAM avec 672 Go/s de bande passante : des performances haut de gamme à prix contenu. Parmi les meilleurs rapports VRAM/prix.
La carte graphique grand public la plus puissante au monde pour l'entraînement local et l'inférence haute vitesse.
Il 16GB d'ingresso della generazione Blackwell: GB206, 16GB GDDR7 a 448 GB/s, 180W, PCIe 5.0 x8. Lancio a 429 USD: il modo più economico di far girare Qwen3.8-27B e i modelli 30B+ in Q4 su una singola scheda. Prezzo street 2026 più alto per la carenza di GDDR7.
Blackwell GB205 di fascia media: 12GB GDDR7 su bus 192-bit (672 GB/s), 6.144 CUDA core, 250W. Supporto completo ai formati FP4/FP8 per l'inferenza. Lancio a 549 USD, marzo 2025.
Blackwell GB203 da fascia alta: 16GB GDDR7 su bus 256-bit (896 GB/s), 8.960 CUDA core, 300W. Il 16GB rende possibile Qwen3.8-27B o i modelli 30B+ in Q4 con contesto ampio. Lancio a 749 USD, febbraio 2025.
16 Go de GDDR7 avec 960 Go/s de bande passante : le GPU Blackwell de milieu de gamme. Vitesse de décodage nettement supérieure aux générations précédentes.
Le GPU grand public le plus rapide au monde : 32 Go de GDDR7 et 1 792 Go/s de bande passante. Le choix top pour l'inférence locale sans passer au datacenter.
Ordinateur à carte unique avec une CPU ARM Cortex-A76 8 cœurs et 2 à 16 Go de RAM : la référence pour apprendre et exécuter de petits modèles d'IA locale en inférence sur CPU.
