Outils, frameworks et modèles pour l'IA locale
6 ressources trouvées pour "AMD"
AMD : les GPU Radeon d'architecture RDNA sont la seconde plateforme grand public pour l'IA locale. Depuis ROCm 7, les cartes consumer (RX 7900 XTX, RX 9070 XT) sont officiellement prises en charge sur Linux sans contournement, et l'APU Strix Halo pousse jusqu'à 128 Go de mémoire unifiée dans un portable. Les GPU et APU du catalogue sont les ressources filles.
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
La GPU RDNA 4 di AMD: 16GB GDDR6 su bus 256-bit (640 GB/s), 64 CU, 304W. Con ROCm 7 la prima Radeon consumer con supporto ufficiale su Linux (gfx1201, senza workaround): ~92 tok/s su gpt-oss-20b, ~52 tok/s su Qwen 14B. Il 640 GB/s è il 43% in più della RTX 5060 Ti 16GB: la carta 16GB più veloce per modelli 9-20B, ma il 16GB non tiene un 27B dense.
La APU AMD con la massima memoria unificata su x86: fino a 128GB di LPDDR5X condivisa tra CPU (16 core Zen 5), GPU integrata (40 CU RDNA 3.5) e NPU. Fino a 96GB allocabili alla GPU: modelli fino a 100B+ a 4 bit senza GPU dedicata, su mini-PC o laptop. Bandwidth 256 GB/s.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Le premier MoE open-source de la série MiniCPM-V d'OpenBMB : 35,2 Md de paramètres au total, ~3 Md actifs par token, compréhension d'images multiples et de vidéo avec compression précoce des tokens visuels (LLaVA-UHD v4). Premier MoE open-source à décoder fluidement sur appareil — 13+ tokens/seconde avec seulement 3 Go de RAM sur iPhone 17 Pro Max — grâce au Lookahead Expert Scheduling (llama.cpp-omni), à une quantisation fine par couche et au DSpark speculative sampling. Support day-0 pour Rockchip, Houmo, Intel, AMD et Arm ; tourne sur Ollama, llama.cpp, vLLM et SGLang.
