Apple intègre MLX 0.20 avec support natif pour les modèles quantifiés
On-device et edgeArticles connexes
GGUF : le format qui fait tenir les modèles sur votre matériel
On ouvre la boîte : ce qu'il y a vraiment dans un fichier .gguf, pourquoi c'est un seul fichier, comment lire le nom et comment choisir la taille pour votre VRAM, avec les dimensions réelles d'un modèle 8B.
Quantification : tirer davantage du même matériel
Ce qu'est la quantification, les niveaux Q4/Q5/Q8 et comment choisir le bon pour votre VRAM, avec un exemple concret sur Qwen2.5 14B.
Mac Studio M5 Ultra: guide pratique 512 Go - les modèles qui tiennent et setup GGUF
Le Mac Studio 512 Go fait tenir un MoE de 560B en 4 bit avec un large contexte. Dans ce guide : la règle des 4 bit, l’installation GGUF en trois voies, le vrai goulot d’étranglement (le cache KV) et le comparatif de coût Mac vs API, chiffres à l’appui.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.