Mac Studio M5 Ultra: guide pratique 512 Go - les modèles qui tiennent et setup GGUF

La Mac Studio avec puce M5 Ultra arrive enfin en configuration 512 Go de mémoire unifiée à la fin octobre. D'un côté, c'est l'annonce. De l'autre, c'est la partie "salle de presse". La partie pratique est différente : il existe désormais un bureau qui fait tenir des modèles MoE entiers de plusieurs centaines de milliards de paramètres, en 4 bit, avec un large contexte — sans cloud, sans API, sans location. Dans ce guide, je vous montre ce qui tient vraiment, comment installer GGUF pas à pas, pourquoi le cache KV est le vrai goulot d'étranglement, et combien ça coûte par rapport aux API, chiffres à l'appui. (Fiche technique Mac Studio)

La règle des 4 bit

À 4 bit, chaque milliard de paramètres pèse environ 0,5 Go. Mais pour les modèles MoE, un autre chiffre compte : les paramètres actifs par token, qui déterminent la vitesse, tandis que les paramètres totaux déterminent la mémoire. La mémoire doit tout contenir (poids + contexte + cache), la vitesse ne dépend que de ce qui s'active.

Modèle (quantification)	Poids sur disque	Espace restant en 512 Go
Qwen3.5-35B-A3B (Q4_K_M)	~20 Go	~490 Go
Gemma 4 26B-A4B (Q4_K_M)	~16 Go	~496 Go
Kolibri 1, 78B (Q4_K_M)	47,5 Go	~465 Go
Ling 3.1 Flash, 560B (Q4_K_M)	~290 Go	~220 Go
Dense 200B (Q4)	~100 Go	~410 Go

Deux lectures. Premièrement : les MoE à peu d'actifs (Kolibri, Ling) vous laissent des centaines de Go libres pour un long contexte et du RAG — c'est la raison pour laquelle 512 Go a du sens. Deuxièmement : Ling 3.1 Flash est le cas limite — il entre, mais le contexte doit être géré (nous verrons pourquoi plus bas). Les checkpoints officiels de Ling et Kolibri sont en FP8 : ils pèsent respectivement ~572 Go et ~78 Go, donc ils ne tiennent pas en 8 bit ; la voie pratique est le GGUF quantifié en 4 bit. (Ling 3.1 Flash, Kolibri-1 GGUF)

Setup GGUF : trois voies, choisissez selon le modèle

A. Ollama — si le modèle est dans la bibliothèque. Pour les MoE du quotidien (Qwen3.5-35B-A3B, Gemma), c'est la voie la plus rapide :

ollama pull qwen3.5-35b-a3b:q4_k_m
ollama run qwen3.5-35b-a3b

Ce que vous voyez quand ça marche : le prompt >>> et la première réponse. Si ça ne va pas : ollama ps montre la RAM utilisée ; si le modèle part en swap, il est trop grand pour la configuration — descendez d'une quantification ou réduisez le contexte.

B. LM Studio — la voie GUI. Vous téléchargez le fichier GGUF du dépôt, vous le sélectionnez, vous fixez la fenêtre de contexte et vous chargez. C'est le bon parcours si vous ne voulez pas toucher au terminal et que le modèle est supporté.

C. llama.cpp — pour les grands MoE (Ling, Kolibri). Kolibri 1 nécessite le patch kolibri1 (l'architecture n'est pas encore dans le trunk) ; Ling 3.1 Flash a sa propre architecture hybride. Ici, le terminal est obligatoire :

./build/bin/llama-server -m Ling-3.1-Flash-Q4_K_M.gguf \
  --n-gpu-layers 999 -c 32768 --jinja --temp 0.6 --top-p 0.9

Ce que vous voyez quand ça marche : ça ouvre http://localhost:8080 avec le champ de prompt ; vous tapez et vous obtenez la réponse en streaming. Si ça ne va pas : erreur OOM = baissez -c ou passez de Q4 à Q3 ; sur un Mac unifié, --n-gpu-layers 999 est correct car toute la mémoire est partagée.

Comparaison des trois voies : Ollama si le modèle est dans la bibliothèque et que vous voulez démarrer en une minute ; LM Studio si vous voulez la GUI ; llama.cpp si le modèle est nouveau ou hybride et que vous voulez le contrôle maximal (et c'est aujourd'hui la seule voie pour Kolibri).

Cache KV : le vrai goulot d'étranglement

Le poids du modèle n'est pas la seule chose qui vit en mémoire. Le cache KV — la mémoire qui accumule l'"histoire" de chaque token déjà traité — croît avec le contexte. Le contexte natif de Ling et Kolibri atteint 1M de tokens, mais l'utiliser intégralement n'est pas réaliste : à 1M, le cache KV mangerait une bonne partie des ~220 Go restants de Ling en Q4. En pratique, vous opérez entre 32K et 256K de contexte, où le cache pèse quelques dizaines de Go et où il vous reste de la marge pour le RAG et les données. Le point : la RAM compte plus que le seul modèle, car c'est le contexte — pas les poids — qui décide à quel point la conversation "se souvient".

Coût : Mac vs API, fait avec les chiffres

Mac Studio 512 Go : 9 999 USD. Amortissement sur 36 mois : ~278 USD/mois. La voix électricité est négligeable : un Mac unifié absorbe une dizaine de watts au repos et un peu plus en charge — à 0,30 €/kWh, on est dans l'ordre de quelques dizaines d'euros par an, pas dans la facture.

L'API, elle, est à la consommation. Ling 3.1 Flash sur OpenRouter coûte 0,075 $/M en input et 0,225 $/M en output. Le calcul :

Charge	Tokens in	Tokens out	Coût API/mois
Usage léger (5 req/jour de 10K)	~1,5M	~0,5M	~0,60 $
Usage moyen (1 req/jour de 100K)	~3,1M	~0,3M	~0,50 $
Usage intense (1M in + 100K out par jour)	~31M	~3M	~6 $

Le point honnête : le Mac à 9 999 USD se rembourse en tokens seulement à des volumes enterprise — il faudrait de l'ordre de 3 000 à 4 000 millions de tokens d'input par mois pour que l'API dépasse les 278 USD/mois d'amortissement. Pour un usage grand public ou petite structure, l'API reste de loin la voie économique. La valeur du Mac n'est donc pas le prix au token : c'est que le modèle est toujours là, qu'il est à vous, et qu'aucun octet de la donnée ne sort — ce qui, pour certaines charges, vaut plus que l'économie. Si votre volume est élevé et que la donnée ne peut pas sortir, l'achat gagne. La base matérielle — mémoire unifiée, bande, comparaison avec la DGX Station — est dans l'article Mémoire unifiée : de Strix Halo à Mac Studio ; la méthode complète de coût par voie (API, location, achat) est dans Combien coûte un token.

Quand c'est le bon choix

• La donnée ne peut pas sortir du périmètre (clients, médical, juridique, finance) : l'API est exclue par défaut et le Mac est le seul bureau qui fait tenir un 560B en local.
• Vous voulez le modèle toujours allumé, sans compteur et sans dépendre d'un fournisseur qui peut changer ses tarifs.
• Le volume est élevé au point de justifier les 9 999 USD : dans ce cas, la facture API serait déjà le problème.

Sinon, pour 90 % des cas, un MoE plus petit sur du matériel de 24 à 48 Go ou l'API économique sont le choix sensé. Le Mac Studio 512 Go n'est pas "l'IA locale pour tous" : c'est l'IA locale pour ceux qui ont un cas où la machine est le produit.

En résumé

Le Mac Studio M5 Ultra en 512 Go est le premier bureau qui fait tenir des MoE entiers de 560B en 4 bit avec un large contexte, sans cloud. La règle pratique : poids en 4 bit (~0,5 Go par milliard) + marge pour le contexte et le cache KV < 512 Go. Pour les modèles du quotidien, partez d'Ollama ou LM Studio ; pour Ling et Kolibri, il faut llama.cpp (Kolibri avec son patch). Le goulot d'étranglement réel est le cache KV, pas les poids. Sur le coût : le Mac se rembourse en tokens seulement à des volumes enterprise — pour tous les autres, sa valeur est la disponibilité permanente, la propriété et la donnée qui ne sort pas.

Article généré par IA