Aller au contenu principal
← Retour aux actualités

Bonsai-2 27B : un modèle de raisonnement 27B ternaire qui tourne sur un laptop

Nouveaux modèles
Source:Hugging Face
Prism ML publie Bonsai-2 27B en GGUF : un modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, 5,95 Go et contexte de 262K tokens, qui conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max.
Lire l'article original

Articles connexes

MiniCPM-V 4.7 : le MoE de 35B qui tourne sur smartphone avec 3 Go de RAM

Le premier MoE open de 35B (3B actifs) qui tourne fluidement sur smartphone : 13+ tok/s avec 3 Go de RAM sur iPhone 17 Pro Max, OCR, vidéo et GGUF Q4_K_M de 21,8 Go pour le desktop. Chiffres, trois techniques et limites.

gpt-oss : le modèle de raisonnement open d'OpenAI

21 Md de paramètres au total mais seulement 3,6 Md actifs, poids natifs en MXFP4 et 128K de contexte : le premier modèle de raisonnement open d'OpenAI tient dans 16 Go. Ce que cela change en pratique.

Llama 3 et Llama 4 : la famille open de Meta, quel modèle tourne sur votre matériel

De la 3.1 8B à la 4 Scout MoE au contexte de 10M : la famille Llama en tableau, ce qui tourne sur 16, 48 et 128 Go de RAM, la licence Community traduite pour l'entreprise italienne et le choix par budget.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.

🌱

Bonsai-2 27B

Modèles

Modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, dérivé de Qwen3.8-27B avec attention hybride (~75 % linéaire). En GGUF PTQ1_0 il occupe 5,95 Go, conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max, avec un contexte de 262K tokens. Licence Apache 2.0. Exige la fork llama.cpp de Prism ML (les noyaux ternaires ne sont pas dans llama.cpp stock).

💻

Apple M4 Max

Matériel

Puce Apple Silicon aux performances exceptionnelles pour le développement mobile et l'inférence edge.

💻

Apple M5 Max

Matériel

Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.

💻

LM Studio

Logiciel

Application desktop sans terminal pour télécharger et exécuter des modèles GGUF : interface graphique, recherche de modèles intégrée et serveur local. La voie la plus simple pour commencer.

Parcourir toutes les ressources