Aller au contenu principal
← Retour aux actualités

llama.cpp b12122 : matmul NVFP4 et GLU fusionnés dans MMQ sur CUDA, un seul noyau pour le bloc MLP quantisé

Outils et sorties
Source:GitHub
llama.cpp b12122 fusionne les matmul gate/up NVFP4 et la GLU dans MMQ sur CUDA : un seul noyau pour le bloc MLP quantisé, avec précision src1 respectée et échelles partagées. La sortie inclut des builds pour CUDA 12 et 13, ROCm, Vulkan, SYCL et Snapdragon.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.