Aller au contenu principal
← Retour aux actualités

TACO : optimiseur tertiaire qui réduit de 174x la mémoire pour le fine-tuning

Recherche
Source:arXiv
Les chercheurs de l'University of Central Florida proposent TACO, un optimiseur tertiaire one-sparse par colonne pour le Fine-tuning des LLM : il conserve les gradients du premier ordre tout en réduisant l'état persistant de l'optimiseur de 27,7 Go à 0,16 Go sur OPT-13B.
Lire l'article original

Articles connexes

Exécuter des Modèles LLM en Local : du Premier Install au Premier Modèle

De zéro au premier modèle qui répond : ce qu'il vous faut vraiment, Ollama pas à pas, comment choisir le modèle pour votre mémoire, les vitesses attendues par hardware et les problèmes typiques résolus.

KV cache : pourquoi la RAM sert à plus que le seul modèle

Ce qu'est la KV cache, la formule pour la calculer avec les chiffres de Llama 3.1 8B et Qwen3 8B, et les trois leviers pour la gérer : contexte, quantisation et flash attention.

Fine-tuning : adapter un modèle à vos données avec LoRA et QLoRA

Quand le prompt et le RAG ne suffisent plus : vous adaptez les poids du modèle à vos données. LoRA, QLoRA, préparation du dataset et outils locaux (LLaMA-Factory, Unsloth, MLX) sur un seul GPU grand public.

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.

Ressources liées

Outils et ressources des archives iaLocale pertinents pour ce contenu.

🌱

Bonsai-2 27B

Modèles

Modèle de raisonnement de 27B aux poids ternaires à 1,72 bit par poids, dérivé de Qwen3.8-27B avec attention hybride (~75 % linéaire). En GGUF PTQ1_0 il occupe 5,95 Go, conserve 98,2 % de l'intelligence FP16 et atteint ~47 tok/s sur un laptop Apple M5 Max, avec un contexte de 262K tokens. Licence Apache 2.0. Exige la fork llama.cpp de Prism ML (les noyaux ternaires ne sont pas dans llama.cpp stock).

⚡

DeepSeek V4.1 Flash

Modèles

Modèle MoE de DeepSeek avec 552B de paramètres au total et 8 à 16B actifs par token. Contexte de 1M de tokens, licence MIT : usage commercial libre. Conçu pour le service en ligne, trop grand pour un usage local sur un seul PC.

💎

Gemma 3

Modèles

Famille de modèles open de Google en tailles 1B, 4B, 12B et 27B. Contexte de 128K tokens, plus de 140 langues supportées et entrées multimédias (texte et images). Excellent choix pour le RAG et les documents longs sur du matériel grand public.

💎

Gemma 3 4B

Modèles

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

Parcourir toutes les ressources