Glossaire IA Locale
Termes et définitions de l'intelligence artificielle locale, des modèles open source et du calcul.
5 termes dans Entraînement
Petit fichier de poids entraînés (matrices de faible rang) ajouté au modèle de base sans le modifier : de quelques Mo, il se charge et se retire à volonté, et un même modèle peut porter plusieurs adaptateurs pour des comportements différents.
Processus d'entraînement supplémentaire sur un modèle pré-entraîné, en utilisant un jeu de données spécifique pour le spécialiser dans une tâche particulière. Par exemple, on peut affiner Llama 7B avec des documents juridiques pour créer un modèle expert en droit. Les techniques populaires incluent LoRA et QLoRA.
Low-Rank Adaptation. Technique d'affinement efficace qui met à jour uniquement une petite fraction des poids du modèle au lieu de tous les paramètres. LoRA permet d'entraîner un modèle 7B sur un seul GPU grand public, générant des fichiers d'adaptation de quelques Mo au lieu de gigaoctets.
Parameter-Efficient Fine-Tuning. Famille de techniques qui n'entraîne qu'une petite fraction des paramètres du modèle (LoRA, adaptateurs, prompts apprenables) au lieu de tous les poids, réduisant mémoire et temps d'entraînement.
Quantized Low-Rank Adaptation. Variante de LoRA qui quantise le modèle de base à 4 bits (NF4) avant l'entraînement : elle permet d'adapter des modèles jusqu'à 65B sur une seule carte graphique de 48 Go, avec des adaptateurs de quelques Mo.