PEFT
EntraînementParameter-Efficient Fine-Tuning. Famille de techniques qui n'entraîne qu'une petite fraction des paramètres du modèle (LoRA, adaptateurs, prompts apprenables) au lieu de tous les poids, réduisant mémoire et temps d'entraînement.
Parameter-Efficient Fine-Tuning. Famille de techniques qui n'entraîne qu'une petite fraction des paramètres du modèle (LoRA, adaptateurs, prompts apprenables) au lieu de tous les poids, réduisant mémoire et temps d'entraînement.