Multi-Token Prediction (MTP)

Une technique où le modèle est entraîné à prédire plusieurs jetons futurs en un seul pas au lieu d'un. Elle permet de proposer plusieurs candidats sans appels supplémentaires et sert de base à la décodage spéculative : le checkpoint contient déjà les modules MTP entraînés.