L'italien dans les modèles locaux : à quoi s'attendre

La bonne question à se poser

« À quel point mon modèle comprend-il le français et l'italien ? » n'a pas une seule réponse : cela dépend du modèle, de sa taille, et de ce que vous lui demandez. La bonne nouvelle, c'est qu'en 2026, presque tous les grands modèles open weight tiennent l'italien de manière solide. La mauvaise, c'est que la différence entre « ça marche » et « ça marche vraiment » ne se voit que si on teste sérieusement.

Dans cet article, je vous dis quels modèles misent sur l'italien, où ils butent, et comment les mesurer vous-même en une demi-heure, avec vos données.

Pourquoi l'italien est un point douloureux

Il y a deux raisons techniques pour lesquelles de nombreuses IA locales fonctionnent mieux en anglais qu'en italien, et les comprendre vous aide à choisir.

Le tokenizer. Les modèles ne lisent pas des mots, ils lisent des jetons : des fragments de texte. Les tokenizers des modèles de pointe ont été construits sur d'immenses corpus où l'anglais domine. Pour l'italien, il faut souvent plus de jetons pour dire la même chose : des mots comme « conferma » ou « immediatamente » se découpent en trois ou quatre morceaux. Le résultat est double :

• plus de calcul pour des phrases équivalentes, donc un peu plus de latence ;
• un contexte qui se consomme plus vite : un long document en italien « pèse » plus de jetons que le même document en anglais.

Les données d'entraînement. Ce qu'un modèle « sait » en italien dépend de la quantité de textes italiens qu'il a vus. Les modèles entraînés sur des corpus multilingues équilibrés sont plus à l'aise en italien que ceux entraînés presque uniquement en anglais. C'est la raison pour laquelle un modèle plus petit mais multilingue peut battre un modèle plus grand mais anglophone, pour une tâche en italien.

Les modèles, un par un

Voici ce qu'on peut attendre des principaux, avec les chiffres que les éditeurs déclarent.

Llama 3.1 (Meta). L'italien est l'une des 8 langues officiellement supportées (avec anglais, allemand, français, portugais, hindi, espagnol et thaï). Dans la carte du modèle officielle, l'évaluation multilingue MMLU (5 exemples) en italien est de 61,63 pour la version 8B Instruct, 80,40 pour la 70B et 85,04 pour la 405B. Le message est clair : l'italien tient, mais le saut de qualité se voit surtout avec les grands modèles. Sur un GPU 16 Go en quantification Q4, c'est la 8B qu'on utilisera vraiment, et là l'italien est « correct » plus que « excellent ». Source : carte du modèle Llama 3.1.

Qwen3 (Alibaba/Qwen). Là l'histoire change : le rapport technique déclare 119 langues et dialectes auxquels Qwen3 est pré-entraîné sur 36 billions de jetons, passant de 29 (Qwen2.5) à 119. L'italien est explicitement dans la liste des 10 plus représentés, avec anglais, chinois, portugais, arabe, japonais, coréen, indonésien, russe, vietnamien, allemand et thaï. Pour qui travaille en italien, Qwen3 est souvent le choix le plus « à l'aise » tout court, et la famille inclut des petites tailles (8B) qui tournent sur 16 Go.

Gemma 3 (Google DeepMind). La présentation officielle mise sur un nouveau tokenizer multilingue qui couvre plus de 140 langues. Moins de langues « officielles » mais un vocabulaire plus large, et cela a un effet pratique direct : l'italien est encodé plus efficacement qu'avec un tokenizer anglophone, c'est-à-dire moins de jetons pour la même phrase et un contexte qui dure plus longtemps.

Mistral 7B. Le modèle de base est conçu principalement pour l'anglais (la fiche technique liste « en ») ; en italien il fonctionne mais avec une qualité inférieure, et en français il fait mieux qu'en italien. Je l'utilise comme référence « à quoi ressemble un modèle anglophone en italien » plus que comme choix principal pour du contenu en italien.

LLaMAntino (communauté). Un cas à part : une famille de fine-tunes basés sur Llama, adaptés spécifiquement à l'italien par l'Université de Bari (UNIBA) puis affinés sur des datasets italiens. Le paper décrit le fine-tuning de Llama 2 sur un texte italien étendu. C'est le type de modèle qui, sur un matériel modeste (16 Go, un Mac avec puce M), bat souvent des modèles plus grands mais non adaptés, pour des tâches en italien.

Où ils se trompent

Quel est le niveau de « vérité » de l'italien d'un modèle local ? Trois zones typiques de défaillance :

1. Idiomes, registres et ironie. « Faire le diable à quatre », « avoir la main légère », le ton entre un e-mail au client et un post sur les réseaux : là, les modèles, même grands, tendent à normaliser vers un italien neutre et un peu traduit.
2. Phrases longues et syntaxe complexe. Plus la phrase est intriquée, plus le risque d'une erreur d'accord, d'un complément d'objet disparu, d'un participe mal placé augmente.
3. Queue anglaise. Dans un contexte technique, les modèles tendent à insérer des anglicismes même quand il existe des termes italiens consolidés. Dans un contenu pour le grand public, c'est un problème de ton ; dans un contenu technique, c'est parfois un simple choix stylistique.

Les petits modèles (7-8B) se trompent plus ; les grands (70B, 405B) butent rarement mais coûtent en matériel.

Comment évaluer un modèle en italien, vous-même

Aucun benchmark ne couvre votre cas d'usage. Voici la méthode que j'utilise :

1. Préparez un jeu de test. 30-50 exemples tirés de vos cas réels : un e-mail de support, un résumé de document, une réponse à un client, une réécriture en ton formel. En italien, comme vous l'écririez.
2. Faites tourner chaque modèle sur le même test. Ollama fait le travail en une ligne : ollama run <modèle>.
3. Évaluez avec des critères explicites. Trois notes de 0 à 5 : correctitude grammaticale, ton approprié, pertinence au contenu.
4. Regardez les échecs, pas les moyennes. Une moyenne de 4,2 ne vous dit pas grand-chose. Les trois pires exemples vous disent tout : s'ils se trompent tous les trois sur le registre ou l'accord, le modèle n'est pas pour vous.

En 30 minutes et deux modèles, vous avez une réponse concrète.

La recommandation pratique

• Si l'italien est central dans votre travail : partez des modèles qui déclarent l'italien dans leur support — Qwen3 (119 langues), Llama 3.1 (8 langues, italien inclus), Gemma 3 (tokenizer multilingue 140+). Le plus grand que votre matériel peut porter en Q4 est presque toujours le bon choix.
• Si votre matériel est modeste (16 Go ou moins) : un fine-tune italien comme LLaMAntino, ou un Qwen3 8B, battent souvent un Llama 3.1 8B pour des tâches en italien.
• Avant de vous fier aux chiffres : le test avec 30 exemples à vous vaut mieux que n'importe quel tableau. Les éditeurs déclarent ce qu'ils ont mesuré ; vous, mesurez ce dont vous avez besoin.

L'italien dans les modèles locaux n'est plus une limite : c'est une variable que vous pouvez mesurer. Choisissez selon ce dont vous avez besoin, pas selon ce qu'on vous dit de « ça marche ».

Article généré par IA