Tokenizer

Il componente che spezza il testo in token, le unità che il modello legge davvero. Un tokenizer multilingue codifica l'italiano in meno token rispetto a uno anglofono, riducendo calcolo e consumo di contesto.