Tokens, n-grammes et contexte

Un modèle de langue ne lit pas le texte lettre par lettre ni forcément mot par mot : il le découpe en tokens, des unités qui peuvent être un mot entier, un fragment de mot, ou même un seul caractère.…