Des réseaux récurrents aux grands modèles de langue

Une première façon de traiter une suite de tokens avec un réseau de neurones consiste à les lire un par un, dans l'ordre, en gardant à chaque étape un résumé condensé (un "état caché") de ce qui a été lu…