Ce qui se passe vraiment quand Claude te répond

Le rapport de 80 pages qui finit mal

Scène vécue chez un client en mars dernier : une juriste colle un contrat de 80 pages dans un chatbot, pose douze questions à la suite, et s'étonne qu'à la treizième, la réponse contredise l'article 4 du document. Le contrat était pourtant « dans la conversation ». Sa conclusion : « l'IA ment ». La vraie explication tient en deux notions que cette leçon va installer une bonne fois : les tokens et la fenêtre de contexte. Une fois que tu les as, 80 % des comportements bizarres d'un LLM deviennent prévisibles.

Un LLM ne lit pas des mots

Claude, comme tous les grands modèles de langage, ne manipule ni lettres ni mots : il découpe le texte en tokens, des fragments statistiquement fréquents. « Bonjour » tient en un token ; « anticonstitutionnellement » en prend plusieurs ; un émoji ou un bout de code JSON aussi. Les ordres de grandeur à retenir :

• 1 token ≈ 4 caractères en anglais, un peu moins en français (nos accents et nos mots longs coûtent plus cher) ;
• 1 000 tokens ≈ 700 à 750 mots ;
• une page A4 de texte dense ≈ 500 à 600 tokens.

Le modèle fait ensuite une seule chose, en boucle : prédire le token suivant le plus plausible compte tenu de tout ce qui précède. Pas de base de données interrogée, pas de « compréhension » au sens humain : une prédiction statistique d'une puissance déconcertante, entraînée sur d'immenses corpus de texte. C'est pour ça qu'un LLM peut affirmer avec aplomb une chose fausse : « plausible » et « vrai » ne sont pas le même mot.

La fenêtre de contexte : la mémoire de travail

Tout ce que le modèle « voit » à un instant donné tient dans sa fenêtre de contexte : une limite en tokens qui englobe *l'ensemble* de la conversation. Sur les modèles Claude récents, elle va de 200 000 tokens (environ 500 pages) à 1 million selon le modèle. Ça paraît énorme. Mais fais le compte de ce qui s'y entasse :

• les instructions système (les consignes permanentes, visibles ou non) ;
• tout l'historique de la conversation, tes messages ET les réponses de Claude ;
• les fichiers que tu as joints, convertis en tokens ;
• la réponse en cours de génération, qui consomme aussi sa part.

Notre juriste avait donc empilé un contrat de ~45 000 tokens, douze allers-retours de questions-réponses, plus quelques copier-coller annexes. Rien ne « ment » : passé un certain volume, le modèle dispose d'une masse d'information telle que les détails du début pèsent moins dans sa prédiction. Et sur des conversations vraiment longues, certaines interfaces résument ou tronquent silencieusement les anciens échanges.

Trois conséquences pratiques immédiates

Une conversation neuve vaut mieux qu'une conversation fleuve. Quand tu changes de sujet, ouvre une nouvelle discussion. L'historique accumulé n'aide pas, il dilue. Les meilleurs utilisateurs que je connais ouvrent dix conversations courtes par jour, pas une géante.

Place l'important près de la question. Si tu joins un long document, formule ta demande après lui, et cite explicitement le passage qui compte (« concentre-toi sur l'article 4, page 12 »). Tu guides la prédiction au lieu d'espérer qu'elle retrouve l'aiguille seule.

Claude n'a pas de mémoire entre les conversations par défaut. Ce que tu lui as dit hier dans une autre discussion n'existe plus (les Projets et les fonctions de mémoire, qu'on verra en partie 2, servent précisément à recréer une continuité contrôlée). Croire le contraire est l'erreur numéro un des débutants.

À toi

Estime le nombre de tokens de ces trois éléments : (a) un email de 150 mots, (b) un PDF de 40 pages denses, (c) une conversation de 20 allers-retours d'environ 200 mots chacun.

(a) ≈ 200-220 tokens. (b) ≈ 20 000 à 24 000 tokens (500-600 par page). (c) 40 messages × ~270 tokens ≈ 11 000 tokens — et oui, les réponses de Claude comptent dedans. Moralité : le PDF pèse à lui seul le double de toute la conversation.

Prochaine étape : maintenant que tu sais ce qu'un modèle fait, voyons *lesquels* existent chez Anthropic et comment la gamme est organisée.