Ce qu'un grand modèle de langage fait (et ne fait pas)

L'avocat qui a fait confiance

En mai 2023, un avocat new-yorkais dépose un mémoire dans l'affaire Mata contre Avianca. Six des décisions de justice qu'il cite n'existent pas : ChatGPT les avait fournies, avec numéros de dossier, noms de juges et extraits convaincants. Le tribunal a sanctionné le cabinet, et l'histoire a fait le tour du monde. Trois ans plus tard, les modèles se sont nettement améliorés, mais le mécanisme qui a produit ces fausses jurisprudences est toujours là, au cœur de chaque LLM. Comprendre ce mécanisme, c'est le point de départ de tout ce cours.

Une machine à prédire la suite

Un grand modèle de langage ne cherche pas dans une base de données et ne « comprend » pas au sens humain. Il fait une seule chose, à une échelle vertigineuse : étant donné un texte, il calcule la suite la plus probable. Tu écris « La capitale de la France est », il estime que « Paris » écrase toutes les autres options, et il l'écrit. Puis il recommence avec le texte allongé. Fragment après fragment (on dira bientôt token après token), il déroule.

Ça paraît trop simple pour produire un mail cohérent ou du code qui compile. Et pourtant. En entraînant un réseau de neurones sur des milliers de milliards de mots, on obtient un système qui a intériorisé la grammaire, des faits, des styles, des schémas de raisonnement, uniquement pour mieux prédire la suite. La « compréhension » qu'on lui prête est un effet de bord de cet entraînement.

Il y a une deuxième couche, moins connue : le post-entraînement. Un modèle brut qui prédit la suite ne fait pas un bon assistant (demande-lui quelque chose, il risque de continuer ta question au lieu d'y répondre). Les laboratoires le raffinent donc avec des exemples de dialogues et du renforcement à partir de préférences humaines, pour qu'il suive des instructions, adopte un ton d'assistant et refuse certaines demandes. C'est cette couche qui rend GPT-5.1 ou Claude agréables à utiliser. Mais elle ne change pas la nature de la bête : dessous, c'est toujours de la prédiction de texte.

Pourquoi cette distinction change tout

Si tu retiens une seule idée de ce cours, prends celle-ci : le modèle produit ce qui *ressemble* le plus à une bonne réponse dans son expérience statistique, pas ce qui *est* vrai. La plupart du temps, les deux coïncident. Parfois non, et il te sort une jurisprudence parfaitement formatée qui n'a jamais existé. On appelle ça une hallucination, et toute la partie 3 est consacrée à en réduire la fréquence.

Cette nature prédictive explique aussi pourquoi le prompt compte autant. Tu ne poses pas une question à un oracle. Tu fournis un début de texte, et tu orientes la suite la plus probable. Un prompt vague ouvre un espace de suites possibles immense, dont beaucoup ne te conviennent pas. Un prompt précis rétrécit cet espace vers ce que tu veux. Tout le métier tient là.

À retenir : tu ne « parles » pas au modèle, tu rédiges le contexte à partir duquel il va continuer. Écrire un bon prompt, c'est concevoir ce contexte.

Le modèle nu et l'application autour

Une confusion fréquente en 2026 : mélanger le modèle et l'application qui l'emballe. Quand ChatGPT cite une actualité d'hier, ce n'est pas GPT-5.1 qui « sait » : c'est l'application qui a lancé une recherche web et injecté les résultats dans le contexte avant de générer. Quand Claude « se souvient » que tu es développeur Python, c'est la fonction mémoire de l'app qui réinjecte une note dans la conversation, pas le modèle qui s'est ré-entraîné sur toi. Le modèle nu reste un prédicteur avec une date de coupure des connaissances ; l'app peut lui brancher des outils (recherche, exécution de code, tes documents).

Cette distinction t'évitera des erreurs de diagnostic. Si une réponse est périmée, c'est peut-être que la recherche web n'était pas activée. Si le modèle ignore un détail donné il y a trois conversations, c'est normal : sans mémoire activée, chaque conversation repart de zéro.

Trois idées fausses à jeter tout de suite

• « Il va sur Internet chercher la réponse. » Seulement si l'application déclenche une recherche, et tu le vois en général à l'écran. Sinon il répond de mémoire, avec sa date de coupure.
• « Il apprend de nos échanges. » Non. Les fonctions « mémoire » de ChatGPT ou Claude sont des notes réinjectées dans le contexte, pas un apprentissage du modèle. Ton usage individuel ne modifie pas ses poids.
• « Si je répète, il finira par comprendre. » Répéter la même question mal posée redonne la même mauvaise réponse, au hasard d'échantillonnage près. Il faut changer le prompt, pas insister.

À toi

Ouvre ton chatbot habituel et demande-lui : « Quelle est la dernière version de ton modèle et quelle est ta date de coupure des connaissances ? » Puis vérifie sa réponse sur le site du fournisseur.

Correction : il y a de bonnes chances que la réponse soit fausse ou vague. Le modèle ne « sait » pas de façon fiable ce qu'il est : sa propre identité est soit apprise (donc possiblement périmée), soit injectée dans un prompt système que tu ne vois pas. Premier réflexe d'opérateur : ce qui sort d'un LLM se vérifie, y compris ce qu'il dit de lui-même.

Dans les leçons suivantes, on regarde ce qu'est vraiment un token, puis les réglages qui gouvernent la prédiction.