RAG : comment une IA va chercher des documents avant de répondre, et ce que ça ne garantit pas

En une phrase : Le RAG (génération augmentée par la recherche) consiste à aller chercher des passages pertinents dans une base de documents, puis à les glisser dans la demande envoyée au modèle de langage pour qu'il réponde en s'appuyant dessus, ce qui rend ses réponses plus vérifiables sans les rendre infaillibles.

Un modèle de langage ne sait que ce qu'il a vu pendant son entraînement. Il ignore tout de ce qui s'est passé depuis, du règlement intérieur de ton entreprise ou du contenu de tes fichiers. Et quand il ne sait pas, il a tendance à inventer : c'est l'hallucination. Le RAG, pour retrieval-augmented generation (génération augmentée par la recherche), est la réponse la plus répandue à ce problème. C'est ce qui permet à un assistant de répondre à partir d'une documentation interne, ou à un chatbot connecté au web d'afficher des liens sous sa réponse.

D'où vient l'idée

Le terme vient d'un article déposé sur arXiv le 22 mai 2020 par Patrick Lewis et onze coauteurs, issus de Facebook AI Research, de l'University College London et de l'université de New York, puis présenté à la conférence NeurIPS 2020. Les auteurs partent d'un constat : les grands modèles stockent des connaissances dans leurs paramètres, mais ont du mal à y accéder précisément, à indiquer d'où vient une information et à la mettre à jour.

Leur proposition consiste à combiner deux mémoires. La première est « paramétrique » : ce que le modèle a appris pendant son entraînement. La seconde est « non paramétrique » : un index de passages de Wikipédia, interrogé par un module de recherche. Selon l'article, ce montage établissait l'état de l'art sur trois tests de questions-réponses ouverts, et produisait des textes plus précis, plus variés et plus factuels qu'un modèle comparable privé de recherche. L'avantage pratique est simple : pour mettre à jour les connaissances du système, il suffit de changer les documents, sans réentraîner le modèle.

Les étapes, une par une

Les documentations de Mistral AI et d'Anthropic décrivent les mêmes grandes étapes. On peut les résumer en deux temps : préparer la bibliothèque, puis s'en servir à chaque question.

1. Le découpage. Les documents sont coupés en morceaux (en anglais chunks). Le guide de démarrage de Mistral AI prend le cas d'un essai découpé en morceaux de 2 048 caractères, soit 37 morceaux. Il précise que des morceaux plus petits facilitent souvent la recherche, parce que les longs passages contiennent du remplissage qui brouille leur sens, mais qu'ils demandent plus de calcul. On peut aussi couper par phrase, par paragraphe ou par intertitre. Anthropic indique, dans un billet du 19 septembre 2024, que ces morceaux ne dépassent généralement pas quelques centaines de tokens.

2. Les plongements (embeddings). Chaque morceau est converti par un modèle spécialisé en une longue liste de nombres, un vecteur. La documentation de Mistral AI décrit ces plongements comme des représentations vectorielles qui capturent le sens d'un texte par sa position dans un espace à très nombreuses dimensions : deux passages de sens proche donnent des vecteurs proches, même s'ils n'emploient pas les mêmes mots.

3. Le rangement dans une base vectorielle. Ces vecteurs sont stockés dans une base conçue pour retrouver rapidement les plus proches voisins d'un vecteur donné. Le guide de Mistral utilise Faiss, une bibliothèque libre de recherche par similarité.

4. La recherche. Quand tu poses une question, elle est elle-même convertie en vecteur avec le même modèle, et la base renvoie les morceaux les plus proches. La recherche par le sens a un point faible : elle peut rater une correspondance exacte. Anthropic cite le cas d'une recherche sur le code d'erreur « TS-999 » dans une base d'assistance technique, où un modèle de plongements trouvera des passages sur les codes d'erreur en général sans forcément tomber sur le bon. D'où l'usage, très courant, d'une recherche hybride qui combine le sens et les mots-clés (avec l'algorithme BM25), recommandée aussi par la documentation de Microsoft pour son service Azure AI Search.

5. L'insertion dans le contexte. Les morceaux retrouvés sont collés dans la demande envoyée au modèle, avec la question. Le modèle de consigne proposé par Mistral AI demande explicitement de répondre « à partir des informations de contexte et non des connaissances préalables » (traduction Le Latent). Le modèle rédige alors sa réponse en s'appuyant sur ces extraits, et peut indiquer d'où ils viennent.

Le lien avec la fenêtre de contexte

Tout ce que le modèle lit en une fois doit tenir dans sa fenêtre de contexte : ta question, l'historique de la conversation et les documents ajoutés. La documentation d'Anthropic la décrit comme une « mémoire de travail » et indique qu'elle atteint jusqu'à 1 million de tokens selon les modèles Claude (page « Context windows », traduction Le Latent).

Pourquoi ne pas tout y mettre, alors ? Pour une petite base, c'est possible : dans son billet de septembre 2024, Anthropic écrivait qu'en dessous de 200 000 tokens, soit environ 500 pages, on peut inclure toute la base de connaissances dans la demande sans passer par le RAG (Anthropic). Au-delà, il faut trier. Et même quand tout tient, plus n'est pas forcément mieux : la même documentation d'Anthropic précise qu'à mesure que le nombre de tokens augmente, la précision et la capacité à retrouver une information se dégradent, un phénomène qu'elle appelle « context rot » (pourrissement du contexte). Mistral AI signale de son côté le problème dit « lost in the middle », où une information placée au milieu d'un long contexte se perd. Le RAG sert donc aussi à ne donner au modèle que l'essentiel. La documentation de Microsoft le formule ainsi : les modèles acceptent un nombre limité de tokens, et le système de recherche doit renvoyer des résultats pertinents et concis plutôt que des documents entiers.

Des produits qui citent leurs sources

Plusieurs services grand public et outils pour développeurs reposent sur ce principe et affichent leurs sources.

• Claude. Anthropic a annoncé le 20 mars 2025 que Claude pouvait chercher sur le web et fournir des « citations directes » pour que l'utilisateur puisse « facilement vérifier les sources » (traduction Le Latent), puis a étendu la fonction à toutes ses formules le 27 mai 2025. Pour les développeurs, la fonction Citations découpe les documents fournis en phrases et renvoie, pour chaque affirmation, les passages qui la soutiennent.
• Gemini. Côté développeurs, l'option d'ancrage dans la recherche Google de l'API Gemini laisse le modèle décider si une recherche est utile, formuler lui-même une ou plusieurs requêtes, puis renvoyer une réponse annotée de citations. Côté grand public, l'aide des applications Gemini explique qu'un bouton « Sources » apparaît sous certaines réponses, mais que toutes n'en comportent pas.
• Mistral AI propose à la fois un guide pour construire son propre système et, selon sa documentation, des fonctions gérées : des bibliothèques qui importent et indexent les documents, et des connecteurs vers des sources comme Google Drive ou SharePoint.

En entreprise, l'enjeu est aussi la confidentialité : brancher un assistant sur des documents internes oblige à vérifier que chacun ne retrouve que ce qu'il a le droit de voir, un point que la documentation de Microsoft range parmi les principaux défis du RAG. Sur les données personnelles, voir notre rubrique Vie privée.

Ce que le RAG améliore, et ce qu'il ne garantit pas

Le RAG rend les réponses plus vérifiables et plus à jour, et il réduit les hallucinations. Mais il ne les supprime pas, pour plusieurs raisons.

D'abord, la recherche peut échouer : si le bon passage n'est pas retrouvé, le modèle répond à partir d'extraits hors sujet, ou de sa mémoire. Anthropic affirme ainsi que sa méthode de « recherche contextuelle », qui ajoute à chaque morceau une courte description de son document d'origine, réduit de 49 % les recherches ratées, et de 67 % avec une étape de reclassement des résultats (billet de septembre 2024). Ce sont les chiffres d'Anthropic, sur ses propres tests, mais ils montrent qu'une part notable des recherches échouait sans cette méthode.

Ensuite, le modèle peut mal citer. Une étude de chercheurs de Stanford publiée le 30 mai 2024 a testé des assistants de recherche juridique fondés sur le RAG, à une époque où des acteurs du secteur présentaient cette méthode comme un moyen d'« éliminer » les hallucinations ou promettaient des citations « sans hallucination » (traductions Le Latent). Selon les auteurs, Lexis+ AI de LexisNexis et les outils de Thomson Reuters hallucinaient dans 17 % à 33 % des cas, moins que GPT-4 seul, mais loin de zéro. L'étude décrit un défaut propre à ces outils : une réponse peut être juste tout en citant une source qui ne la soutient pas, ou en interprétant mal la source citée.

Même une citation techniquement valide ne prouve pas grand-chose : la documentation de la fonction Citations d'Anthropic garantit que chaque citation pointe vers un passage réel des documents fournis, pas que ce passage dise exactement ce que la réponse affirme (documentation Citations). Et si les documents eux-mêmes sont faux ou périmés, la réponse le sera aussi.

Enfin, les chercheurs d'OpenAI qui ont publié en septembre 2025 un article sur les causes des hallucinations notent que la recherche documentaire n'est pas une panacée : quand elle ne trouve pas de réponse sûre, la façon dont les modèles sont évalués les pousse toujours à deviner plutôt qu'à avouer qu'ils ne savent pas.

En pratique, une réponse accompagnée de sources est plus facile à vérifier, à condition de cliquer sur les liens et de lire les passages cités. Pour les autres notions de base, rendez-vous sur le hub Comprendre ; pour suivre les nouveaux modèles, sur notre rubrique Modèles. Les éditeurs cités ont leur fiche : Mistral AI et Anthropic.

À lire aussi : pourquoi les chatbots hallucinent et comment une IA découpe le texte en tokens.