Citations RAG : une réponse correcte peut toujours citer de mauvaises preuves

Ce que la recherche de septembre 2026 ajoute

Une prépublication du 19 septembre 2026 étudie la post-rationalisation des citations en comparant un modèle adapté aux instructions avec des agents RLVR associés. Il rapporte que les récompenses pour de meilleures réponses n’ont pas résolu la fidélité des citations dans cette configuration. Une étude mécanistique distincte de 2026 examine l’attribution dans un modèle et un ensemble de données contrôlés. Les deux mettent en garde contre l’assimilation d’une citation jointe à une utilisation démontrée de preuves.

Preuve : Post-rationalisation attribuable dans les citations RAG : une reproduction contrôlée et une comparaison RLVR [1]Comment les LLM citent-ils ? Une interprétation mécaniste de l'attribution dans la génération augmentée par récupération [2]

Séparez trois questions de citation

Le support demande si le texte cité justifie la réclamation. La couverture demande si les affirmations matérielles de la réponse sont correctement citées. La fidélité causale demande si les preuves citées ont influencé la réponse plutôt que d'être attachées par la suite. Les deux premiers peuvent souvent être examinés à partir du résultat et des passages. Le troisième est plus difficile à établir à partir d’une seule transcription.

Enregistrez l’autorité source et l’heure sous forme de dimensions distinctes. Une citation parfaitement adaptée d’une politique obsolète peut toujours induire l’utilisateur en erreur. De même, une citation à la fin d’un paragraphe peut soutenir une phrase et laisser le reste sans support. Examinez au niveau de la réclamation lorsque ces distinctions sont importantes.

Créer une revue de citations inspectable

Rubrex recommande de diviser une réponse en affirmations matérielles et de relier chacune au passage exact à l’appui. Étiquette de cas appuyés, contredits, insuffisants et non évaluables. Conservez suffisamment de texte environnant pour éviter de traiter une phrase isolée comme une preuve. Capturez un instantané source ou une version stable lorsque cela est autorisé.

Pour une expérience contrôlée, modifiez ou supprimez un passage justificatif et comparez la réponse obtenue. De telles interventions peuvent révéler une dépendance mais ne constituent pas un test causal universel : d’autres passages ou connaissances antérieures peuvent étayer la même affirmation. Documentez les preuves alternatives avant d’interpréter le changement.

Exemple illustratif : la date change le sens

Un assistant indique qu'une fonctionnalité est disponible pour chaque compte et renvoie à une note de version. La note décrit en fait la disponibilité d'une version bêta limitée au cours d'un mois précédent. Le lien est résolu et le nom de la fonctionnalité correspond, mais l'affirmation dépasse les preuves.

Un évaluateur utile demande si le texte cité prend en charge la portée et la date du déploiement, et non si la réponse inclut une URL. L'expérience corrective pourrait nécessiter une extraction explicite de l'éligibilité et du calendrier avant le résumé. Comparez la réponse révisée sur les cas de déploiement limité et de disponibilité générale.

Signalez ce qui a été testé, pas une large étiquette de confiance

Publiez séparément la prise en charge des citations, la couverture, le nombre de références brisées et les inadéquations temporelles. Montrez des exemples de réclamations non fondées et expliquez le processus d’examen. Si l’usage causal n’a pas été testé, dites-le. Cela produit une déclaration de qualité plus défendable que de décrire une réponse comme vérifiée simplement parce qu'elle contient des références.

Enquêter sur une hallucination LLM au niveau de la réclamation

Lorsque vous enquêtez sur une hallucination LLM, séparez une affirmation non étayée d'une affirmation étayée par une source incorrecte ou obsolète. Dans un flux de travail RAG, conservez les passages exacts disponibles pour le générateur et identifiez quel passage, le cas échéant, soutient chaque affirmation importante. Une chaîne en forme de citation ne constitue pas une preuve suffisante que la revendication découle du document.

Rubrex recommande de revoir ensemble la question, la revendication, le passage cité, la date source et la correction requise. Si la preuve est manquante, tester le comportement de récupération ou d'abstention ; si des preuves sont présentes mais mal utilisées, testez l’étape de génération de réponse. Gardez le diagnostic suffisamment précis pour qu'une expérience de suivi puisse le confirmer ou le rejeter.

Questions courantes