Comment tester le rappel de récupération sans récompenser un contexte non pertinent

La granularité des questions modifie ce qu'un benchmark teste

HieraRAG étudie comment la granularité des questions synthétiques affecte la discrimination entre les configurations RAG. Ragas identifie séparément le rappel du contexte et la précision du contexte comme dimensions d'évaluation. Ensemble, ils fournissent une raison d’examiner à la fois la couverture des preuves et l’utilité du matériel renvoyé.

Preuve : Dans quelle mesure un indice de référence RAG doit-il être précis ? Un cadre hiérarchique pour la génération de questions synthétiques [1]Liste des métriques disponibles [2]

Créez une exigence de preuves pour chaque question

Pour chaque cas, écrivez les faits qui doivent être récupérables à partir du contexte récupéré. Associez chaque fait à un ou plusieurs passages acceptables. Lorsque plusieurs sources peuvent étayer le même fait, n’exigez pas un seul identifiant de document arbitraire. Lorsqu'une conclusion nécessite deux documents, enregistrez les deux dépendances.

Utilisez des étiquettes explicites pour les preuves nécessaires, complémentaires mais facultatives, contradictoires ou non pertinentes. Cela donne aux réviseurs un moyen d'expliquer pourquoi un résultat de récupération échoue. Un score général de similarité sémantique peut constituer un diagnostic utile, mais il ne permet pas d'établir que l'exception ou la condition de qualification requise a été trouvée.

Comparez la récupération avec un budget maîtrisé

Rubrex recommande de maintenir constants l'ensemble de questions, l'instantané du corpus, la politique d'accès et le générateur lors de l'enquête sur une modification du récupérateur. Enregistrez la limite de passage, le budget des jetons, la configuration de reclassement et toute troncature. Une comparaison entre dix passages courts et dix documents entiers ne contrôle pas la même ressource.

Inspectez les échecs de récupération par catégorie : vocabulaire incorrect, source manquante, segmentation, autorisations médiocres, indexation ou classement obsolète. Certains ne sont pas des problèmes de modèle retriever. Si la stratégie nécessaire n’est jamais entrée dans l’index, la modification des intégrations ne la récupérera pas.

• Séparez la couverture du corpus du succès de la récupération au sein du corpus.
• Comptez les unités de preuve requises, avec la règle d'étiquetage documentée.
• Conservez le contexte réel envoyé en aval, pas seulement les résultats de recherche.
• Mesurez le comportement de réponse après tout changement orienté vers le rappel.

Exemple illustratif : l’exception habite ailleurs

Un client demande si un forfait annuel peut être annulé après un renouvellement. Les conditions générales d'annulation sont récupérées, mais une exception spécifique au compte figure dans un document autorisé distinct. Un évaluateur de pertinence du sujet peut attribuer un score élevé au résultat alors que les preuves nécessaires à la réponse restent incomplètes.

La référence doit préciser à la fois la règle générale et l’exception applicable. Si le document d'exception est inaccessible à cet utilisateur, la réponse attendue doit également respecter cette contrainte. Une évaluation de récupération ne devrait jamais récompenser l’exposition d’un document que l’utilisateur demandeur n’a pas le droit de voir.

Transformez les échecs en une expérience de récupération

Sélectionnez une intervention liée à l'échec observé : améliorer la couverture d'indexation, ajuster les limites des fragments, conserver les titres, ajouter des filtres de métadonnées ou modifier le reclassement. Mesurez le résultat apparié et examinez les échecs nouvellement introduits. Conservez les exemples originaux dans la suite de régression même après la correction de l'échec immédiat.

Questions courantes