Métriques d'évaluation RAG : mesurez la récupération et les réponses séparément

Ce que couvrent les cadres métriques actuels

Ragas documente des métriques distinctes pour la précision du contexte, le rappel du contexte, la fidélité, la pertinence des réponses et la sensibilité au bruit. EnterpriseRAG, une prépublication d'août 2026, examine en outre les preuves bruyantes, les lacunes dans les connaissances, les faits contradictoires et les instructions multiples. Ce dernier met en évidence des conditions qu’un test de questions-réponses propre peut omettre.

Preuve : Liste des métriques disponibles [1]EnterpriseRAG : analyse comparative de l'adhésion et de la robustesse des instructions LLM dans le cadre d'une récupération d'entreprise non idéale [2]

Choisissez les métriques de la panne que vous devez détecter

La précision du contexte demande quelle quantité de matériel récupéré est utile selon la règle de pertinence choisie. Le rappel contextuel demande si les preuves requises ont été récupérées. La fidélité concerne la prise en charge des affirmations générées dans le contexte fourni. L'exactitude des réponses nécessite une référence spécifique à la tâche ou un autre processus de jugement défendable. Ce ne sont pas des questions interchangeables.

Définissez ce qui compte comme passage pertinent avant la récupération de la notation. Un passage peut mentionner le bon sujet sans contenir l'exception nécessaire pour répondre à la question. De même, une réponse peut être étayée par un contexte obsolète et rester erronée pour la demande actuelle de l’utilisateur. Gardez la fraîcheur et l’autorité de la source visibles.

Construire une matrice d'évaluation diagnostique

Rubrex recommande de geler un instantané du corpus et de créer des cas pour des preuves suffisantes, des preuves manquantes, des preuves contradictoires et des ajouts non pertinents. Posez la même question dans ces conditions où la transformation reste réaliste. Configuration de récupération d'enregistrement et contexte final fourni au générateur.

Évaluez la réponse séparément du récupérateur. Une expérience qui modifie les deux composants peut être utile pour la décision concernant le produit, mais est difficile à diagnostiquer. Mesurez d’abord l’effet de bout en bout ; puis isolez les composants pour comprendre d'où vient le changement.

Exemple illustratif : le rappel augmente, l'utilité diminue

Un récupérateur commence à renvoyer plus de passages. Il inclut désormais plus souvent la politique correcte, mais fournit également les anciennes versions avec une formulation similaire. La couverture de récupération s'améliore tandis que la réponse applique de plus en plus de règles obsolètes. Un tableau de bord qui ne rapporte que le rappel manquerait la régression.

Inspectez les versions et l'autorité du document, puis testez un changement de filtrage ou de reclassement. Gardez l'ensemble de questions fixe et comparez le comportement de récupération et de réponse finale. Ne présumez pas que réduire le nombre de passages est toujours la solution ; cela peut supprimer les preuves nécessaires pour les questions multi-documents.

Faire en sorte que le rapport explique les compromis

Présentez les résultats par tranche, les échecs représentatifs, la configuration utilisée et l'incertitude des scores jugés. Incluez les violations de contraintes critiques à côté des moyennes. Une lecture utile explique quel changement tester ensuite et quel résultat soutiendrait ou rejetterait l'hypothèse. Cela ne s’arrête pas à un panneau métrique à code couleur.

Exécuter une évaluation RAG de la question à la preuve

Pour une première évaluation RAG, créez un enregistrement contenant la question, la version du corpus, les passages justificatifs, les passages récupérés, la réponse finale et le comportement attendu. Marquez les questions auxquelles il faut répondre et celles pour lesquelles le système doit demander des éclaircissements ou s’abstenir. Cela permet à un réviseur de distinguer une source manquante d'une réponse qui ignore une source déjà présente.

Rubrex recommande d'exécuter des évaluations RAG avec un ensemble de questions gelées avant de modifier la profondeur de récupération, le regroupement ou l'invite de réponse. Comparez la référence et l'enregistrement du candidat par enregistrement. Par exemple, si un candidat récupère la bonne politique mais cite une exception obsolète, conservez à la fois la réussite de la récupération et la réponse échec. Convenez des échecs qui bloquent la décision avant d’agréger les scores.

Un exemple RAG de quatre cas que vous pouvez inspecter

La feuille de travail téléchargeable contient quatre courts passages inventés et quatre questions. Les réponses de base et les réponses candidates sont des instantanés créés ; aucun LLM ne les a générés. Ils illustrent comment diagnostiquer les pannes, et non une amélioration observée dans un système de production. Le contrat d'acceptation est explicite : utiliser les preuves actuelles, les citer et s'abstenir lorsque le corpus ne peut pas répondre.

Le corpus contient délibérément des politiques de remboursement contradictoires. return-current permet le remboursement des abonnements non utilisés dans un délai de 14 jours ; l'ancien remboursement indique 30 jours et est marqué comme archivé. États d’expédition actuels 3 à 5 jours ouvrables. Cancellation-current dit d'annuler dans Paramètres > Facturation et de conserver l'accès jusqu'à la fin de la période payée. Aucun passage ne contient de numéro d'assistance téléphonique. Un passage peut étayer une réponse tout en étant inéligible au titre du contrat d’assurance actuel.

• Téléchargez les passages, questions, réponses et étiquettes (JSON)

Calculez des scores séparés avant de choisir un correctif

La couverture des preuves compte les cas responsables en récupérant chaque passage actuel requis : référence 2/3 et candidat 3/3. Excluez de ce dénominateur le cas téléphonique sans réponse car il n’a aucun passage obligatoire. Il s'agit d'une vérification de couverture au niveau du cas, et non d'un rappel de contexte au niveau du bloc. Cela ne dit rien sur les morceaux supplémentaires non pertinents ou sur la précision de la récupération.

La prise en charge contextuelle compte les réponses factuelles dont les affirmations sont toutes étayées par leurs passages récupérés : ligne de base 2/4 et candidat 3/3. L'abstention du candidat est exclue de la notation des réponses factuelles et jugée en fonction de l'acceptation de la tâche. La réponse obsolète en matière de remboursement est considérée comme prise en charge dans la base de référence, ce qui explique pourquoi la prise en charge à elle seule est insuffisante. Il s’agit d’étiquettes binaires explicites créées par des humains, et non de scores de Ragas ou de jugements sémantiques automatisés.

L'acceptation de la tâche compte les réponses complètes conformes au contrat, y compris l'abstention correcte : baseline 1/4 et candidat 4/4. Ne comparez pas les pourcentages de soutien sans que leurs dénominateurs changent. La feuille de travail fournit chaque étiquette afin qu'un deuxième évaluateur puisse être en désaccord avec une décision individuelle plutôt que de débattre d'une moyenne inexpliquée.

Les correctifs proposés sont un filtrage des versions pour les remboursements, une vérification plus stricte des demandes de passage en cas d'annulation et une règle de suffisance des preuves pour les informations manquantes. Testez chaque changement indépendamment sur un ensemble plus grand avant de les combiner. Quatre cas délibérément construits ne peuvent pas estimer un taux d’erreur réel, établir une signification statistique ou justifier une diffusion. Conservez les contre-exemples difficiles, enregistrez les désaccords des évaluateurs et réexécutez le contrôle d'expédition inchangé après chaque intervention.

Questions courantes