RAG评估指标：分别衡量检索和答案

当前的度量框架涵盖哪些内容

Ragas 记录了上下文精确度、上下文回忆、忠实度、答案相关性和噪声敏感性的单独指标。 EnterpriseRAG 是 2026 年 8 月的预印本，还检查了嘈杂的证据、知识差距、相互矛盾的事实和多重指令。后者强调了干净的问答基准可能会忽略的条件。

证据： 可用指标列表 [1]EnterpriseRAG：非理想企业检索下的 LLM 指令依从性和稳健性基准测试 [2]

从需要检测的故障中选择指标

上下文精度询问在所选的相关性规则下检索到的材料有多少是有用的。上下文回忆询问是否恢复了所需的证据。忠实性涉及在所提供的上下文中对生成的声明的支持。答案的正确性需要特定于任务的参考或其他合理的判断过程。这些不是可以互换的问题。

在对检索进行评分之前定义什么算作相关段落。一篇文章可能会提到正确的主题，但不包含回答问题所需的例外情况。同样，答案可能由过时的上下文支持，但对于用户当前的请求来说仍然是错误的。保持来源的新鲜度和权威性可见。

构建诊断评估矩阵

Rubrex 建议冻结语料库快照，并针对证据充分、证据缺失、证据矛盾和不相关的添加创建案例。在这些条件下运行同样的问题，转型仍然是现实的。记录检索配置和提供给生成器的最终上下文。

与检索器分开评估答案。改变这两个组件的实验对于产品决策可能有用，但很难诊断。首先衡量端到端的效果；然后隔离组件以了解更改来自何处。

说明性示例：召回率上升，有用性下降

检索器开始返回更多段落。它现在更频繁地包含正确的政策，但也提供具有类似措辞的旧版本。检索覆盖率有所提高，而答案则越来越多地应用过时的规则。仅报告召回率的仪表板将错过回归。

检查文档版本和权限，然后测试过滤​​或重新排名更改。保持问题集固定并比较检索和最终答案行为。不要认为减少段落数量总是解决办法；它可能会删除多文档问题的必要证据。

使报告解释权衡

显示每切片结果、代表性故障、使用的配置以及判定分数的不确定性。除了平均值之外还包括严重的约束违规。有用的读数解释了接下来要测试的更改以及哪个结果将支持或拒绝假设。它不会停留在颜色编码的公制面板上。

运行从问题到证据的 RAG 评估

对于第一次 RAG 评估，创建一条记录，其中包含问题、语料库版本、支持段落、检索到的段落、最终答案和预期行为。标记应回答的问题以及系统应要求澄清或弃权的问题。这可以让审阅者区分缺失的来源和忽略已存在来源的答案。

Rubrex 建议在更改检索深度、分块或答案提示之前使用冻结的问题集运行 RAG 评估。按记录比较基线记录和候选记录。例如，如果候选人检索到正确的策略，但引用了过时的例外，则保留检索成功和答案失败。在汇总分数之前商定哪些失败会阻碍决策。

您可以检查的四个案例 RAG 示例

可下载的工作表包含四个简短的、虚构的段落和四个问题。基线答案和候选答案都是创作的快照；没有法学硕士生成它们。它们说明了如何诊断故障，而不是生产系统中观察到的改进。接受合同是明确的：使用现有证据，引用它，并在语料库无法回答时弃权。

语料库故意包含相互冲突的退款政策。 funding-current 允许在 14 天内对未使用的订阅进行退款；退款旧表示 30 天并标记为已存档。运输状态为 3 至 5 个工作日。 cancel-current 表示在“设置”>“计费”中取消并保留访问权限，直到付费期结束。没有段落包含电话支持号码。一段话可以支持答案，但根据当前政策合同仍然不符合资格。

• 下载段落、问题、答案和标签 (JSON)

在选择修复之前计算单独的分数

证据覆盖率对检索每个所需当前段落的可回答案例进行计数：基线 2/3 和候选 3/3。从该分母中排除无法接听的手机壳，因为它没有必需的通道。这是案例级别的覆盖检查，而不是块级别的上下文回忆。它没有提到不相关的额外块或检索精度。

上下文支持计数事实答案，其主张均得到检索到的段落支持：基线 2/4 和候选 3/3。弃权的候选人将被排除在事实答案评分之外，并根据任务接受情况进行评判。过时的退款答案算作基线中的支持，这揭示了为什么仅支持是不够的。这些是明确的人类创作的二进制标签，而不是 Ragas 分数或自动语义判断。

任务接受计数符合合同的完整答案，包括正确弃权：基线 1/4 和候选人 4/4。不要在分母未变化的情况下比较支持率百分比。该工作表提供了每个标签，以便第二位审阅者可以不同意个人决定，而不是争论无法解释的平均值。

建议的修复是针对退款的版本过滤、针对取消的更严格的索赔通过检查以及针对缺失信息的证据充足规则。在组合之前，在更大的保留集上独立测试每个更改。四个故意构造的案例无法估计真实的错误率、建立统计显着性或证明发布的合理性。保留困难的反例，记录审稿人的分歧，并在每次干预后重新运行未更改的运输控制。

常见问题