在此页面上
简短的回答
根据回答每个问题所需的证据来测试检索回忆，而不是根据仅共享其主题的文档列表。记录部分覆盖率和缺失的异常，然后评估检索到的其他上下文是否有助于最终答案。
拿走什么
- 在决策所需的级别标记支持证据。
- 包括需要多于一篇文章的问题。
- 在比较过程中保持检索预算和语料库版本固定。
已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记；它们不是客户结果。
问题粒度改变了基准测试的内容
HieraRAG 研究综合问题粒度如何影响 RAG 配置之间的区分。 Ragas分别将上下文召回率和上下文精确度确定为评价维度。它们共同提供了检查证据覆盖范围和返回材料的有用性的理由。
为每个问题创建证据要求
对于每种情况，写入必须从检索到的上下文中恢复的事实。将每个事实映射到一个或多个可接受的段落。当多个来源可以支持同一事实时，不需要一个任意的文档标识符。如果结论需要两个文档，请记录两个依赖关系。
对必要的、支持性的但可选的、矛盾的或不相关的证据使用明确的标签。这为审阅者提供了一种解释检索结果失败原因的方法。一般语义相似性分数可能是有用的诊断，但它并不能确定是否找到了所需的例外或限定条件。
在受控预算下比较检索
Rubrex 建议在调查检索器更改时保持问题集、语料库快照、访问策略和生成器不变。记录通过限制、代币预算、重新排名配置和任何截断。十个短段落和十个完整文档之间的比较并不控制相同的资源。
按类别检查检索缺失：错误的词汇、缺失的来源、不良的分段、权限、过时的索引或排名。有些不是猎犬模型的问题。如果必要的策略从未进入索引，则更改嵌入将无法恢复它。
- 将语料库覆盖率与语料库内的检索成功分开。
- 计算所需的证据单元，并记录标签规则。
- 保留发送到下游的实际上下文，而不仅仅是搜索结果。
- 在任何以回忆为导向的更改后测量答案行为。
说明性示例：异常存在于其他地方
客户询问包年套餐续费后是否可以取消。检索一般取消政策，但特定于帐户的例外情况位于单独的授权文档中。主题相关性评分者可能会给结果打高分，而答案所需的证据仍然不完整。
参考文献应指定一般规则和适用的例外情况。如果该用户无法访问异常文档，则预期答案也必须遵守该约束。检索评估绝不应该奖励公开请求用户无权查看的文档。
将未命中变成检索实验
选择与观察到的故障相关的干预措施：提高索引覆盖率、调整块边界、保留标题、添加元数据过滤器或更改重新排名。测量配对结果并检查新引入的故障。即使在修复了立即缺失之后，仍将原始示例保留在回归套件中。
证据的局限性
召回率取决于证据标签的完整性。参考集本身可以省略有效的支持段落。这里的方法是建议的评估实践；对合成问题粒度的研究并没有为另一个语料库建立最佳检索设置。
常见问题
top-k 越大越好吗？
不。它可以提高覆盖率，同时引入干扰因素、陈旧内容或截断。测量最终答案以及检索到的集合。
相关性判断可以自动化吗？
它们可以协助审查，但可以根据标记的示例进行校准，并检查对相应证据要求的分歧。
来源和进一步阅读
本简报背后的主要来源。来源的研究结果适用于其自身的研究条件； arXiv 上的出版物不建立同行评审。
- RAG 基准应该有多细粒度？综合问题生成的分层框架 arXiv · 2026 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.
- 可用指标列表 拉格斯 · 生活参考 · 维护文档已审核： 公制分类法.已访问 2026年9月25日.