在此页面上
简短的回答
通过提供不同意的可信来源并定义应由哪个权威、日期和范围来管理答案,来测试冲突文档行为。当该信息丢失时,评估系统是否澄清或报告冲突,而不是发明解决方案。
拿走什么
- 文档新近度与文档权限不同。
- 根据所有必需的约束对整个答案进行评分。
- 包括澄清是正确结果的情况。
已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记;它们不是客户结果。
企业检索并不总是干净的
EnterpriseRAG 明确包含事实冲突和知识差距以及检索噪声。其 2026 年预印本报告指出,满足单独的约束可能会掩盖无法同时满足这些约束的情况。实际意义是为需求组合创建测试,同时将基准报告的结果保持在其自身的研究条件内。
先写源解析策略
确定每个任务的权威来源以及如何解释版本。最近的草案可能不会取代已批准的政策。区域附录可能会覆盖仅针对特定用户的一般规则。尽可能将这些关系编码在可检索的元数据中,而不是期望模型从措辞中推断出它们。
区分出版日期、生效日期、检索时间。他们回答不同的问题。今天发布的文件可以描述下季度生效的规则。评估参考必须指定与用户请求相关的日期。
构建受控冲突案例
Rubrex 建议从一个受支持的、明确的案例开始,一次引入一个冲突。添加过时的版本、未签名的草稿、特定于区域的例外情况或没有生效日期的文档。保留合理的格式,使任务类似于实际检索。
在运行系统之前定义预期行为。有时应选择已批准的现行政策。有时它应该询问哪个日期或地区适用。有时它应该提出分歧并推迟。总是奖励果断答案的测试将阻止适当的不确定性。
| 状况 | 预期响应 |
|---|---|
| 已批准的策略加上过时的版本 | 使用适用的批准版本并解释范围 |
| 两个同等权威的冲突规则 | 确认冲突并请求解决 |
| 未来生效日期 | 将当前行为与已宣布的更改分开 |
| 缺少区域或帐户上下文 | 询问选择规则所需的信息 |
说明性示例:草稿较新
支持助理检索当前的退款政策和条款更宽松的新草案。它选择草稿是因为它具有最新的时间戳。失败不仅仅是数据陈旧问题;批准状态和新近度之间缺少区别。
测试元数据感知检索更改或源选择规则。包括一个控件,其中较新的文档确实是已批准的替换文档。否则,总是有利于旧文档的修复可能会通过原始示例,同时创建不同类别的错误。
在读数中保留冲突证据
记录源版本、权威假设、预期解决方案和实际答案。将不受支持的解决方案与明确拒绝或澄清请求分开跟踪。目标是了解助手是否适当地处理不确定性,而不是最大化其不间断回答的问题数量。
证据的局限性
冲突策略必须来自于产品的真实操作规则。本文不定义您的文档的法律或组织权限。 EnterpriseRAG 是预印本,其基准测试结果并不能确定应用程序的故障率。
常见问题
最新的来源应该总是获胜吗?
否。批准状态、生效日期、区域和任务范围可能比发布时间更重要。
要求澄清是失败吗?
当任务确实缺乏正确决策所需的信息时则不然。对澄清是否必要且有用进行评分。
来源和进一步阅读
本简报背后的主要来源。来源的研究结果适用于其自身的研究条件; arXiv 上的出版物不建立同行评审。
- EnterpriseRAG:非理想企业检索下的 LLM 指令依从性和稳健性基准测试 arXiv · 2026 · 预印本已审核: 摘要和出版记录.已访问 2026年9月25日.