在此页面上
简短的回答
当现有证据不能支持所要求的结论时，RAG 助理应弃权或澄清。使用具有明确定义的预期行为的可回答和不可回答的案例，一起评估不受支持的回答和不必要的拒绝。
拿走什么
- 置信语言不是校准概率。
- 仅拒绝系统可能看似安全，但实际上无法使用。
- 法官根据证据可用性和用户意图弃权。
已检查来源 .研究综合和 Rubrex 建议。示例和本地实验均已标记；它们不是客户结果。
不确定性值得自己评估
URAG 是 2026 年的预印本，利用准确性和预测集大小研究跨 RAG 方法和领域的不确定性量化。它将不确定性视为一种可衡量的属性，而不是一种风格上的对冲。它的研究框架没有提供回答商业问题的通用门槛。
区分答案、澄清、弃权
当证据和任务定义足够时，答案是合适的。当缺少用户详细信息可以解决歧义时，澄清是适当的。当所需证据不存在或所请求的行动超出范围时，弃权是适当的。这些结果在评估中应该有单独的标签。
避免将诸如“可能”或“可能”之类的短语视为决策规则的替代品。模型可以对冲不受支持的断言，但仍然会误导用户。审查实际的主张及其建议的下一步，而不仅仅是其语气。
将可回答和不可回答的案例配对
Rubrex 建议创建在一个决定性证据条件上不同的对。一个案例包含一项已批准的政策；另一个将其删除。第三个包括两项相互矛盾的政策。第四个有足够的证据，但故意使用不熟悉的措辞。这有助于区分适当的弃权和全面拒绝策略。
跟踪无法答复案件的错误答复以及可答复案件的不必要拒绝。保留每个的分母。如果自动置信信号路由案例进行审查，请在代表性的保留示例上验证该信号，并记录阈值附近发生的情况。
说明性示例：未知的积分限制
客户询问集成可接受的最大大小，但索引文档忽略了该限制。即使听起来合理，不受支持的数字答案也应该失败。有用的回应指出，可用的文档并未建立限制，并确定了相关的支持或验证步骤。
现在添加一个具有确切限制的权威文档。助理应该从那个来源回答，而不是继续拒绝。这种配对测试使实用性成为质量标准的一部分，并防止弃权成为避免所有事实错误的简单方法。
从后果中选择阈值
围绕不受支持的答案的成本、审核的成本以及错过帮助机会的成本设置路由和发布标准。不同的任务可能需要不同的阈值。记录所选择的权衡，并在流量或源覆盖范围发生变化时重新评估。
- 保持不明确的情况可见，而不是强制使用二进制标签。
- 记录澄清是否真正解决了任务。
- 衡量后备响应的有用性。
- 在模型、检索或语料库更改后重新检查阈值。
证据的局限性
不确定性估计取决于任务、标签和校准方法。口头表达的信心不会自动校准。所提出的例子是说明性的，URAG 的结果仅限于评估的研究配置。
常见问题
RAG 系统是否应该始终根据检索到的文本进行应答？
仅当检索到的材料支持该任务时。不相关或不完整的检索不应被视为允许猜测。
多少拒绝是可以接受的？
没有通用费率。比较必要的放弃和不必要的拒绝以及每种行为对产品的后果。
来源和进一步阅读
本简报背后的主要来源。来源的研究结果适用于其自身的研究条件； arXiv 上的出版物不建立同行评审。
- URAG：检索增强大型语言模型中不确定性量化的基准 arXiv · 2026 · 预印本已审核： 摘要和出版记录.已访问 2026年9月25日.