RAG 与微调：首先诊断问题

确定您可以观察到的故障

从失败的例子开始，询问系统是否有回答所需的证据。如果政策文档不存在，更改模型可能会隐藏检索问题而不是解决它。如果存在证据但输出反复忽略所需的格式，请调查指令和行为。我们的建议是将这些故障类别分开。它们导致不同的实验，并且更容易将任何改进归因于产生它的变化。

建立实用基线

在添加培训管道之前尝试清晰的说明、代表性示例和相关上下文。 OpenAI 描述了一个迭代评估和优化过程，但其当前的文档还警告说，其微调平台正在逐步关闭，并且对新用户不可用。将微调视为一种架构选项，其可用性取决于提供商和模型。在未检查受支持的曲面及其基本模型的生命周期的情况下，请勿围绕旧教程设计项目。

证据： OpenAI模型优化 [1]

比较正确的指标

测试证据可用性和答案支持的检索变化。测试行为会根据您观察到的确切一致性问题而发生变化。共享的保留集有助于比较最终的应用程序，而组件测量则显示性能变化的原因。将训练示例排除在最终评估之外，并记录重复项的处理情况。该表提出了测量定义；它并不声称某种技术达到了特定的准确性，也不声称任何单一阈值适用于每种产品。

运行更新实验

选择受控源变更，例如修订的产品限制，并通过系统进行跟踪。检查哪些文档、索引、提示、示例和缓存需要更新。确认旧策略不再覆盖新策略，并且无访问权限的用户无法检索该策略。该实验揭示了静态基准测试遗漏的操作工作。选择团队可以满足其维护要求的方法，然后在每次材料来源或模型更改后重复评估。

RAG在AI中代表什么？

RAG 代表检索增强生成：应用程序检索信息并将其提供为生成答案的上下文。检索为模型提供了额外的证据；它并不能证明答案是正确的。 RAG 检索仍然需要合适的来源、访问边界以及识别丢失或冲突证据的方法。

对于对话式应用程序，Rubrex 建议检查后续问题是否检索当前请求的证据，而不是继续先前的假设。通过代理RAG，系统可以在任务期间选择检索步骤或其他动作；评估这些决定和停止条件以及最终答案。在添加自由度之前，使用简单的固定工作流程作为基准。

常见问题