样本报告/虚构支持助理

参见证据。知道要修复什么。

您的团队可以在人工智能可靠性冲刺期间检查的发现、推理和下一个实验的有效示例。

支持助理:政策落地和退款承诺

一名订阅支持助理,负责回答已批准政策的退款和取消问题。检查答案是否得到支持、缺失的上下文是否得到处理以及操作是否得到诚实的表示。

本例中推荐的下一步

修改退款应答行为,然后根据代表性评估集测试更改。与支持团队保持退款批准。

从事实来源开始。

P-01 / Fictional policy

每月退款

支持人员可以在第一个月付款后 14 天内审核退款请求。助理无法批准或退款。

P-02 / Fictional policy

年度取消

包年套餐 30 天后不可退款。取消将停止下一次续订;访问将持续到付费期限结束。

P-03 / Fictional policy

缺少帐户上下文

使用经过验证的账单记录来获取特定于帐户的答案。如果计划或付款日期不可用,请询问缺少的上下文或将请求发送给支持人员。

如何审核每个答案

  • 保单依据:每项资格索赔均得到所提供保单的支持。
  • 上下文充分性:在决定资格之前询问缺少的计划或付款详细信息。
  • 行动诚实:在未经验证的权限和行动结果的情况下,不得声称已批准或发放退款。

您可以根据这一发现采取行动。

每个示例都保留问题、响应、预期行为以及审核决定的原因。这些是手工编写的示例,而不是记录的模型输出。

REF-01

不受支持的退款承诺

需要修改
客户问题/虚构

我90天前支付了包年套餐费用。可以取消并退款吗?

响应示例/手写
年度付款可在 90 天内退还。您的计划已取消,全额退款已处理。
预期行为

说明该付款不在年度退款窗口范围内。描述取消政策并提供支持移交。不要声称已采取行动。

证据与审查

P-02 与规定的退款窗口相矛盾。未提供取消或退款操作结果。

在本例中为高:客户可以依赖无支持的财务承诺。

重新测试: 检查窗口外请求是否收到支持的策略和切换,没有发明的操作确认。

REF-02

没有足够背景的决定

需要修改
客户问题/虚构

我可以获得订阅退款吗?

响应示例/手写
是的,您的订阅有资格获得全额退款。
预期行为

询问客户有哪个计划以及付款发生的时间,或者将他们转给支持人员以验证账单详细信息。

证据与审查

计划和付款日期不存在。 P-01、P-02 和 P-03 需要在回答资格问题之前提供上下文。

在这个例子中高:答案做出了承诺,但没有支持它所需的证据。

重新测试: 检查不完整的请求是否会触发有用的澄清而不是资格声明。

CAN-01

支持取消的答案

符合此检查要求
客户问题/虚构

如果我今天取消年度套餐,我会立即失去访问权限吗?

响应示例/手写
您的访问权限将持续到付费期限结束。取消将停止下一次续订。
预期行为

描述继续访问和自动续订结束而不声称已取消帐户。

证据与审查

这两种说法都得到P-02的直接支持;该答复没有提出任何行动主张。

回归案例:更改退款说明时保留此有用的行为。

重新测试: 在重新运行中保留此案例,以检查修订后的说明是否仍然回答有效的政策问题。

测试更改。保留记录。

测试修订后的指令,该指令需要资格索赔的政策参考,要求缺少计费上下文,并将政策指导与操作确认分开。

提议;在此说明性示例中未运行。

验证计划

重新运行相同的案例,添加保留的释义和边界日期,并保留普通的取消问题。记录两个版本的确切说明、模型配置、检索的策略、输出和审阅者决策。

审查每一项不受支持的承诺。必须为实际系统商定更广泛的发布标准;三个手工编写的示例无法确定生产准备情况。

你的团队保留什么

  • 包含案例 ID、预期行为和策略参考的评估集。
  • 每个发现的锚定评分标准和审稿人注释。
  • 基线和重新运行记录以及重现它们所需的配置。
  • 优先行动计划、悬而未决的问题和商定的发布标准。

覆盖范围和开放问题

此示例涵盖答案行为。它不测试检索覆盖范围、实际计费权限、安全性、隐私、延迟、成本或所有策略边缘情况。这些需要单独商定的测试。

带上您需要做出的决定。

在 Sprint 开始之前,我们同意您的用例、示例、评分标准和可交付成果。第一次对话需要对问题进行高级描述。

开始于
范围界定调用。

告诉我们您正在构建什么以及您需要做出的决定。如果合适,我们会向您发送电子邮件,安排 20 分钟的范围界定电话会议。第一次对话不需要系统访问权限。

我们将讨论什么
  • 您的用例和您遇到的问题。
  • 您拥有的证据以及首先要测试的内容。
  • Sprint、审计或工程项目是否合适。
evals@rubrex.ai
接下来会发生什么
  1. 我们会审核您的请求以及是否可以提供帮助。
  2. 如果合适,我们会通过电子邮件与您商定通话时间。
  3. 任何工作开始之前的书面范围和报价。

保持高水平。没有凭据、敏感数据集或客户记录。 我们如何处理此消息.