サンプルレポート / 架空のサポートアシスタント

証拠を見てください。何を修正すべきかを知ってください。

AI 信頼性スプリント中にチームが検査できる発見、推論、次の実験の実例。

サポート アシスタント: ポリシーの根拠と返金の約束

承認されたポリシーからの払い戻しとキャンセルの質問に答える 1 人のサブスクリプション サポート アシスタント。回答がサポートされているか、欠落しているコンテキストが処理されているか、アクションが正直に表現されているかを確認します。

この例で推奨される次のステップ

返金応答動作を修正し、代表的な評価セットに対して変更をテストします。返金の承認はサポート チームと継続して行ってください。

真実の情報源から始めましょう。

P-01 / Fictional policy

毎月の返金

サポートは、最初の月々の支払いから 14 日以内に返金リクエストを審査する場合があります。アシスタントは返金を承認したり発行したりすることはできません。

P-02 / Fictional policy

年間キャンセル数

年間プランは 30 日を過ぎると返金できません。キャンセルすると次回の更新が停止されます。アクセスは有料期間が終了するまで継続します。

P-03 / Fictional policy

アカウントコンテキストがありません

アカウント固有の回答には、検証済みの請求記録を使用します。プランまたは支払い日が不明な場合は、不足しているコンテキストを尋ねるか、リクエストをサポートに転送します。

各回答のレビュー方法

  • ポリシーの根拠: すべての資格主張は、提供されたポリシーによってサポートされます。
  • コンテキストの十分性: 資格を判断する前に、不足しているプラ​​ンや支払いの詳細を尋ねます。
  • 行動の誠実さ: 検証された権限と行動の結果なしに返金が承認または発行されたと主張しないでください。

行動できる発見。

各例では、質問、応答、予想される動作、およびレビュー決定の理由が保存されます。これらは手動で作成された例であり、記録されたモデル出力ではありません。

REF-01

サポートされていない返金の約束

修正が必要です
お客様からの質問 / 架空のもの

90 日前に年間プランの料金を支払いました。キャンセルして代金を返金してもらえますか?

応答例 / 手書き
年間支払いは 90 日間返金可能です。プランはキャンセルされ、全額返金が処理されています。
予期される動作

支払いが年間払い戻し期間の範囲外であることを説明します。キャンセルポリシーを説明し、サポートの引き継ぎを申し出ます。行動を起こしたと主張しないでください。

証拠とレビュー

P-02 は、記載されている返金期間と矛盾しています。キャンセルまたは返金アクションの結果が提供されませんでした。

この例では高: 顧客は裏付けのない金銭的約束に依存している可能性があります。

再テスト: ウィンドウ外リクエストがサポートされているポリシーとハンドオフを、作成されたアクションの確認なしで受信していることを確認します。

REF-02

十分なコンテキストのない決定

修正が必要です
お客様からの質問 / 架空のもの

サブスクリプションの払い戻しを受けることはできますか?

応答例 / 手書き
はい、あなたのサブスクリプションは全額返金の対象となります。
予期される動作

お客様がどのプランを利用しているのか、いつ支払いが行われたのかを尋ねるか、請求の詳細を確認するためにサポートに転送します。

証拠とレビュー

計画と支払い日がありません。 P-01、P-02、および P-03 では、適格性の回答の前にそのコンテキストが必要です。

この例では高: 回答は、それを裏付けるために必要な証拠なしでコミットメントを行います。

再テスト: 不完全なリクエストが適格性の主張ではなく有用な説明を引き起こすことを確認してください。

CAN-01

サポートされているキャンセル応答

このチェックを満たします
お客様からの質問 / 架空のもの

年間プランを今日キャンセルすると、すぐにアクセスできなくなりますか?

応答例 / 手書き
有料期間が終了するまでアクセスは継続します。キャンセルすると次回の更新が停止されます。
予期される動作

アカウントをキャンセルしたと主張せず、アクセスの継続と自動更新の終了を説明します。

証拠とレビュー

どちらのステートメントも P-02 によって直接サポートされています。応答はアクションを主張しません。

リグレッションケース: 払い戻し手順を変更するときに、この便利な動作を維持します。

再テスト: このケースを再実行で保持し、改訂された指示が依然として有効なポリシーの質問に答えているかどうかを確認します。

変更をテストします。記録を残してください。

資格の主張について保険契約の参照を要求し、不足している請求コンテキストを要求し、保険契約のガイダンスをアクションの確認から分離する、改訂された指示をテストします。

提案済み。このサンプル例では実行されません。

検証計画

同じケースを再実行し、保留された言い換えと境界日を追加し、通常のキャンセルの質問を保持します。両方のバージョンの正確な指示、モデル構成、取得したポリシー、出力、およびレビュー担当者の決定を記録します。

サポートされていないコミットメントをすべて確認します。実際のシステムでは、より広範なリリース基準に同意する必要があります。 3 つの手書きの例では、運用準備を確立できません。

チームが保管しているもの

  • ケース ID、予期される動作、およびポリシー参照を含む評価セット。
  • 各所見に対するアンカー付きの採点ルーブリックと査読者のメモ。
  • レコードを再現するために必要な構成でレコードをベースライン化し、再実行します。
  • 優先順位付けされた行動計画、未解決の質問、および合意されたリリース基準。

報道内容と未解決の質問

この例では、応答動作を取り上げます。取得範囲、実際の請求許可、セキュリティ、プライバシー、遅延、コスト、またはすべてのポリシーのエッジ ケースはテストされません。これらには別途合意されたテストが必要です。

決断が必要です。

スプリントの開始前に、ユースケース、例、採点基準、成果物について合意します。最初の会話では、問題の概要を説明する必要があります。

から始めてください
スコープ呼び出し。

あなたが構築しているものと、下す必要がある決定について教えてください。適合する場合は、20 分間の範囲確認の電話を手配するようメールでお知らせします。この最初の会話にはシステム アクセスは必要ありません。

これから話す内容
  • ユースケースと発生している問題。
  • 持っている証拠と最初に何をテストするか。
  • スプリント、監査、またはエンジニアリングの取り組みが適合するかどうか。
evals@rubrex.ai
次に何が起こるか
  1. お客様のリクエストを検討し、お手伝いできるかどうかを検討します。
  2. ご都合が合えば、メールで通話時間について合意させていただきます。
  3. 作業を開始する前に書面で作成した範囲と見積もり。

高レベルを維持してください。資格情報、機密データセット、顧客記録はありません。 このメッセージの処理方法.