RAG アシスタントはどのような場合に「わからない」と言うべきですか?

不確実性はそれ自体の評価に値する

2026 年のプレプリントである URAG は、精度と予測セットのサイズを使用して、RAG の手法と領域にわたる不確実性の定量化を研究しています。それは、不確実性をスタイル上の境界線ではなく、測定可能な特性として扱います。その研究フレームワークは、ビジネス上の質問に答えるための普遍的な基準を提供するものではありません。

証拠: URAG: 検索拡張された大規模言語モデルにおける不確実性定量化のベンチマーク [1]

答えを区別し、明確にし、棄権する

証拠とタスクの定義が十分である場合、回答は適切です。ユーザーの詳細が欠落していることで曖昧さが解決される可能性がある場合、明確化が適切です。必要な証拠が存在しない場合、または要求された措置が範囲外である場合には、棄権が適切です。これらの結果には、評価で別のラベルを付ける必要があります。

おそらく、または可能性が高いなどのフレーズを決定ルールの代わりとして扱うことは避けてください。モデルはサポートされていない主張を回避し、ユーザーを誤解させる可能性があります。その論調だけでなく、実際の主張とそれが示唆する次のステップを確認してください。

答えられるケースと答えられないケースをペアにする

Rubrex は、1 つの決定的な証拠条件が異なるペアを作成することをお勧めします。 1 つのケースには承認されたポリシーが含まれています。別の人はそれを削除します。 3 番目には 2 つの相反するポリシーが含まれています。 4番目には十分な証拠がありますが、意図的に馴染みのない表現が使われています。これは、適切な棄権と全面的な棄権戦略を区別するのに役立ちます。

答えられないケースに対する虚偽の回答と、答えられるケースに対する不必要な拒否を追跡します。それぞれの分母を保持します。自動化された信頼度シグナルがレビュー対象のケースをルーティングする場合は、代表的な保留例でそのシグナルを検証し、しきい値付近で何が起こったかを記録します。

説明例: 未知の積分限界

顧客は統合で受け入れられる最大サイズを要求しましたが、インデックス付きドキュメントでは制限が省略されています。サポートされていない数値の回答は、たとえそれがもっともらしく聞こえたとしても失敗するはずです。有用な応答は、利用可能な文書では制限が確立されていないことを示し、関連するサポートまたは検証手順を特定します。

ここで、正確な制限を持つ権限のあるドキュメントを追加します。アシスタントは拒否し続けるのではなく、その情報源から答える必要があります。このペアテストにより、有用性が品質基準の一部となり、棄権がすべての事実上の誤りを回避する簡単な方法になるのを防ぎます。

結果から閾値を選択する

サポートされていない回答のコスト、レビューのコスト、支援の機会を逃した場合のコストに基づいて、ルーティングとリリースの基準を設定します。タスクが異なれば、異なるしきい値が必要になる場合があります。選択したトレードオフを文書化し、トラフィックまたはソース カバレッジが変更されたときにそれを再評価します。

• バイナリラベルを強制するのではなく、あいまいなケースを表示したままにします。
• 明確化によって実際にタスクが解決されるかどうかを記録します。
• フォールバック応答の有用性を測定します。
• モデル、検索、またはコーパスの変更後にしきい値を再チェックします。

よくある質問