RAG 評価メトリクス: 検索と回答を別々に測定する

現在のメトリクス フレームワークがカバーする内容

Ragas は、コンテキストの精度、コンテキストの再現性、忠実性、回答の関連性、およびノイズ感度に関する個別のメトリクスを文書化しています。 2026 年 8 月のプレプリントである EnterpriseRAG では、ノイズの多い証拠、知識のギャップ、矛盾する事実、および複数の指示をさらに調査しています。後者は、クリーンな質疑応答ベンチマークでは省略される可能性がある条件を強調しています。

証拠: 利用可能なメトリクスのリスト [1]EnterpriseRAG: 非理想的なエンタープライズ検索下での LLM 命令の準拠性と堅牢性のベンチマーク [2]

検出する必要がある障害からメトリクスを選択します

コンテキストの精度は、選択した関連性ルールの下で、取得されたマテリアルがどの程度役立つかを尋ねます。コンテキストリコールでは、必要な証拠が回復されたかどうかが尋ねられます。忠実性は、提供されたコンテキストで生成されたクレームのサポートに関係します。回答の正しさには、タスク固有の参照または別の防御可能な判断プロセスが必要です。これらは置き換え可能な質問ではありません。

スコアを取得する前に、何を関連パッセージとしてカウントするかを定義します。質問に答えるために必要な例外が含まれていない文章で、適切なトピックが言及されている場合があります。同様に、回答が古いコンテキストによってサポートされていても、ユーザーの現在のリクエストに対しては間違っている可能性があります。情報源の鮮度と権威性を常に可視化します。

診断評価マトリックスの構築

Rubrex は、コーパスのスナップショットを凍結し、十分な証拠、不足している証拠、矛盾する証拠、および無関係な追加についてのケースを作成することを推奨しています。変換が現実的なままであるこれらの条件に対して同じ質問を実行します。レコード取得構成とジェネレーターに提供される最終コンテキスト。

回答を取得者とは別に評価します。両方のコンポーネントを変更する実験は、製品の決定には役立ちますが、診断は困難です。まずエンドツーエンドの効果を測定します。次に、コンポーネントを分離して、変更がどこから来たのかを理解します。

実例: 再現率は上昇するが、有用性は低下する

レトリーバーがさらに多くのパッセージを返し始めます。正しいポリシーがより頻繁に含まれるようになりましたが、同様の文言を含む古いバージョンも提供されます。検索範囲は向上しますが、回答では古いルールがますます適用されます。リコールのみをレポートするダッシュボードでは回帰を見逃してしまいます。

ドキュメントのバージョンと権限を検査し、フィルタリングまたは再ランキングの変更をテストします。質問セットを固定したままにして、検索と最終回答の動作の両方を比較します。継代数を減らすことが常に解決策であるとは考えないでください。複数の文書に関する質問に対して必要な証拠が削除される可能性があります。

トレードオフを説明するレポートを作成する

スライスごとの結果、代表的な失敗、使用された構成、および判定されたスコアの不確実性を示します。平均値以外に重大な制約違反も含めます。有用な読み物では、次にどの変更をテストするか、どの結果が仮説を支持するか棄却するかを説明します。色分けされたメトリクス パネルにとどまりません。

質問から証拠まで RAG 評価を実行します

最初の RAG 評価では、質問、コーパス バージョン、サポートするパッセージ、取得されたパッセージ、最終的な回答、および予期される動作を含むレコードを作成します。答えるべき質問と、システムが説明を求めるか棄権する必要がある質問にマークを付けます。これにより、レビュー担当者は、不足しているソースと、すでに存在するソースを無視する回答とを区別することができます。

Rubrex では、取得深さ、チャンク化、または回答プロンプトを変更する前に、凍結された質問セットを使用して RAG 評価を実行することをお勧めします。ベースラインと候補のレコードをレコードごとに比較します。たとえば、候補者が正しいポリシーを取得したが、古い例外を引用した場合、取得の成功と回答の失敗の両方を保持します。スコアを集計する前に、どの失敗が決定を妨げているかについて合意します。

検査できる 4 ケースの RAG の例

ダウンロード可能なワークシートには、4 つの短い創作文と 4 つの質問が含まれています。ベースラインと候補の回答はどちらも作成されたスナップショットです。 LLM がそれらを生成しませんでした。これらは、運用システムで観察された改善ではなく、障害を診断する方法を示しています。受け入れ契約は明示的です。現在の証拠を使用し、引用し、コーパスが回答できない場合は棄権します。

コーパスには、矛盾する返金ポリシーが意図的に含まれています。 return-current では、未使用のサブスクリプションの 14 日以内の払い戻しが可能です。 return-old には 30 日と表示され、アーカイブ済みとしてマークされています。発送 - 現状 3 ～ 5 営業日。 cancel-current は、[設定] > [請求] でキャンセルし、有料期間が終了するまでアクセスを保持するように指示します。電話サポート番号が記載されている箇所はありません。現在の保険契約では不適格であっても、一節が答えを裏付けることがあります。

• パッセージ、質問、回答、ラベルをダウンロードします (JSON)

修正を選択する前に個別のスコアを計算する

証拠網羅率は、必要な現在のパッセージすべてを検索する回答可能なケースをカウントします: ベースライン 2/3 および候補 3/3。電話に出られないケースは必須の通路がないため、この分母から除外します。これはケースレベルのカバレッジチェックであり、チャンクレベルのコンテキストの呼び出しではありません。無関係な余分なチャンクや取得精度については何も述べていません。

コンテキストサポートは、その主張がすべて検索された文章によって裏付けられている事実に基づく回答をカウントします: ベースライン 2/4 および候補 3/3。候補者の棄権は事実回答の採点から除外され、代わりに課題の受諾に基づいて判断されます。古い返金回答はベースラインでサポートされているものとしてカウントされており、サポートだけでは不十分な理由が明らかになります。これらは、人間が作成した明示的なバイナリ ラベルであり、Ragas スコアや自動化されたセマンティック判断ではありません。

タスクの承認は、正しい棄権を含む、契約を満たす完全な回答をカウントします: ベースライン 1/4、候補者 4/4。分母を変えずに支持率を比較しないでください。ワークシートにはすべてのラベルが記載されているため、2 番目のレビュー担当者は説明のつかない平均について議論するのではなく、個々の決定に同意できません。

提案されている修正案は、払い戻しのためのバージョンフィルタリング、キャンセルのためのより厳密な請求から通過までのチェック、欠落情報に対する証拠十分性ルールです。結合する前に、より大きなホールドアウト セットで各変更を個別にテストします。意図的に構築された 4 つのケースでは、実際のエラー率を推定したり、統計的有意性を確立したり、リリースを正当化したりすることはできません。難しい反例を保持し、レビュー担当者の意見の相違を記録し、介入のたびに変更されていない出荷管理を再実行します。

よくある質問