無関係なコンテキストに報酬を与えずに検索再現率をテストする方法

質問の粒度によってベンチマークのテスト内容が変わる

HieraRAG は、合成質問の粒度が RAG 構成間の区別にどのように影響するかを研究しています。 Ragas は、コンテキスト再現率とコンテキスト精度を評価次元として個別に特定します。これらを組み合わせることで、証拠範囲と返された資料の有用性の両方を調査する理由が得られます。

証拠: RAG ベンチマークはどの程度粒度が細かい必要がありますか?合成質問生成のための階層フレームワーク [1]利用可能なメトリクスのリスト [2]

各質問に対する証拠要件を作成します。

ケースごとに、取得したコンテキストから回復できる必要がある事実を書き込みます。各事実を 1 つ以上の許容可能な文章にマッピングします。複数のソースが同じ事実をサポートできる場合、任意の 1 つの文書識別子は必要ありません。結論に 2 つの文書が必要な場合は、両方の依存関係を記録します。

必要な証拠、裏付けとなるが任意の証拠、矛盾する証拠、または無関係な証拠には、明示的なラベルを使用します。これにより、レビュー担当者は、検索結果が失敗した理由を説明することができます。一般的な意味類似性スコアは診断に役立つ場合がありますが、必要な例外または適格な条件が見つかったことは証明されません。

管理された予算の下での取得を比較する

Rubrex は、取得者の変更を調査するときに、質問セット、コーパスのスナップショット、アクセス ポリシー、およびジェネレーターの定数を保持することをお勧めします。通過制限、トークンバジェット、再ランキング構成、および切り捨てを記録します。 10 個の短い文章と 10 個の文書全体を比較しても、同じリソースを管理することはできません。

カテゴリ別に検索ミスを検査します: 間違った語彙、ソースの欠落、不十分なセグメンテーション、権限、古いインデックス、またはランキング。レトリーバーモデルの問題ではないものもあります。必要なポリシーがインデックスに入力されていない場合、埋め込みを変更しても回復されません。

• コーパスの範囲をコーパス内の検索成功から分離します。
• ラベル付けルールを文書化して、必要な証拠単位をカウントします。
• 検索結果だけでなく、ダウンストリームに送信された実際のコンテキストを保持します。
• 想起指向の変更後の回答行動を測定します。

実例: 例外は別の場所に存在します

顧客から、年間プランを更新後にキャンセルできるかどうか尋ねられました。一般的なキャンセル ポリシーは取得されますが、アカウント固有の例外は別の承認された文書に記載されています。トピック関連の採点者は、回答に必要な証拠が不完全なままでも、結果に高いスコアを与える可能性があります。

リファレンスでは、一般規則と該当する例外の両方を指定する必要があります。このユーザーが例外ドキュメントにアクセスできない場合、期待される回答もその制約を考慮する必要があります。取得評価では、要求しているユーザーが見る資格のない文書を公開することを報酬として扱うべきではありません。

ミスを検索実験に変える

観察された障害に関連する介入を選択します: インデックス作成範囲の改善、チャンク境界の調整、見出しの保持、メタデータ フィルターの追加、または再ランキングの変更。ペアの結果を測定し、新たに発生した障害を調べます。即時ミスが修正された後でも、元の例を回帰スイートに保持します。

よくある質問