RAG 引用: 正しい回答でも間違った証拠を引用する可能性があります

2026 年 9 月の調査で追加されたこと

2026 年 9 月 19 日のプレプリントは、命令調整モデルと関連する RLVR エージェントを比較することにより、引用後の合理化を研究しています。その設定では、より良い回答の報酬によって引用の忠実性が解決されなかったと報告しています。 2026 年の別のメカニズム研究では、1 つの制御されたモデルとデータセットにおける帰属が調査されています。どちらも、添付された引用を実証された証拠の使用と同一視することに対して警告しています。

証拠: RAG 引用における帰属可能な事後合理化: 管理された複製と RLVR の比較 [1]LLM はどのように引用しますか?検索拡張生成における帰属の機構的解釈 [2]

3 つの引用質問を分離する

サポートは、引用文が主張を正当化するかどうかを尋ねます。報道では、回答の重要な主張が適切に引用されているかどうかが問われます。因果関係の忠実性は、引用された証拠が後付けされたものではなく、回答に影響を与えたかどうかを尋ねます。最初の 2 つは、多くの場合、出力とパッセージから確認できます。 3 番目については、記録だけから特定するのは困難です。

ソースの権限と時間を別の次元として記録します。古いポリシーからの引用が完全に一致していても、ユーザーに誤解を与える可能性があります。同様に、段落の終わりにある 1 つの引用は 1 つの文をサポートし、残りはサポートされないままになる場合があります。これらの違いが重要な場合は、クレームレベルで検討してください。

検査可能な引用レビューを構築する

Rubrex は、回答を重要な主張に分割し、それぞれを正確な根拠となる文章にリンクすることを推奨しています。支持されている、矛盾している、不十分な、評価できないケースにラベルを付けます。孤立したフレーズが証拠として扱われないように、周囲のテキストを十分に保持してください。許可されている場合は、ソース スナップショットまたは安定バージョンをキャプチャします。

対照実験の場合は、サポートする文章を変更または削除し、結果の答えを比較します。このような介入は依存性を明らかにする可能性がありますが、普遍的な因果関係のテストではありません。他の文章や事前の知識が同じ主張を裏付ける可能性があります。変更を解釈する前に、代替証拠を文書化してください。

実例: 日付によって意味が変わる

アシスタントは、機能はすべてのアカウントで利用可能であり、リリース ノートへのリンクがあると述べています。このメモには、実際には、先月に限定ベータ版が利用可能になることが記載されています。リンクは解決され、機能名は一致しますが、主張は証拠を超えています。

有能な採点者は、回答に URL が含まれているかどうかではなく、引用テキストがロールアウトの範囲と日付をサポートしているかどうかを質問します。修正実験では、要約の前に適格性とタイミングを明示的に抽出する必要がある場合があります。限定公開の場合と一般公開の場合の両方について、改訂された回答を比較してください。

広範な信頼ラベルではなく、テストされた内容を報告します

引用サポート、範囲、壊れた参照の数、および時間的不一致を個別に公開します。サポートされていない主張の例を示し、審査プロセスを説明します。因果関係がテストされていない場合は、そう述べてください。これにより、単に参照が含まれているという理由だけで回答が検証済みであると説明するよりも、より擁護可能な品質ステートメントが生成されます。

LLM 幻覚を請求レベルで調査する

LLM 幻覚を調査するときは、裏付けられていない主張と、不正確または古い情報源によって裏付けられている主張を区別してください。 RAG ワークフローでは、ジェネレーターが利用できる正確なパッセージを保持し、各重要な主張をサポートするパッセージがあれば、それを特定します。引用形式の文字列は、その主張が文書から得られたものであるという証拠としては不十分です。

Rubrex は、質問、主張、引用箇所、出典の日付、および必要な修正を一緒に検討することをお勧めします。証拠が欠けている場合は、回収または棄権の行動をテストします。証拠は存在するが悪用された場合は、回答生成ステップをテストします。追跡実験で診断を確認または拒否できるように、診断を十分に具体的にしてください。

よくある質問