実際の作業を反映する LLM 評価データセットを構築する

最近の研究により、データセット構造が設計上の選択肢になりました

HieraRAG (2026 年 6 月のプレプリント) は、RAG ベンチマークにおける合成質問の粒度を調査します。粒度は、特定の取得構成内で評価するものとして構成されます。これにより、より多くの質問が自動的に優れたベンチマークを作成すると仮定するのではなく、データセットがどのような違いを明らかにするかを尋ねることがサポートされます。

証拠: RAG ベンチマークはどの程度粒度が細かい必要がありますか?合成質問生成のための階層フレームワーク [1]

評価データとトレーニング データは異なる決定に役立ちます

トレーニング例は、モデルの動作を変えるのに役立ちます。評価データセットは、定義された動作を参照証拠またはスコア基準に照らしてテストします。 Rubrex 氏は、プロンプトやモデルの調整に使用するケースを、保持されている意思決定セットとは別にしておくことを推奨しています。チームが失敗したテストを調査し、それに合格するようにシステムを変更した場合は、そのケースを回帰チェックとして保持しますが、変更が一般化するかどうかを評価するには、新たに保持されたケースを使用します。

合成例は、異常な入力、不足している証拠、または許可の境界をカバーするのに役立ちます。受け入れる前に、各質問と予想される結果をソース資料と照らし合わせて確認してください。例がどのように作成されたか、およびそれがどのような失敗を表しているかを記録します。大規模なトレーニング コーパスや、自動的に生成された質問と回答のペアのコレクションは、それ自体では検証された評価セットではありません。

例を収集する前にレコードを定義してください

Rubrex は、不変の識別子、入力、許可されたコンテキスト、予期される動作、ソース カテゴリ、収集日、およびレビュー担当者のステータスを含むケース レコードを推奨します。ツールを使用するワークフローの場合は、初期状態と承認された終了状態を含めます。自由記述の場合は、正確に 1 つの文を要求するのではなく、アンカー付きルーブリックを使用します。

ケースが本番環境、サポート エスカレーション、ドメイン スペシャリスト、または合成生成のいずれから発生したかを記録します。生のインタラクションを保持できない場合でも、その起源に関する公的に安全な説明を保存します。ログのエクスポートが便利だからという理由だけで、データセットは機密情報を密かに取得すべきではありません。

カバレッジを意図的に構築する

プロンプトを作成する前に、製品を意味のあるスライスにマップします。例には、タスクの種類、文書の古さ、入力の長さ、証拠の入手可能性、言語、およびユーザーの許可が含まれます。発生し得ない組み合わせが生成される場合は、完全なデカルト積を避けてください。実際のエクスポージャーまたは特定の障害仮説との組み合わせを優先します。

合成ケースの場合、強調されている動作を指定し、入力が妥当であり、参照がサポートされていることを別のレビュー ステップで検証します。モデルは、欠陥のある質問と、それに対応する欠陥のある回答の両方を生成する可能性があります。これら 2 つの成果物間の一致は、独立した検証ではありません。

説明例: バージョン管理されたポリシーの質問

福利厚生アシスタントは、現在の保険契約とアーカイブされた保険契約に関する質問を受け取ります。現在の質問、明示的に過去の質問、日付のない質問に対して個別のケースを作成します。予想される動作は異なります。現在のルールを使用するか、過去の回答を返すか、該当する日付を明確にします。 1 つの簡単な例で名前を変更するだけでは、この区別を見逃してしまいます。

実際のポリシーの更新がモデルの回帰であるように見えないように、これらのケースをポリシーのバージョンにリンクしておいてください。困難なケースをデータセットから削除するのではなく、説明を付けてレビューすることで無効な期待を取り除きます。

データセットを保守された製品成果物として扱う

開発セットを意思決定セットから分離し、それぞれへのアクセスを記録します。軽量のレビュー キューを通じて新しい失敗ケースを追加します。スコアを報告するときは、データセットのバージョンを特定し、重要な変更点を説明してください。あるタスクの組み合わせにおける先月の結果と別のタスクの組み合わせにおける今月の結果を比較すると、トラフィックの変化とモデルの改善が混同される可能性があります。

よくある質問