ベンチマークの汚染: 民間のテスト セットでは不十分な理由

最近の分類法が疑問を広げる

2026 年 8 月のプレプリントでは、評価中に得られた暴露を含む、阻止できる緩和策を中心に汚染を整理しています。また、開示文書の一部の信頼性の限界についても報告しています。その貢献は、より鋭い質問をする方法であり、ベンチマークが汚染されていないことを証明する検出器ではありません。

証拠: ベンチマーク汚染: 敗北した緩和策によって整理された分類法 [1]

評価情報がどのようにシステムに到達するかを追跡します。

List the places where test material can appear: prompts, retrieved documents, few-shot examples, developer notes, fine-tuning data, shared conversations, and tools.ケースはモデルのトレーニングの範囲外のままでも、デバッグを繰り返した後にアプリケーションのプロンプトに組み込むことができます。それによって、事件の成功の意味が変わります。

Web 対応システムの場合は、テスト質問が公開された回答に直接つながるかどうかも考慮してください。これは、検索タスクにとっては正当である可能性がありますが、クローズドブック機能の主張にとっては無効である可能性があります。評価契約によっては、同じ動作が許容される場合もあれば、汚染となる場合もあります。

意図した主張に一致するコントロールを使用する

Rubrex は、開発、回帰、意思決定セットを個別に維持することを推奨しています。既知の障害は、エンジニアが確認した後でも回帰テストに属します。ホールドアウト セットは別の目的、つまり修正を超えた転送を測定するために役立ちます。事件が機密でなくなったからといって回帰値を消去しないでください。

決定セットへのアクセスを制限し、それがいつ公開されたかを記録し、最終比較を実行する前にスコアリング ルールを凍結します。ツールが許可されている場合は、そのアクセス境界を記録します。新しい質問は、前の例との類似性、および識別子や参照文書に偶然の手掛かりがないかどうかをレビューする必要があります。

説明例: 記憶されたエスカレーション

チームはサポート エスカレーション後にアシスタントを修正し、例としてそのプロンプトに正確なインタラクションを追加します。次の評価ではそのインタラクションが渡されます。これは有用な回帰結果ですが、アシスタントが同じ種類の馴染みのないケースを処理しているという弱い証拠です。

異なる証拠、表現、境界条件を使用して、同じ基礎となるルールを適用する個別のケースを作成します。元のエスカレーションを保持し、そのエクスポージャにラベルを付けて、一般化ケースを個別に報告します。明確な区別は、1 つの大きな成功率よりも役立ちます。

スコアの横に暴露記録を含めます

コンパクトなレコードには、データセットの起源、誰がケースを確認したか、アプリケーションがどのように調整されたか、ツールが関連資料を取得できるかどうか、何が不明のままであるかを説明する必要があります。実行ごとに露出が変化する可能性があるため、実行にアタッチします。ベンチマークのラベルだけでは、スコアが取得された条件を説明するものではありません。

• テストがサポートする予定の機能またはワークフロー クレームに名前を付けます。
• 可能な場合は、既知のトレーニングまたはチューニングの露出を記録します。
• 評価中の取得とネットワークのアクセス許可について説明します。
• 最終決定セットを日常的なデバッグ フィードバックから分離してください。

よくある質問