スコアリングアンカーを備えた LLM 評価ルーブリック テンプレート

曖昧さは測定上の問題となる可能性がある

最近のアノテーション プレプリントでは、共有コードブックを使用したテキスト分類タスクを研究し、曖昧さが人間とモデルのアノテーター間およびアノテーター内の不一致を説明するのに役立つと報告しています。その領域は限られていますが、意見の相違をレビュー担当者の無能として扱う前にコーディング ルールを検査する有用な理由となります。

証拠: LLM とヒューマン アノテーションの観察上の等価性 [1]

出力がサポートする必要がある決定から開始します

Rubrex では、スコア スケールを選択する前に、必要な事実や行動をリストアップすることをお勧めします。サポートの回答の場合、有用な基準には、事実のサポート、タスクの完了、および適切な不確実性が含まれる場合があります。礼儀正しさは重要かもしれないが、それが権利の発明を補うものであってはいけない。

査読者が利用できる証拠を定義します。事実判断に政策文書が必要な場合は、該当するバージョンを提供してください。回答だけを見た査読者は、その主張が非公開の情報源によって裏付けられているかどうかを確実に判断することはできません。必要に応じて、評価不可能な結果を​​含めます。

観察可能な違いを説明するアンカーを使用する

次のテンプレートは、ソースに基づいた回答の出発点です。それを実際の製品に適合させ、例で検証します。 3 レベルのスケールは、境界が区別できない細かく分割されたスケールよりも校正が簡単です。レベルの数自体は厳密さの尺度ではありません。

説明例: 1 つの欠陥、複数のラベル

回答は、返金ができないことを約束します。それは事実の裏付けの欠如であり、ポリシーの境界違反である可能性があります。全体的なルーブリックで事実性、正確さ、正しさ、真実性のポイントが減算される場合、有益な情報が追加されずに同じ問題が 4 回カウントされる可能性があります。

主要な観察可能な障害を保持し、リリースの決定で必要な場合は、別の重大なルール違反を記録します。次に、事実としては正しいが、ユーザーに続行方法が示されていない別の回答をテストします。修正方法が異なるため、ルーブリックではこれらのケースを区別する必要があります。

大規模なスコアリングの前にルーブリック トライアルを実行する

レビュー担当者に、同じさまざまな例を個別に採点するよう依頼します。意見の相違の背後にある証拠を議論し、不明確なアンカーを修正し、判決を受けた少数の例を保存します。リビジョン後に新しいサブセットを再スコアリングします。新しい定義によるスコアの変更がモデルの改善と誤解されないように、ルーブリックのバージョンを記録します。

• 必要な証拠と許容可能なバリエーションを指定します。
• 重要な境界ごとに正の例と負の例を追加します。
• 重み付けされた品質スコアから重大な違反を分離します。
• 曖昧な場合やスコアリングできない場合には、明示的なルートを保持します。

評価ルーブリックを新しいタスクに適応させる

評価ルーブリックでは、許容可能な作業、不完全な作業、および許容できない作業の間の観察可能な違いを説明する必要があります。このテンプレートを適応させるには、スコア スケールを変更する前に、サンプル タスクと証拠の要件を置き換えます。各基準について、明確な合格、境界ケース、および明確な不合格を 1 つずつ書き、レビュー担当者にその決定を個別に説明してもらいます。

タスク間で評価ルーブリックを比較する場合、数値スケールが一致することでスコアが比較できると仮定するのではなく、各基準の意味を保持してください。 Rubrex は、新しいルーブリックをリリースゲートとして使用する前に、アンカーをバージョン管理し、意見の相違をレビューすることを推奨しています。レビュー担当者が明示されていないコンテキストを必要とする場合は、そのコンテキストを追加するか、ケースを採点対象外としてマークします。

よくある質問