人間による評価の合意: 平均する前に不一致を診断する

最近のアノテーション研究により、コードブックの曖昧さが明らかになりました

2026年の観察同等性プレプリントでは、政治科学のテキストタスクに対する人間とモデルのアノテーションを調査し、コーディングルールを明確にすることで意見の相違を減らすことができると報告しています。モデルと人間がすべての領域で互換性があるということは確立されていません。有益な教訓は、測定命令自体を調査することです。

証拠: LLM とヒューマン アノテーションの観察上の等価性 [1]

まず独立した判断を収集する

Rubrex は、キャリブレーション サブセットに対してブラインドで独立したラベルを付けることを推奨しています。査読者が最初にお互いの回答を見た場合、明らかな一致は、明確なルーブリックではなく、適合性を反映している可能性があります。同じ証拠を提供し、レビュー担当者がケースを採点するために必要なコンテキストを欠いていたかどうかを記録します。

注釈の単位と許可されるラベルを指定します。文レベルの事実性タスクは、全体的な応答品質タスクとは異なります。順序スケールの場合、各レベルが何を意味するのか、そして隣接する不一致が遠く離れた不一致よりも重大性が低いかどうかを定義します。測定を定義する前に一致統計を選択しないでください。

一致スコアの横にあるラベル分布を読み取ります。

生の一致は理解するのが簡単ですが、ほぼすべての例が 1 つのクラスに属する場合、一致が高くなる可能性があります。確率調整された統計は別の視点を追加し、独自の仮定をもたらします。ラベルごとの数、混同パターン、およびあいまいなケースの蔓延を要約統計とともにレポートします。

まれに発生する小さなサブセットは、高い総合スコアよりもリリースの決定に重要な場合があります。レビュー担当者がそのサブセットを一貫して特定しているかどうかを検査します。複数の解釈が正当である場合は、1 つの特定の参照を作成するのではなく、曖昧さのラベルまたは判断の分布を保持します。

実例: 安易な否定が優勢

多数の明白な非違反といくつかの微妙なポリシー違反を含むレビュー セットを想像してください。査読者は、ほぼすべての簡単なケースについては同意しますが、重大なケースのほとんどについては同意しません。リリースゲートの調整が不十分なままである一方で、総計の一致は安心できるように見える可能性があります。

係争中の事例をレビューし、欠けているルールや証拠を特定し、アンカーされた例を追加します。次に、改訂された指示を評価するために、十分な関連境界ケースを備えた新しいサブセットを評価します。ターゲットを絞ったキャリブレーション結果をトラフィック加重推定とは別にしてください。

裁定を手段に改善させる

元のラベル、最終的な解決策、証拠、および必要に応じてルーブリックの改訂を記録します。主任査読者の決定は運用上の基準を確立することはできますが、それを絶対的な真実として説明すべきではありません。タスクの構成、レビュー担当者グループ、またはソース資料の変更後の不一致の傾向を追跡します。

• 無関係なアイデンティティをモデル化する盲目的なレビュー担当者。
• 基準とタスクスライスごとに不一致を検査します。
• 評価できないケースとその理由を保持します。
• 運用上の判断と客観的な事実を区別する。

よくある質問