인간 평가 합의: 평균화하기 전에 불일치를 진단합니다.

최근 주석 연구는 코드북 모호성을 강조합니다.

2026 관찰 동등성 사전 인쇄에서는 정치 과학 텍스트 작업에 대한 인간 및 모델 주석을 조사하고 코딩 규칙을 명확히 하면 불일치를 줄일 수 있다고 보고합니다. 모델과 인간이 모든 영역에서 상호 교환 가능하다는 것을 확립하지는 않습니다. 유용한 교훈은 측정 지침 자체를 조사하는 것입니다.

증거: LLM과 인간 주석의 관찰 동등성 [1]

독립적인 판단을 먼저 수집

Rubrex는 교정 하위 집합에 대해 맹목적이고 독립적인 라벨링을 권장합니다. 검토자가 서로의 답변을 먼저 보면 명확한 기준표보다는 명백한 합의가 적합성을 반영할 수 있습니다. 동일한 증거를 제공하고 검토자가 사례 점수를 매기는 데 필요한 맥락이 부족했는지 여부를 기록합니다.

주석 단위와 허용 라벨을 지정합니다. 문장 수준 사실성 작업은 전체 응답 품질 작업과 다릅니다. 순서형 척도의 경우 각 수준의 의미와 인접한 불일치가 먼 수준의 불일치보다 덜 중요한지 여부를 정의합니다. 측정을 정의하기 전에 일치 통계를 선택하지 마십시오.

동의 점수 옆의 라벨 분포를 읽습니다.

원시 일치는 이해하기 쉽지만 거의 모든 예가 하나의 클래스에 속하면 높을 수 있습니다. 확률 조정 통계는 또 다른 관점을 추가하고 자체 가정을 가져옵니다. 요약 통계와 함께 라벨별 개수, 혼란 패턴, 모호한 사례의 확산을 보고합니다.

작은 희귀 오류 하위 집합이 높은 전체 점수보다 릴리스 결정에 더 중요할 수 있습니다. 검토자가 해당 하위 집합을 일관되게 식별하는지 검사합니다. 다양한 해석이 합법적인 경우 하나의 특정 참조를 작성하는 대신 모호성 레이블 또는 판단 분포를 유지하십시오.

예시: 쉬운 부정문이 지배적입니다.

많은 명백한 비위반 사항과 몇 가지 미묘한 정책 위반 사항이 포함된 검토 세트를 상상해 보십시오. 검토자는 거의 모든 쉬운 사례에 동의하지만 대부분의 결과적인 사례에 대해서는 동의하지 않습니다. 릴리스 게이트가 제대로 보정되지 않은 상태에서 전체 합의는 안심할 수 있습니다.

분쟁 사례를 검토하고 누락된 규칙이나 증거를 식별하고 고정 사례를 추가합니다. 그런 다음 수정된 지침을 평가하기에 충분한 관련 경계 케이스가 있는 새로운 하위 집합을 평가합니다. 타겟 교정 결과를 트래픽 가중치 추정치와 별도로 유지하세요.

판결을 통해 악기를 개선하세요

원본 라벨, 최종 결의안, 증거 및 필요한 경우 기준표 개정을 기록하십시오. 수석 검토자의 결정은 운영상의 참고 자료가 될 수 있지만, 이를 절대적인 진실로 설명해서는 안 됩니다. 작업 혼합, 검토자 그룹 또는 원본 자료가 변경된 후 불일치 추세를 추적합니다.

• 관련성이 없는 모델의 정체성에 대한 맹목적인 리뷰어.
• 기준 및 작업 조각별로 불일치를 검사합니다.
• 평가할 수 없는 사례와 그 사유를 보관합니다.
• 객관적인 사실과 운영 판결을 구별합니다.

일반적인 질문