점수를 신뢰하기 전에 LLM 심사위원을 보정하는 방법

최근 작업 질문 공유 교정 가정

2026년 5월 사전 인쇄에서는 비교 모델 간에 보정이 공유될 때 판사 기반 추정치의 편향과 불안정성을 조사합니다. 비교가 잘못된 방향을 가리킬 수 있는 조건을 설명합니다. JudgeBiasBench는 다양한 형태의 판단 편향을 개별적으로 연구합니다. 이러한 결과는 강력한 모델에 대한 자동 신뢰보다는 작업별 확인에 동기를 부여합니다.

증거: 판사로서 LLM 추정의 편견과 불확실성 [1]강력한 LLM 기반 심사위원을 향하여: 분류학적 편향 평가 및 편향성 제거 최적화 [2]

독립적인 교정 세트 구축

Rubrex는 명확한 통과, 명확한 실패 및 어려운 경계를 포함하는 대표적인 출력을 선택할 것을 권장합니다. 자격을 갖춘 검토자가 심사위원의 결과를 보지 않고 서면 기준표를 적용하도록 하십시오. 모든 인간 라벨이 모호하지 않다고 가정하기보다는 불일치와 판결을 기록하십시오.

최종 심사위원을 평가하는 데 사용된 예시에서 채점 프롬프트를 개선하는 데 사용된 예시를 분할합니다. 동일한 교정 세트를 반복적으로 조정하면 전송을 보여주지 않고도 일치가 더 좋아 보일 수 있습니다. 향후 변경 사항을 공정하게 비교할 수 있도록 예제와 해당 라벨 기록을 보존하세요.

불일치 형태 점검

이진 기준의 경우 잘못된 통과와 잘못된 실패를 구별합니다. 순서 점수의 경우 상관관계만 검사하는 것이 아니라 큰 오류와 범주별 혼란을 검사합니다. 심사위원은 지나치게 관대한 점수를 체계적으로 할당하면서 리뷰어와 유사하게 결과의 순위를 매길 수 있습니다.

그럴듯한 성가신 변경 사항을 테스트하십시오. 답변 순서, 자세한 내용, 형식 또는 제공자 식별자가 품질에 영향을 미치지 않아야 하는 경우. 쌍을 뒤집는 것은 유용하지만 모든 편향을 진단하지는 않습니다. 실제 후보자와 유사한 출력 스타일 전반에 걸쳐 동일한 루브릭을 비교합니다.

예시: 정확하지만 간결함

판사는 두 후보자 모두 필수 사실을 포함하고 업무가 간결성을 요구하는 경우에도 반복적으로 자세한 답변을 선호합니다. 길이에 따른 암묵적 보상에 대한 루브릭을 검토하세요. 간결하고 올바른 예와 장황한 잘못된 예를 추가한 다음 보류 세트에서 수정된 채점기를 테스트합니다.

단순히 판사에게 편견 없이 문제가 해결되었다고 가정하지 마십시오. 불일치 전후 기록을 보관하고 수정으로 인해 필요한 세부 사항에 대해 새로운 선호가 도입되었는지 여부를 검사합니다.

작업 변경 시 재보정

모델 식별자, 프롬프트, 스키마, 참조 자료 및 채점 규칙의 버전을 함께 지정합니다. 심사위원 업그레이드, 새로운 후보 모델 계열, 주요 프롬프트 변경 또는 다른 작업 분배 후 다시 확인하세요. 점수가 중요하거나 증거가 불충분한 경우 인적 검토를 위한 경로를 유지하세요.

LLM 평가자: 평가자 모델 선택 및 확인

판사로서 LLM은 모델을 사용하여 다른 시스템의 출력에 기준을 적용합니다. 이 워크플로에서는 평가자 모델, 프롬프트, 참조 자료 및 채점 규칙이 하나의 버전 종속성을 형성합니다. 가장 유능하거나 가장 비싼 모델이 최선의 판단이라고 가정하기보다는 작업에서 검토된 사례에 대한 성능에 따라 해당 종속성을 선택하십시오.

심사위원의 신뢰성을 평가하려면 예상 라벨, 평가자 라벨, 설명, 영향을 받는 요구 사항 및 불일치 결과 등 오류 장부를 유지하세요. 동일한 보류 사례에 대한 후보 평가자를 비교합니다. Rubrex는 정확한 요구 사항에 대한 결정론적 점검을 유지하고 해결되지 않은 판단에 대한 인적 에스컬레이션 경로를 유지할 것을 권장합니다. 애플리케이션이 새로운 종류의 답변을 생성하기 시작하면 원장을 다시 방문하세요.

일반적인 질문