쌍별 LLM 평가: 동점을 숨기지 않고 답변 비교

바이어스 완화는 하나의 범용 스위치가 아닙니다

2026년 사전 인쇄에서는 판사 모델과 편향 유형 전반에 걸쳐 여러 완화 전략을 비교하여 모델 종속 효과를 보고합니다. 또 다른 논문에서는 모델 비교의 편향과 보정 불안정성을 연구합니다. 이들이 공유하는 실질적인 의미는 답변 순서를 바꾸면 중립이 된다고 가정하는 대신 실제 비교 프로세스를 검증한다는 것입니다.

증거: 판사 심사: 판사로서의 LLM 파이프라인에서 편향 완화 전략의 체계적인 평가 [1]판사로서 LLM 추정의 편견과 불확실성 [2]

선호도가 무엇을 의미하는지 선택하세요

Rubrex는 판단을 수집하기 전에 하나의 결정 관련 비교 규칙을 명시할 것을 권장합니다. 예를 들어, 지원되는 주장으로 요청을 충족하고 불필요한 세부 사항을 줄이는 답변을 선호합니다. 필수 요구 사항이 있는 경우 선호도 점수를 매기기 전에 별도로 평가하세요. 두 개의 잘못된 답변이 강제 선택 작업에서 여전히 승자를 낳을 수 있습니다.

두 후보 모두에 대해 동일한 입력, 컨텍스트 및 운영 제약 조건을 사용합니다. 출력 생성 설정을 유지합니다. 그렇지 않으면 비교를 통해 모델의 효과를 더 큰 검색 예산, 다른 프롬프트 또는 추가 도구 액세스와 통합할 수 있습니다.

프레젠테이션을 제어하고 불확실성을 유지합니다.

작업과 관련이 없는 모델 이름입니다. 사례 전체에 걸쳐 순서를 무작위로 지정하고 진단 하위 집합에 대해 역전된 프레젠테이션을 고려합니다. 증거가 누락된 경우 실질적으로 동등한 출력 및 평가할 수 없는 레이블에 동점을 사용하십시오. 각 선호도에 대한 이유를 간결하고 증거 기반 형식으로 기록하세요.

보고에서 동점이나 실패한 세대를 자동으로 제거하지 마십시오. 승률에 사용되는 분모를 설명하고 다른 결과를 보여주세요. 동일한 작업에 대한 반복 시도의 경우 명백한 표본 크기가 부풀려지지 않도록 작업 그룹화를 유지합니다.

예시: 유창한 대답은 작업을 잃습니다.

두 명의 후보자가 제품 질문에 답변합니다. 하나는 세련되고 상세하지만 지원되지 않는 통합을 주장합니다. 다른 하나는 지원되는 옵션을 간결하고 정확하게 설명합니다. 일반적인 유용성 판단자는 첫 번째를 선호할 수 있습니다. 작업별 규칙은 뒷받침되지 않는 주장을 실질적인 실패로 처리해야 합니다.

비교 기준표를 변경한 후 실제로 추가 세부 사항이 필요한 테스트 사례입니다. 그렇지 않으면 수정 사항이 짧은 답변에 대한 포괄적인 선호 사항이 될 수 있습니다. 목표는 요청된 동작을 측정하는 것이지 선호하는 스타일을 다른 스타일로 바꾸는 것이 아닙니다.

태스크별 쌍승패 검사

의미 있는 작업 조각으로 비교를 요약하고 후보자가 동의하지 않는 사례를 검토합니다. 중요한 사례가 퇴보하는 동안 일상적인 작업에서 개선이 이루어졌는지 확인합니다. 총 선호도 순위가 아닌 명시적 요구 사항에 연결된 최종 배포 선택을 유지하세요.

• 우선순위 기준을 미리 명시해 주세요.
• 강제 선택 기본 설정 외부에서 필수 유효성 검사를 유지합니다.
• 승, 패, 무승부, 실패, 제외를 보고합니다.
• 프레젠테이션 및 출력 스타일에 대한 민감도를 조사합니다.

일반적인 질문