점수 기준이 있는 LLM 평가 루브릭 템플릿

모호함은 측정 문제가 될 수 있습니다

최근 주석 사전 인쇄에서는 공유 코드북을 사용하여 텍스트 분류 작업을 연구하고 모호함이 인간과 모델 주석자 간의 불일치를 설명하는 데 도움이 된다고 보고합니다. 그 영역은 제한되어 있지만 불일치를 검토자의 무능으로 간주하기 전에 코딩 규칙을 검사하는 유용한 이유를 제공합니다.

증거: LLM과 인간 주석의 관찰 동등성 [1]

출력이 지원해야 하는 결정부터 시작하세요.

Rubrex는 점수 척도를 선택하기 전에 필수 사실이나 행동을 나열할 것을 권장합니다. 지원 답변의 경우 유용한 기준에는 사실적 지원, 작업 완료 및 적절한 불확실성이 포함될 수 있습니다. 공손함은 중요할 수 있지만 자격을 부여하는 것을 보상해서는 안 됩니다.

검토자가 사용할 수 있는 증거를 정의합니다. 사실 여부 판단에 정책 문서가 필요한 경우 해당 버전을 제공하세요. 답변만 보는 리뷰어는 자신의 주장이 비공개 소스 자료에 의해 뒷받침되는지 여부를 안정적으로 결정할 수 없습니다. 필요한 경우 평가할 수 없는 결과를 포함합니다.

관찰 가능한 차이점을 설명하는 앵커를 사용하세요.

다음 템플릿은 소스 기반 답변의 시작점입니다. 실제 제품에 적용하고 예시를 통해 검증해 보세요. 3단계 스케일은 경계를 구분할 수 없는 미세하게 분할된 스케일보다 교정하기가 더 쉬울 수 있습니다. 수준의 수 자체가 엄격함의 척도는 아닙니다.

예시: 하나의 결함, 여러 개의 라벨

답변은 환불 불가를 약속합니다. 이는 사실 지원 실패이자 정책 경계 위반일 수 있습니다. 전체 기준표에서 사실성, 정확성, 올바름, 진실성에 대한 점수를 빼면 유용한 정보를 추가하지 않고도 동일한 문제를 4번 계산할 수 있습니다.

관찰 가능한 기본 오류를 유지하고 릴리스 결정에 필요한 경우 별도의 중요 규칙 위반을 기록합니다. 그런 다음 실제로는 정확하지만 사용자에게 진행 방법을 알려주지 않는 다른 답변을 테스트합니다. 루브릭은 수정 사항이 다르기 때문에 이러한 사례를 구별해야 합니다.

대규모 채점 전 루브릭 시험 실행

리뷰어에게 동일한 다양한 사례에 대해 독립적으로 점수를 매기도록 요청하세요. 불일치 뒤에 있는 증거에 대해 토론하고, 불분명한 기준을 수정하고, 판결된 소수의 사례를 보존하세요. 개정 후 새로운 하위 집합의 점수를 다시 매깁니다. 새로운 정의로 인한 점수 변화가 모델 개선으로 오인되지 않도록 루브릭 버전을 기록하세요.

• 필요한 증거와 허용 가능한 변형을 지정하십시오.
• 각 중요한 경계에 긍정적인 예와 부정적인 예를 추가합니다.
• 가중 품질 점수에서 중대한 위반 사항을 분리합니다.
• 모호하거나 점수를 매길 수 없는 사례에 대해 명시적인 경로를 유지하세요.

새로운 작업에 평가 기준표를 적용

평가 기준표는 허용 가능한 작업, 불완전한 작업, 허용되지 않는 작업 간의 관찰 가능한 차이점을 설명해야 합니다. 이 템플릿을 적용하려면 점수 척도를 변경하기 전에 예시 작업 및 증거 요구 사항을 바꾸세요. 각 기준에 대해 하나의 명확한 통과, 하나의 경계 사례, 하나의 명확한 실패를 작성한 다음 검토자에게 독립적으로 결정을 설명하도록 요청합니다.

과제 전반에 걸쳐 평가 루브릭을 비교할 때 숫자 척도를 일치시키면 점수를 비교할 수 있다고 가정하기보다는 각 기준의 의미를 보존하십시오. Rubrex는 새 루브릭을 릴리스 게이트로 사용하기 전에 앵커 버전을 관리하고 불일치를 검토할 것을 권장합니다. 검토자에게 명시되지 않은 맥락이 필요한 경우 해당 맥락을 추가하거나 점수를 매길 수 없는 사례로 표시하세요.

일반적인 질문