LLM 평가에는 몇 개의 예가 필요합니까?

제한된 샘플에 대한 연구 결과

2025년 사전 인쇄 연구에서는 샘플이 제한적일 때 베이지안 능력 평가를 연구합니다. 2026년 활성 평가 논문에서는 평가할 작업 선택이 순위 효율성에 어떤 영향을 미치는지 연구합니다. 이는 다양한 설정을 해결합니다. 둘 다 비즈니스 애플리케이션에 대한 보편적인 수의 예제를 제공하지 않습니다.

증거: 대규모 언어 모델 평가에 대한 신뢰도: 제한된 샘플 과제에 대한 베이지안 접근 방식 [1]일반 대리인의 적극적 평가: 문제 정의 및 기본 알고리즘 비교 [2]

정밀도와 적용 범위를 분리하세요

취재에서는 중요한 상황이 표현되는지 묻습니다. 정밀도는 샘플링 모델에서 추정 비율이 얼마나 불확실한지 묻습니다. 거의 동일한 쉬운 질문의 대규모 세트는 도움이 되지 않는 모집단에 대해 좁은 간격을 생성할 수 있습니다. 더 작고 의도적으로 다양한 세트는 정확한 생산 실패율을 지원하지 않고도 설계 문제를 드러낼 수 있습니다.

작업 및 실패 결과 지도로 시작합니다. 문서 도우미의 경우 답변 가능한 질문, 누락된 증거, 충돌하는 버전, 제한된 문서 및 긴 입력이 포함될 수 있습니다. 무작위로 샘플링된 트래픽과 별도로 타겟 챌린지 사례에 라벨을 지정합니다. 공개하지 않고 이를 결합하면 전체 비율을 해석하기 어렵습니다.

가정을 포함한 계획 계산

안정적인 모집단에서 샘플링된 독립 이항 결과의 경우 대략적인 정규 근사 계획 공식은 여유 e가 있는 95% 구간에 대해 n ≒ 1.96² × p × (1 − p) / e²입니다. p = 0.5와 e = 0.05를 사용하면 약 385개의 독립적인 사례가 제공됩니다. 이 산술은 예시일 뿐 권장되는 기본값은 아닙니다.

실제 평가 세트는 종종 이러한 가정을 위반합니다. 하나의 문서에 있는 여러 질문, 반복되는 에이전트 시험, 합성 변형을 서로 연관시킬 수 있습니다. 드물고 심각한 실패에는 일반적인 성공률을 추정하는 것과는 다른 설계가 필요합니다. 개수가 적거나 비율이 극단적인 경우 이 근사치를 신뢰하기보다는 적절한 간격을 사용하십시오. 모델 비교에는 관련되지 않은 두 마진이 아닌 쌍 분석도 필요합니다.

예시: 10번의 재시도는 10명의 고객이 아닙니다.

각각 10번 생성되는 40개의 지원 시나리오를 상상해 보십시오. 400개의 출력이 있지만 서로 다른 시나리오는 40개뿐입니다. 재시도는 모델이 해당 작업에서 일관되게 작동하는지 여부를 보여줍니다. 360개의 새로운 고객 상황에 대한 적용 범위를 추가하지 않습니다.

시나리오 수준의 요약과 시험 수준의 요약을 유지하세요. 릴리스 결정이 새로운 요청에 대한 일반화와 관련된 경우 독립적인 시나리오를 추가하세요. 알려진 중요한 요청에 대한 불안정한 동작과 관련된 경우 거기에 더 많은 반복 시도를 할당하십시오. 추가 지출을 통해 어떤 불확실성을 줄이고자 하는지 문서화하십시오.

승자를 보기 전에 멈추는 규칙을 정하라

어떤 개선이 중요한지, 어떤 회귀가 릴리스를 차단하는지, 어떤 불확실성이 허용되는지 미리 결정하십시오. 파일럿은 실패 발생률과 불일치를 추정하는 데 도움이 되며, 그 후에는 더 큰 규모의 연구 범위를 지정할 수 있습니다. 반복적으로 결과를 확인하고 후보자가 더 좋아 보일 때만 중단하지 마십시오. 그것은 명백한 자신감을 오해하게 만듭니다.

• 독립 태스크 수와 총 세대 수를 별도로 기록합니다.
• 트래픽 가중치 추정치와 별도로 챌린지 설정 점수를 유지합니다.
• 백분율 옆에 조각당 개수를 포함합니다.
• 결과적인 통계 결정을 적절한 전문가에게 에스컬레이션합니다.

일반적인 질문