벤치마크 오염: 개인 테스트 세트만으로는 충분하지 않은 이유

최근 분류법은 질문을 넓힙니다.

2026년 8월 사전 인쇄에서는 평가 중에 획득한 노출을 포함하여 무력화할 수 있는 완화 방법을 중심으로 오염을 구성합니다. 또한 공개 도구의 일부 신뢰성에 한계가 있음을 보고합니다. 그 기여는 벤치마크가 오염되지 않았음을 증명하는 탐지기가 아니라 더 날카로운 질문을 하는 방법입니다.

증거: 벤치마크 오염: 실패한 완화로 구성된 분류 [1]

평가 정보가 시스템에 도달하는 방법을 추적합니다.

프롬프트, 검색된 문서, 몇 장의 예제, 개발자 노트, 미세 조정 데이터, 공유 대화 및 도구 등 테스트 자료가 나타날 수 있는 위치를 나열합니다. 사례는 모델 교육 외부에 남아 있을 수 있지만 반복된 디버깅 후에는 애플리케이션의 프롬프트에 계속 통합될 수 있습니다. 이는 사건의 성공이 의미하는 바를 변화시킵니다.

웹 기반 시스템의 경우 테스트 질문이 게시된 답변으로 직접 연결되는지 여부도 고려하세요. 이는 검색 작업에 대해서는 적법할 수 있지만 비공개 기능 주장에는 유효하지 않을 수 있습니다. 평가 계약에 따라 동일한 행동이 허용될 수도 있고 오염될 수도 있습니다.

의도한 주장과 일치하는 컨트롤을 사용하세요.

Rubrex는 별도의 개발, 회귀 및 의사결정 세트를 유지할 것을 권장합니다. 알려진 실패는 엔지니어가 이를 본 후에도 회귀 테스트에 속합니다. 홀드아웃 세트는 다른 목적으로 사용됩니다. 즉, 수정 사항을 넘어서는 전송을 측정하는 것입니다. 케이스가 더 이상 비밀이 아니라는 이유만으로 회귀 값을 지우지 마십시오.

결정 세트에 대한 액세스를 제한하고, 노출된 시기를 기록하고, 최종 비교를 실행하기 전에 채점 규칙을 동결합니다. 도구가 허용되는 경우 해당 도구의 액세스 경계를 ​​기록하십시오. 새로운 질문은 이전 사례와의 유사성과 식별자 또는 참조 문서에 우연한 단서가 있는지 검토해야 합니다.

예시: 암기된 에스컬레이션

팀은 지원 에스컬레이션 후 어시스턴트를 수정하고 예를 들어 프롬프트에 정확한 상호 작용을 추가합니다. 다음 평가에서는 해당 상호 작용을 통과합니다. 이는 유용한 회귀 결과이지만 보조자가 동일한 종류의 익숙하지 않은 사례를 처리한다는 약한 증거입니다.

서로 다른 증거, 표현 및 경계 조건을 사용하여 동일한 기본 규칙을 실행하는 별도의 사례를 구축합니다. 원래 에스컬레이션을 유지하고 노출에 라벨을 붙이고 일반화 사례를 별도로 보고하세요. 투명한 구별은 하나의 큰 성공률보다 더 유용합니다.

점수 옆에 노출 기록 포함

컴팩트 레코드는 데이터 세트 출처, 사례를 본 사람, 애플리케이션 조정 방법, 도구가 관련 자료를 검색할 수 있는지 여부, 알려지지 않은 사항을 설명해야 합니다. 실행 사이에 노출이 변경될 수 있으므로 실행에 연결하세요. 벤치마크 라벨만으로는 점수가 획득된 조건을 설명하지 않습니다.

• 테스트가 지원하려는 기능 또는 작업 흐름 주장의 이름을 지정합니다.
• 가능한 경우 알려진 교육 또는 튜닝 노출을 기록합니다.
• 평가 중 검색 및 네트워크 권한을 설명하십시오.
• 최종 결정 세트를 일상적인 디버깅 피드백과 별도로 유지하십시오.

일반적인 질문