관련 없는 컨텍스트에 대한 보상 없이 검색 회상을 테스트하는 방법

질문 세분성은 벤치마크 테스트를 변경합니다.

HieraRAG는 합성 질문 세분성이 RAG 구성 간의 차별에 어떻게 영향을 미치는지 연구합니다. Ragas는 맥락 회상과 맥락 정밀도를 평가 차원으로 별도로 식별합니다. 그들은 함께 증거 적용 범위와 반환된 자료의 유용성을 조사할 이유를 제공합니다.

증거: RAG 벤치마크는 얼마나 세분화되어야 합니까? 종합 질문 생성을 위한 계층적 프레임워크 [1]사용 가능한 측정항목 목록 [2]

각 질문에 대한 증거 요구 사항 만들기

각 경우에 대해 검색된 컨텍스트에서 복구 가능해야 하는 사실을 작성하십시오. 각 사실을 하나 이상의 수용 가능한 구절에 연결하십시오. 여러 소스가 동일한 사실을 뒷받침할 수 있는 경우 임의의 문서 식별자 하나가 필요하지 않습니다. 결론에 두 개의 문서가 필요한 경우 두 가지 종속성을 모두 기록합니다.

필요하거나, 지지하지만 선택 사항이거나, 모순되거나 관련이 없는 증거에는 명시적인 레이블을 사용하십시오. 이를 통해 검토자는 검색 결과가 실패한 이유를 설명할 수 있습니다. 일반적인 의미 유사성 점수는 유용한 진단이 될 수 있지만 필수 예외 또는 적격 조건이 발견되었는지 여부를 설정하지는 않습니다.

통제된 예산 하에서 검색 비교

Rubrex는 검색기 변경 사항을 조사할 때 질문 세트, 코퍼스 스냅샷, 액세스 정책 및 생성기를 일정하게 유지할 것을 권장합니다. 통과 제한, 토큰 예산, 순위 재지정 구성 및 잘림을 기록합니다. 10개의 짧은 구절과 10개의 전체 문서 사이의 비교는 동일한 자원을 통제하지 않습니다.

잘못된 어휘, 누락된 소스, 불량한 분할, 권한, 오래된 색인 또는 순위 등 카테고리별로 검색 누락을 검사합니다. 일부는 리트리버 모델 문제가 아닙니다. 필요한 정책이 인덱스에 입력되지 않은 경우 임베딩을 변경해도 인덱스가 복구되지 않습니다.

• 말뭉치 내에서 검색 성공과 말뭉치 범위를 분리합니다.
• 문서화된 라벨링 규칙을 사용하여 필요한 증거 단위를 계산합니다.
• 검색 결과뿐만 아니라 다운스트림으로 전송된 실제 컨텍스트를 유지합니다.
• 회상 중심의 변경 후 응답 행동을 측정합니다.

예시: 예외가 다른 곳에 산다

고객이 갱신 후 연간 요금제를 취소할 수 있는지 문의합니다. 일반 취소 정책이 검색되지만 계정별 예외는 별도의 승인된 문서에 있습니다. 주제 관련성 채점자는 답변에 필요한 증거가 불완전한 상태에서 결과에 높은 점수를 줄 수 있습니다.

참조에는 일반 규칙과 적용 가능한 예외 사항이 모두 명시되어야 합니다. 이 사용자가 예외 문서에 액세스할 수 없는 경우 예상되는 응답도 해당 제약 조건을 준수해야 합니다. 검색 평가에서는 요청한 사용자에게 볼 권한이 없는 문서 노출에 대해 보상을 주어서는 안 됩니다.

누락을 검색 실험으로 전환

관찰된 실패와 관련된 개입을 선택하십시오: 인덱싱 범위 개선, 청크 경계 조정, 제목 보존, 메타데이터 필터 추가 또는 재순위 변경. 쌍을 이루는 결과를 측정하고 새로 발생한 오류를 조사합니다. 즉각적인 누락이 수정된 후에도 회귀 모음에 원본 예제를 유지합니다.

일반적인 질문