RAG 평가 지표: 검색과 답변을 별도로 측정

현재 측정 프레임워크가 다루는 내용

Ragas는 문맥 정밀도, 문맥 회상, 충실도, 답변 관련성 및 잡음 민감도에 대한 별도의 측정항목을 문서화합니다. 2026년 8월 사전 인쇄본인 EnterpriseRAG는 시끄러운 증거, 지식 격차, 상충되는 사실 및 여러 지침을 추가로 조사합니다. 후자는 명확한 질문-답변 벤치마크가 생략할 수 있는 조건을 강조합니다.

증거: 사용 가능한 측정항목 목록 [1]EnterpriseRAG: 비이상적인 엔터프라이즈 검색에서 LLM 지침 준수 및 견고성 벤치마킹 [2]

감지해야 하는 오류에서 측정항목을 선택하세요.

컨텍스트 정밀도는 선택한 관련성 규칙에 따라 검색된 자료가 얼마나 유용한지 묻습니다. 상황 회상은 필요한 증거가 복구되었는지 여부를 묻습니다. 충실성은 제공된 맥락에서 생성된 주장에 대한 지원과 관련이 있습니다. 답변의 정확성에는 과제별 참조 또는 다른 방어 가능한 판단 프로세스가 필요합니다. 이것은 상호 교환 가능한 질문이 아닙니다.

채점 검색 전에 관련 구절로 간주되는 항목을 정의합니다. 구절은 질문에 대답하는 데 필요한 예외를 포함하지 않고 올바른 주제를 언급할 수 있습니다. 마찬가지로, 오래된 컨텍스트에서 답변이 지원될 수 있으며 사용자의 현재 요청에 대해서는 여전히 잘못된 답변일 수 있습니다. 소스의 신선함과 권위를 눈에 띄게 유지하세요.

진단평가 매트릭스 구축

Rubrex는 말뭉치 스냅샷을 동결하고 충분한 증거, 누락된 증거, 모순되는 증거 및 관련 없는 추가에 대한 사례를 생성할 것을 권장합니다. 변환이 현실적으로 유지되는 이러한 조건에서 동일한 질문을 실행하십시오. 생성기에 제공되는 레코드 검색 구성 및 최종 컨텍스트입니다.

검색자와 별도로 답변을 평가합니다. 두 구성 요소를 모두 변경하는 실험은 제품 결정에 유용할 수 있지만 진단하기는 어렵습니다. 먼저 엔드투엔드 효과를 측정합니다. 그런 다음 구성 요소를 분리하여 변경 사항이 어디서 발생했는지 이해합니다.

예시: 회상률 상승, 유용성 하락

리트리버가 더 많은 구절을 반환하기 시작합니다. 이제 올바른 정책이 더 자주 포함되지만 유사한 문구가 포함된 이전 버전도 제공됩니다. 답변에 오래된 규칙이 점점 더 많이 적용되는 동안 검색 범위는 향상됩니다. 재현율만 보고하는 대시보드에서는 회귀 분석이 누락됩니다.

문서 버전 및 권한을 검사한 다음 필터링 또는 순위 변경 변경을 테스트합니다. 질문 세트를 고정된 상태로 유지하고 검색 및 최종 답변 동작을 모두 비교하십시오. 구절 수를 줄이는 것이 항상 해결책이라고 가정하지 마십시오. 다중 문서 질문에 필요한 증거를 제거할 수 있습니다.

보고서에서 장단점을 설명하도록 하세요.

슬라이스별 결과, 대표적인 실패, 사용된 구성 및 판단 점수의 불확실성을 제시합니다. 평균 옆에 중요한 제약 조건 위반을 포함합니다. 유용한 판독값은 다음에 테스트할 변경 사항과 가설을 뒷받침하거나 거부할 결과를 설명합니다. 색상으로 구분된 미터법 패널에서 멈추지 않습니다.

질문부터 증거까지 RAG 평가를 실행하세요

첫 번째 RAG 평가의 경우 질문, 말뭉치 버전, 지원 구절, 검색된 구절, 최종 답변 및 예상 동작이 포함된 레코드를 만듭니다. 답변해야 하는 질문과 시스템에서 설명을 요청하거나 기권해야 하는 질문을 표시하세요. 이를 통해 검토자는 누락된 소스와 이미 존재하는 소스를 무시하는 답변을 구별할 수 있습니다.

Rubrex는 검색 깊이, 청크 또는 답변 프롬프트를 변경하기 전에 고정된 질문 세트로 RAG 평가를 실행할 것을 권장합니다. 기준 기록과 후보 기록을 기록별로 비교합니다. 예를 들어, 후보자가 올바른 정책을 검색했지만 더 이상 사용되지 않는 예외를 인용하는 경우 검색 성공과 응답 실패를 모두 유지합니다. 점수를 집계하기 전에 어떤 실패가 결정을 방해하는지 합의하십시오.

검사할 수 있는 4가지 사례 RAG 예

다운로드 가능한 워크시트에는 4개의 짧고 독창적인 지문과 4개의 질문이 포함되어 있습니다. 기준 답변과 후보 답변 모두 작성된 스냅샷입니다. LLM이 생성하지 않았습니다. 이는 생산 시스템에서 관찰된 개선이 아니라 오류를 진단하는 방법을 보여줍니다. 수락 계약은 명시적입니다. 현재 증거를 사용하고, 인용하고, 말뭉치가 답변할 수 없는 경우에는 기권합니다.

말뭉치에는 의도적으로 충돌하는 환불 정책이 포함되어 있습니다. 환불 현재는 14일 이내에 사용하지 않은 구독에 대한 환불을 허용합니다. 환불 이전 날짜는 30일이며 보관됨으로 표시됩니다. 배송 - 현재 상태로 영업일 기준 3~5일이 소요됩니다. cancel-current는 설정 > 청구에서 취소하고 유료 기간이 끝날 때까지 액세스 권한을 유지하라는 의미입니다. 어떤 구절에도 전화 지원 번호가 포함되어 있지 않습니다. 현재 정책 계약에 따라 자격이 없는 경우에도 구절이 답변을 뒷받침할 수 있습니다.

• 지문, 문제, 답변, 라벨 다운로드(JSON)

수정 사항을 선택하기 전에 별도의 점수를 계산하십시오.

증거 적용 범위는 필요한 모든 현재 구절(기준선 2/3 및 후보 3/3)을 검색하는 답변 가능한 사례를 계산합니다. 응답할 수 없는 전화 케이스는 필수 구절이 없으므로 이 분모에서 제외합니다. 이는 청크 수준의 컨텍스트 회상이 아닌 사례 수준의 적용 범위 확인입니다. 관련 없는 추가 청크나 검색 정밀도에 대해서는 아무 말도 하지 않습니다.

컨텍스트 지원은 검색된 구절(기준선 2/4 및 후보 3/3)에 의해 주장이 모두 뒷받침되는 사실적 답변을 계산합니다. 후보자 기권은 사실 답변 채점에서 제외되고 대신 과제 수락으로 판단됩니다. 오래된 환불 답변은 기준에서 지원되는 것으로 간주되며, 이는 지원만으로는 부족한 이유를 드러냅니다. 이는 Ragas 점수나 자동화된 의미 판단이 아닌 사람이 작성한 명시적인 바이너리 라벨입니다.

작업 수락은 올바른 기권을 포함하여 계약을 충족하는 완전한 답변을 계산합니다(기준 1/4 및 후보 4/4). 분모를 변경하지 않고 지원 비율을 비교하지 마십시오. 워크시트는 모든 레이블을 제공하므로 두 번째 검토자는 설명할 수 없는 평균에 대해 토론하는 대신 개별 결정에 동의하지 않을 수 있습니다.

제안된 수정 사항은 환불을 위한 버전 필터링, 취소를 위한 보다 엄격한 통행 청구 확인 및 누락된 정보에 대한 증거 충분성 규칙입니다. 각 변경 사항을 결합하기 전에 더 큰 보유 세트에서 독립적으로 테스트하십시오. 의도적으로 구성된 네 가지 사례는 실제 오류율을 추정하거나, 통계적 유의성을 확립하거나, 공개를 정당화할 수 없습니다. 어려운 반례를 유지하고, 검토자의 의견 차이를 기록하고, 개입할 때마다 변경되지 않은 배송 관리를 다시 실행하십시오.

일반적인 질문