RAG 인용: 정답은 여전히 잘못된 증거를 인용할 수 있습니다.

2026년 9월 연구에서 추가된 내용

2026년 9월 19일 사전 인쇄에서는 지침 조정 모델을 관련 RLVR 에이전트와 비교하여 인용 사후 합리화를 연구합니다. 더 나은 답변 보상이 해당 설정에서 인용 충실도를 해결하지 못했다고 보고합니다. 별도의 2026년 기계론적 연구에서는 하나의 통제된 모델과 데이터 세트의 속성을 조사합니다. 첨부된 인용을 입증된 증거 사용과 동일시하는 것에 대해 두 가지 주의가 필요합니다.

증거: RAG 인용의 귀속적 사후 합리화: 통제된 재생산 및 RLVR 비교 [1]LLM은 어떻게 인용합니까? 검색 증강 생성의 속성에 대한 기계적 해석 [2]

인용 질문 3개 분리

지원팀에서는 인용된 텍스트가 주장을 정당화하는지 묻습니다. 적용 범위에서는 답변의 중요한 주장이 적절하게 인용되었는지 여부를 묻습니다. 인과관계 충실성은 나중에 첨부되는 것이 아니라 인용된 증거가 답변에 영향을 미쳤는지 여부를 묻습니다. 처음 두 개는 종종 출력 및 구절에서 검토될 수 있습니다. 세 번째는 성적표만으로는 확립하기가 더 어렵습니다.

출처의 권한과 시간을 별도의 차원으로 기록합니다. 쓸모없는 정책에서 완벽하게 일치하는 인용문이 여전히 사용자를 오도할 수 있습니다. 마찬가지로, 단락 끝에 있는 하나의 인용은 한 문장을 뒷받침하고 나머지는 뒷받침되지 않을 수 있습니다. 이러한 차이점이 중요한 경우 청구 수준에서 검토하세요.

검사 가능한 인용 검토 구축

Rubrex는 답변을 중요한 주장으로 나누고 각각을 정확한 뒷받침 구절에 연결할 것을 권장합니다. 라벨이 지원됨, 모순됨, 불충분함, 평가할 수 없는 경우. 분리된 문구를 증거로 취급하지 않도록 주변 텍스트를 충분히 유지하세요. 허용되는 경우 소스 스냅샷 또는 안정적인 버전을 캡처하세요.

통제된 실험의 경우 뒷받침하는 구절을 변경하거나 제거하고 결과 답변을 비교하십시오. 그러한 개입은 의존성을 드러낼 수 있지만 보편적인 인과관계 테스트는 아닙니다. 다른 구절이나 사전 지식이 동일한 주장을 뒷받침할 수 있습니다. 변경 사항을 해석하기 전에 대체 증거를 문서화하십시오.

예시: 날짜가 의미를 변경합니다.

보조원은 모든 계정에서 기능을 사용할 수 있다고 말하고 릴리스 노트에 대한 링크를 제공합니다. 이 메모에는 실제로 이전 달의 제한된 베타 버전에 대한 가용성이 설명되어 있습니다. 링크가 확인되고 기능 이름이 일치하지만 주장이 증거를 초과합니다.

유용한 채점자는 답변에 URL이 포함되어 있는지가 아니라 인용된 텍스트가 출시 범위와 날짜를 지원하는지 여부를 묻습니다. 교정 실험에서는 요약하기 전에 적격성 및 시기를 명시적으로 추출해야 할 수도 있습니다. 제한된 롤아웃 및 일반 가용성 사례에 대한 수정된 답변을 비교하십시오.

광범위한 신뢰 라벨이 아닌 테스트된 내용을 보고합니다.

인용 지원, 적용 범위, 깨진 참조 수 및 시간적 불일치를 별도로 게시합니다. 근거가 없는 주장의 예를 보여주고 검토 과정을 설명하세요. 인과적 사용이 테스트되지 않은 경우 그렇게 말하십시오. 이는 단순히 참조가 포함되어 있다는 이유만으로 답변을 검증된 것으로 설명하는 것보다 더 방어적인 품질 설명을 생성합니다.

청구 수준에서 LLM 환각 조사

LLM 환각을 조사할 때, 부정확하거나 오래된 출처가 뒷받침하는 주장과 뒷받침되지 않는 주장을 분리하세요. RAG 워크플로에서는 생성자가 사용할 수 있는 정확한 구절을 유지하고 각 중요한 주장을 뒷받침하는 구절이 있는 경우 이를 식별합니다. 인용 모양의 문자열은 문서에서 해당 주장이 따른다는 증거로 충분하지 않습니다.

Rubrex에서는 질문, 주장, 인용문, 출처 날짜, 필요한 수정 사항을 함께 검토할 것을 권장합니다. 증거가 누락된 경우 검색 또는 기권 행위를 테스트합니다. 증거가 있지만 오용된 경우 답변 생성 단계를 테스트하세요. 후속 실험에서 진단을 확인하거나 거부할 수 있을 만큼 구체적으로 진단을 유지하세요.

일반적인 질문