수정으로 이어지는 AI 실패 분류 체계 구축

최근 벤치마크에서는 단계별 진단을 강조합니다.

2026 ChemCost 사전 인쇄는 과학적 도구 작업 내에서 접지, 검색, 조달 선택 및 산술 오류를 분리합니다. 별도의 엔터프라이즈 RAG 사전 인쇄는 다차원 진단 프레임워크를 제안합니다. 두 가지 모두 엔드투엔드 점수만으로는 오류를 찾는 데 왜 불충분할 수 있는지를 보여줍니다. 그들의 영역과 가정은 일반 비즈니스 보조자와 다릅니다.

증거: 에이전트가 반응 가격을 책정할 수 있나요? 화학물질 비용 추론에 대한 LLM 평가 [1]RAG의 "비실용성" 극복: 실제 벤치마크 및 다차원 진단 프레임워크 제안 [2]

3단계 설명 유지

Rubrex에서는 증상, 조사 영역, 인과 가설에 대한 신뢰 수준을 기록할 것을 권장합니다. 예를 들어, 답변은 오래된 정책을 인용합니다. 검색 신선도를 조사합니다. 원인은 아직 확인되지 않았습니다. 이렇게 하면 단순히 최종 응답이 잘못되었다는 이유로 리뷰어가 프롬프트 버그를 할당하는 것을 방지할 수 있습니다.

다양한 리뷰어가 일관되게 적용할 수 있는 작은 최상위 어휘를 사용하세요. 실질적으로 다른 해결 방법이 필요한 오류가 포함된 경우 범주를 확장합니다. 수십 개의 미묘한 레이블이 있는 분류법은 불일치와 검토 시간을 늘리면서 정밀한 외관을 만들 수 있습니다.

수정 제안 전 분류

입력, 검색된 컨텍스트, 도구 결과 및 출력을 함께 검토합니다. 필요한 증거가 있는지, 모델에 도달했는지, 모델이 이를 사용했는지, 다운스트림 시스템이 결과를 수용했는지 여부를 물어보세요. 하나의 추적에서 여러 오류가 발생할 수 있습니다. 기여 요인을 유지하면서 주요 의사결정 관련 실패를 식별합니다.

라벨과 별도로 사건 ID를 추적합니다. 하나의 실패한 응답이 검색 태그와 인용 태그를 모두 받은 경우에도 분모에서는 하나의 실패한 응답입니다. 카테고리 개수는 겹칠 수 있지만, 그 겹침은 명시적이어야 합니다.

예시: 중복 업데이트

상담원이 시간 초과 후 고객 기록을 두 번 업데이트합니다. 증상은 중복된 상태 변경입니다. 가능한 원인으로는 멱등성 누락, 모호한 도구 응답, 실패가 부작용이 없다고 가정하는 재시도 정책 등이 있습니다. 사건을 환각으로 분류하면 세 가지 모두가 모호해집니다.

제어된 시간 초과 응답으로 도구 경계를 테스트하고 결과 상태를 검사합니다. 그런 다음 동일한 조건에서 재시도 정책 변경을 비교합니다. 실험은 새로운 시스템 프롬프트가 더 신중하게 들리는지 묻는 것보다 더 유익합니다.

작업 안내가 중단되면 분류법을 검토하세요.

분류되지 않은 사례와 빈번한 불일치에 대한 정기적인 검토를 진행합니다. 동일한 조사로 이어지는 레이블을 병합하고 다른 개입을 숨기는 레이블을 분할합니다. 분류의 변경 사항이 시스템 동작의 변경 사항으로 나타나지 않도록 평가 실행을 통해 분류 버전을 보존합니다.

일반적인 질문