AI 에이전트 평가: 테스트 결과, 추적 및 반복 실행

신뢰성은 업무성공보다 더 넓다

2026년 2월 사전 인쇄에서는 일관성, 견고성, 예측 가능성 및 안전성을 포함한 신뢰성 차원을 제안합니다. Anthropic의 대리인 평가 지침은 성적표 채점과 결과 확인을 구별합니다. 이는 테스트 모음을 설계하는 데 유용한 렌즈일 뿐, 모음이 모든 배포 위험을 커버한다는 보장은 없습니다.

증거: AI 에이전트 신뢰성의 과학을 향하여 [1]AI 에이전트에 대한 평가 이해하기 [2]

승인된 최종 상태 정의

변할 수 있는 것, 변하지 말아야 할 것, 완성이란 무엇인지 설명해보세요. 일정 관리 담당자의 경우 이는 요청된 참석자로 정확히 하나의 이벤트를 생성하고 관련 없는 이벤트는 그대로 두는 것을 의미할 수 있습니다. 코딩 에이전트의 경우 테스트, 아티팩트 동작 및 저장소 제약 조건이 포함될 수 있습니다.

알려진 상태에서 각 시도를 초기화합니다. 이전 실행에서 데이터가 남아 있는 경우 이후 결과에서는 에이전트 품질이 아닌 테스트 환경의 오염을 측정할 수 있습니다. 작업을 재현하는 데 필요한 도구 버전, 권한, 외부 종속성 및 시뮬레이션된 응답을 기록합니다.

별도의 결과 및 프로세스 확인을 사용하십시오.

Rubrex는 작업이 허용하는 모든 곳에서 정확한 상태 어설션을 권장합니다. 기록이 있었나요? 식별자가 정확했나요? 작업이 중복되었나요? 순서, 권한 부여 또는 통신에 따라 달라지는 요구 사항에 대해 추적 검토를 사용하세요. 여러 유효한 경로가 계약을 충족하는 경우 하나의 정확한 도구 경로를 요구하지 마십시오.

평가 기록에 불완전한 실행, 시간 초과 및 재시도를 유지합니다. 실패를 줄이는 도구는 명백한 성공을 부풀릴 수 있습니다. 사용자 시뮬레이터가 포함된 경우 시뮬레이터의 동작도 평가하십시오. 숨겨진 정보가 드러나거나 잘못된 결과가 받아들여지거나 실제 사용보다 작업이 더 쉬워질 수 있습니다.

예시: 성공적인 메시지, 부재 기록

상담원이 지원 티켓을 생성했다고 합니다. 도구 요청이 실패했으며 티켓이 없습니다. 언어 전용 채점자는 간결한 완료 메시지를 보상할 수 있습니다. 상태 기반 검사는 실패한 결과를 올바르게 식별합니다.

이제 티켓이 생성되었지만 응답이 손실된 시간 초과를 테스트합니다. 재시도하기 전에 상태를 조정하는 것이 올바른 동작일 수 있습니다. 두 경우 모두 부분 추적에서는 유사해 보이지만 서로 다른 복구 조치가 필요합니다. 이를 별도의 시나리오로 포함하고 에이전트가 사용 가능한 증거를 구별할 수 있는지 검사합니다.

신뢰성 프로필 보고

완료, 무단 변경, 중복 작업, 복구 성공 및 시험 전반의 가변성을 표시합니다. 리소스 사용량 및 대표적인 실패 추적을 포함합니다. 후보자는 예측 가능성이 떨어지거나 더 심각한 실패를 초래하면서 더 많은 작업을 완료할 수 있습니다. 그 절충안을 명시적으로 보고합니다.

• 초기 상태를 동결하고 시도 사이에 재설정합니다.
• 완료까지 허용되는 대체 경로를 정의하십시오.
• 테스트 중단 및 부분적인 도구 오류.
• 평균이 향상되더라도 심각한 오류를 눈에 띄게 유지하세요.

검사할 수 있는 AI 에이전트 평가 프레임워크

실제 에이전트 평가 프레임워크에는 작업 정의, 재설정 가능한 환경, 반복적인 시도, 결과 확인 및 작업과 결과를 연결하는 추적이 필요합니다. 지원 에이전트의 경우 실행 전에 허용되는 기록 변경을 정의합니다. 그 후 실제 기록과 대화 내용을 살펴보세요. 실패하고 중단된 시험을 보관하여 보고서에 시도된 작업이 반영되도록 하세요.

AI 에이전트 평가 지표의 경우 Rubrex는 무단 변경, 중복 작업, 복구 결과 및 완료된 작업당 비용과 함께 작업 완료를 보고할 것을 권장합니다. 각 작업의 시도 횟수를 명시하고 일관되지 않은 결과를 개별적으로 표시합니다. 에이전트 평가는 도구 오류와 모호한 요청도 테스트해야 합니다. 시스템을 강제로 완료하기보다는 중지하거나 설명을 요청해야 할 수도 있습니다.

일반적인 질문