출시 전에 LLM 지원서를 평가하는 방법

지침에 나와 있는 내용

Anthropic의 2026년 1월 가이드는 에이전트 테스트를 작업, 반복 실행, 채점 규칙 및 테스트 환경으로 구분합니다. 또한 상담원이 말하는 내용과 실제로 수행하는 내용을 구분합니다. 예를 들어, 상담원은 기록이 변경된 적이 없는데 기록을 저장했다고 말할 수 있습니다. 결과와 대화에 점수를 매깁니다. 이는 모델 공급업체의 조언일 뿐, 한 가지 방법이 모든 시스템에 적용된다는 증거는 아닙니다.

증거: AI 에이전트에 대한 평가 이해하기 [1]

테스트가 지원해야 하는 결정을 선택하세요

릴리스 질문을 한 문장으로 적어보세요. 예를 들어, 지원 담당자가 승인할 수 없는 환불을 약속하지 않고 계정 정책을 설명할 수 있습니까? 이를 통해 테스트에는 명확한 사용자, 작업 및 위험이 제공됩니다. “더 도움이 되자”와 같은 모호한 목표는 잘못된 대답에 대한 매끄러운 대답을 보상할 수 있습니다.

테스트할 워크플로의 양을 결정합니다. 요약 도구에는 하나의 답변으로 충분할 수 있습니다. 채팅 도우미는 전체 대화가 필요할 수 있습니다. 상담원이 기록을 편집한 경우 저장된 기록도 확인하세요. 모델 버전, 프롬프트, 검색 설정, 도구 권한을 저장합니다. 이들 중 하나를 변경하면 결과가 바뀔 수 있습니다.

검토할 수 있는 작은 테스트 세트 구축

Rubrex는 일반적인 작업, 엣지 케이스, 알려진 오류의 세 가지 케이스 그룹을 권장합니다. 각 사례에 대해 예상되는 동작과 사례가 테스트에 속하는 이유를 작성합니다. 시스템을 조정하는 동안 일부 사례를 보류하세요. 출시를 지원하기 위해 점수를 사용하기 전에 첫 번째 테스트 실행을 통해 불분명한 요구 사항을 찾으십시오.

코드를 사용하여 필수 필드나 허용된 레코드 ID 등 정확한 규칙을 확인하세요. 의미, 누락된 세부 사항 및 정직한 불확실성에 대한 채점 가이드를 사용하십시오. 리뷰어에게 스스로 소규모 공유 세트의 점수를 매기도록 요청하세요. 더 많은 사건에 대해 자동화된 판사를 신뢰하기 전에 의견이 일치하지 않는 부분에 대해 논의하십시오. 점수를 매길 수 없는 사례는 보고서에 보관하고 그 이유를 설명하세요.

• 실패한 요청을 포함하여 원본 버전과 모든 답변을 저장하세요.
• 동일한 입력 및 제한에서 변경된 버전을 실행하십시오.
• 좋아진 사례와 악화된 사례를 살펴보세요.
• 해제를 차단하는 각 실패에 명명된 소유자를 지정합니다.

예: 정책을 설명하는 도우미

보조자가 현재 정책을 인용하고, 예외 사항을 설명하고, 약속된 승인을 피해야 한다고 가정해 보겠습니다. 처음 두 가지 규칙을 충족하지만 여전히 환불을 약속하여 실패할 수 있습니다. 팀이 문제를 찾을 수 있도록 각 규칙에 점수를 매깁니다. 또한 답변이 모든 필수 규칙을 통과했는지 여부도 기록합니다.

이제 새로운 프롬프트가 인용을 수정하지만 지원되지 않는 약속을 더 많이 만든다고 가정해 보겠습니다. 그것은 혼합 된 결과입니다. 약속을 목표로 변경 사항을 테스트한 다음 이전 사례를 다시 실행하여 새로운 실패를 확인합니다. 이는 Rubrex 클라이언트의 결과가 아닌 테스트 계획 예시입니다.

다음 엔지니어에게 테스트를 다시 실행할 수 있을 만큼 충분히 제공

사례, 채점 규칙, 시스템 버전, 원본 답변을 공유하세요. 실패를 원인별로 그룹화하고 아직 알려지지 않은 사항을 설명합니다. 테스트를 다시 실행하고 실행 후 발견된 실패를 추가하는 단계를 포함합니다. 작성자의 슬라이드 자료가 없어도 다른 엔지니어가 결정을 확인할 수 있어야 합니다. 증거가 너무 약해서 결정할 수 없는 경우 누락된 데이터와 다음 테스트의 이름을 지정합니다.

각 점수가 의미하는 바를 기록하세요

릴리스 질문에 답하는 조치를 선택하십시오. 지원 보조원의 경우 Rubrex는 잘못된 답변, 지원되지 않는 청구, 완료된 작업 및 유용한 답변 비용을 추적할 것을 권장합니다. 각 계산에 포함되는 내용을 설명합니다. 100개 답변 중 10개가 실패했다는 의미는 100개 세션 중 10개 세션이 실패했다는 의미입니다. 응답이 없는 요청을 포함합니다.

하나의 테스트로 하나의 요구사항을 확인합니다. 테스트 스위트는 여러 요구 사항과 시스템이 실패할 수 있는 방법을 확인합니다. 애플리케이션 결과를 공개 모델 벤치마크 점수와 별도로 유지하세요. 이전 버전과 새 버전, 테스트된 사례, 점수 정의 및 릴리스를 차단하는 실패가 포함된 간단한 결정 기록을 작성합니다. 다음 테스트를 담당할 사람의 이름을 지정하세요.

일반적인 질문