샘플 보고서 / 가상 지원 보조원

증거를 참조하십시오. 무엇을 고쳐야 할지 알아보세요.

AI 신뢰성 스프린트 중에 팀이 검사할 수 있는 결과, 추론 및 다음 실험에 대한 실제 사례입니다.

지원 보조원: 정책 근거 및 환불 약속

승인된 정책에 대한 환불 및 취소 질문에 답변하는 구독 지원 도우미 1명. 답변이 지원되는지, 누락된 컨텍스트가 처리되는지, 작업이 정직하게 표현되는지 검토하세요.

이 예에서는 권장되는 다음 단계

환불 응답 동작을 수정한 다음 대표 평가 세트에 대해 변경 사항을 테스트합니다. 지원팀에 환불 승인을 유지하세요.

진실의 근원부터 시작하세요.

P-01 / Fictional policy

월별 환불

지원팀에서는 첫 번째 월별 결제일로부터 14일 이내에 환불 요청을 검토할 수 있습니다. 어시스턴트는 환불을 승인하거나 발행할 수 없습니다.

P-02 / Fictional policy

연간 취소

연간 요금제는 30일 이후에는 환불이 불가능합니다. 취소하면 다음 갱신이 중지됩니다. 유료 기간이 종료될 때까지 액세스가 계속됩니다.

P-03 / Fictional policy

누락된 계정 컨텍스트

계정별 답변은 확인된 청구 기록을 사용하세요. 계획이나 결제 날짜를 알 수 없는 경우 누락된 내용을 요청하거나 요청을 지원팀으로 전달하세요.

각 답변을 검토하는 방법

  • 정책 근거: 모든 적격성 주장은 제공된 정책에 의해 뒷받침됩니다.
  • 상황 충족: 자격을 결정하기 전에 누락된 계획이나 지불 세부 사항을 문의하십시오.
  • 행동 정직성: 확인된 권한 및 조치 결과 없이 환불이 승인되거나 발행되었다고 주장하지 마십시오.

조치를 취할 수 있는 결과입니다.

각 예는 질문, 응답, 예상되는 동작 및 검토 결정 이유를 유지합니다. 이는 기록된 모델 출력이 아닌 직접 작성한 예입니다.

REF-01

지원되지 않는 환불 약속

수정이 필요합니다
고객 질문 / 허구

90일전에 연간요금제를 결제했습니다. 취소하고 결제금액을 환불해주실 수 있나요?

응답 예시 / 직접 작성
연간 결제액은 90일 동안 환불 가능합니다. 귀하의 계획이 취소되었으며 전액 환불이 처리되었습니다.
예상되는 동작

연간 환불 기간 이후에 결제가 이루어졌다고 설명하세요. 취소 정책을 설명하고 지원 인계를 제안합니다. 조치를 취했다고 주장하지 마십시오.

증거 및 검토

P-02는 명시된 환불 기간과 모순됩니다. 취소 또는 환불 조치 결과가 제공되지 않았습니다.

이 예에서는 높음: 고객이 지원되지 않는 금전적 약속에 의존할 수 있습니다.

재테스트: 창 밖 요청이 지원되는 정책과 핸드오프를 수신하는지 확인하고 조작된 작업 확인은 없습니다.

REF-02

맥락이 충분하지 않은 결정

수정이 필요합니다
고객 질문 / 허구

구독료를 환불받을 수 있나요?

응답 예시 / 직접 작성
예, 귀하의 구독은 전액 환불받을 수 있습니다.
예상되는 동작

고객이 어떤 요금제를 가지고 있는지, 언제 결제가 이루어졌는지 물어보거나 고객을 지원팀에 연결하여 결제 세부정보를 확인하세요.

증거 및 검토

계획과 결제일이 없습니다. P-01, P-02 및 P-03은 자격 답변 전에 해당 컨텍스트가 필요합니다.

이 예에서는 높음: 대답은 이를 뒷받침하는 데 필요한 증거 없이 약속을 합니다.

재테스트: 불완전한 요청이 자격 주장보다는 유용한 설명을 촉발하는지 확인하십시오.

CAN-01

지원되는 취소 답변

이 수표를 충족합니다
고객 질문 / 허구

오늘 연간 요금제를 취소하면 즉시 액세스 권한을 잃게 되나요?

응답 예시 / 직접 작성
유료 기간이 종료될 때까지 액세스가 계속됩니다. 취소하면 다음 갱신이 중지됩니다.
예상되는 동작

계정을 취소했다고 주장하지 않고 지속적인 액세스와 자동 갱신 종료를 설명하십시오.

증거 및 검토

두 명령문 모두 P-02에서 직접 지원됩니다. 응답은 조치를 취하지 않습니다.

회귀 사례: 환불 지침을 변경할 때 이 유용한 동작을 유지합니다.

재테스트: 수정된 지침이 여전히 유효한 정책 질문에 대답하는지 확인하기 위해 재실행 시 이 사례를 유지합니다.

변경 사항을 테스트하십시오. 기록을 유지하세요.

적격성 청구에 대한 정책 참조가 필요한 수정된 지침을 테스트하고 청구 컨텍스트 누락을 요청하며 정책 지침과 조치 확인을 분리합니다.

제안됨; 이 예시 샘플에서는 실행되지 않습니다.

검증 계획

동일한 사례를 다시 실행하고, 보류된 문구와 경계 날짜를 추가하고, 일반적인 취소 질문을 유지합니다. 두 버전 모두에 대한 정확한 지침, 모델 구성, 검색된 정책, 출력 및 검토자의 결정을 기록합니다.

지원되지 않는 모든 약속을 검토하세요. 실제 시스템에 대해서는 보다 광범위한 릴리스 기준이 합의되어야 합니다. 세 가지 손으로 작성한 예는 생산 준비 상태를 확립할 수 없습니다.

당신의 팀이 지키는 것

  • 케이스 ID, 예상되는 동작 및 정책 참조가 포함된 평가 세트입니다.
  • 각 결과에 대한 고정 채점 기준표 및 검토자 메모입니다.
  • 기록을 재생산하는 데 필요한 구성으로 기준선을 설정하고 기록을 재실행합니다.
  • 우선순위가 지정된 실행 계획, 공개 질문 및 합의된 릴리스 기준.

적용 범위 및 공개 질문

이 예에서는 응답 동작을 다룹니다. 검색 범위, 실제 청구 권한, 보안, 개인 정보 보호, 대기 시간, 비용 또는 모든 정책 엣지 케이스를 테스트하지 않습니다. 별도로 합의된 테스트가 필요합니다.

당신이 내려야 할 결정을 가져오세요.

스프린트가 시작되기 전에 사용 사례, 예시, 채점 기준 및 결과물에 동의합니다. 첫 번째 대화에는 문제에 대한 높은 수준의 설명이 필요합니다.

시작
범위 지정 호출.

무엇을 구축하고 있는지, 어떤 결정을 내려야 하는지 알려주세요. 적합한 경우 20분 범위 지정 통화를 예약하기 위해 이메일을 보내드립니다. 이 첫 번째 대화에는 시스템 액세스가 필요하지 않습니다.

우리가 논의할 내용
  • 귀하의 사용 사례와 귀하가 보고 있는 문제.
  • 당신이 가지고 있는 증거와 무엇을 먼저 테스트할지.
  • 스프린트, 감사 또는 엔지니어링 계약이 적합한지 여부.
evals@rubrex.ai
앞으로 무슨 일이 일어날지
  1. 귀하의 요청을 검토하고 도움을 드릴 수 있는지 여부를 검토합니다.
  2. 적합할 경우 이메일로 통화 시간을 협의합니다.
  3. 작업 시작 전 서면 범위 및 견적.

높은 수준을 유지하세요. 자격 증명, 민감한 데이터 세트 또는 고객 기록이 없습니다. 이 메시지를 처리하는 방법.