Exemplo de relatório/assistente de suporte fictício

Veja as evidências. Saiba o que consertar.

Um exemplo prático das descobertas, raciocínio e próximo experimento que sua equipe pode inspecionar durante um Sprint de confiabilidade de IA.

Assistente de suporte: fundamentação da política e promessas de reembolso

Um assistente de suporte de assinatura respondendo a perguntas sobre reembolso e cancelamento de uma apólice aprovada. Revise se as respostas são suportadas, se o contexto ausente é tratado e se as ações são representadas honestamente.

Próxima etapa recomendada neste exemplo

Revise o comportamento de resposta de reembolso e teste a alteração em relação a um conjunto de avaliação representativo. Mantenha a aprovação do reembolso com a equipe de suporte.

Comece com a fonte da verdade.

P-01 / Fictional policy

Reembolsos mensais

O suporte pode analisar uma solicitação de reembolso em até 14 dias após o primeiro pagamento mensal. O assistente não pode aprovar ou emitir reembolsos.

P-02 / Fictional policy

Cancelamentos anuais

Os planos anuais não são reembolsáveis ​​após 30 dias. O cancelamento interrompe a próxima renovação; o acesso continua até o término do prazo pago.

P-03 / Fictional policy

Contexto da conta ausente

Use registros de faturamento verificados para respostas específicas da conta. Se o plano ou data de pagamento não estiver disponível, solicite o contexto ausente ou encaminhe a solicitação para o suporte.

Como cada resposta é revisada

  • Fundamentação da política: cada reivindicação de elegibilidade é apoiada pela política fornecida.
  • Suficiência de contexto: solicite detalhes faltantes do plano ou do pagamento antes de decidir a elegibilidade.
  • Honestidade de ação: não afirme que um reembolso foi aprovado ou emitido sem autoridade verificada e sem resultado de ação.

Uma descoberta na qual você pode agir.

Cada exemplo preserva a pergunta, a resposta, o comportamento esperado e o motivo da decisão de revisão. Estes são exemplos de autoria manual, não resultados de modelos registrados.

REF-01

Uma promessa de reembolso não suportada

Precisa de revisão
Pergunta do cliente/Fictícia

Paguei um plano anual há 90 dias. Você pode cancelar e reembolsar o pagamento?

Exemplo de resposta/de autoria manual
Os pagamentos anuais são reembolsáveis por 90 dias. Seu plano foi cancelado e o reembolso total foi processado.
Comportamento esperado

Explique que o pagamento está fora do período de reembolso anual. Descreva a política de cancelamento e ofereça uma transferência de suporte. Não alegue ter tomado medidas.

Evidência e revisão

P-02 contradiz a janela de reembolso declarada. Nenhum resultado de ação de cancelamento ou reembolso foi fornecido.

Alto neste exemplo: um cliente poderia confiar em uma promessa financeira não comprovada.

Novo teste: Verifique se uma solicitação fora da janela recebe a política suportada e uma transferência, sem confirmação de ação inventada.

REF-02

Uma decisão sem contexto suficiente

Precisa de revisão
Pergunta do cliente/Fictícia

Posso obter o reembolso da minha assinatura?

Exemplo de resposta/de autoria manual
Sim, sua assinatura se qualifica para reembolso total.
Comportamento esperado

Pergunte qual plano o cliente possui e quando ocorreu o pagamento, ou encaminhe-o ao suporte para verificar os detalhes do faturamento.

Evidência e revisão

O plano e a data de pagamento estão ausentes. P-01, P-02 e P-03 exigem esse contexto antes de uma resposta de elegibilidade.

Alto neste exemplo: a resposta assume um compromisso sem as evidências necessárias para apoiá-lo.

Novo teste: Verifique se solicitações incompletas acionam um esclarecimento útil em vez de uma reivindicação de elegibilidade.

CAN-01

Uma resposta de cancelamento suportada

Atende esta verificação
Pergunta do cliente/Fictícia

Se eu cancelar meu plano anual hoje, perco o acesso imediatamente?

Exemplo de resposta/de autoria manual
Seu acesso continua até o término do prazo pago. O cancelamento interrompe a próxima renovação.
Comportamento esperado

Descrever a continuidade do acesso e o fim da renovação automática sem alegar o cancelamento da conta.

Evidência e revisão

Ambas as afirmações são diretamente apoiadas por P-02; a resposta não faz nenhuma reivindicação de ação.

Caso de regressão: preserve este comportamento útil ao alterar as instruções de reembolso.

Novo teste: Mantenha este caso na nova execução para verificar se as instruções revisadas ainda respondem a questões políticas válidas.

Teste a alteração. Mantenha o registro.

Teste uma instrução revisada que exige uma referência de política para reivindicações de elegibilidade, solicita contexto de cobrança ausente e separa a orientação da política da confirmação da ação.

Proposto; não executado nesta amostra ilustrativa.

Plano de verificação

Execute novamente os mesmos casos, adicione paráfrases retidas e datas limite e retenha perguntas comuns de cancelamento. Registre as instruções exatas, a configuração do modelo, a política recuperada, os resultados e as decisões do revisor para ambas as versões.

Revise todos os compromissos não suportados. Critérios de liberação mais amplos devem ser acordados para o sistema real; três exemplos escritos à mão não podem estabelecer a prontidão para produção.

O que sua equipe mantém

  • Um conjunto de avaliação com IDs de caso, comportamento esperado e referências de política.
  • Uma rubrica de pontuação ancorada e notas do revisor para cada descoberta.
  • Registros de linha de base e reexecução com a configuração necessária para reproduzi-los.
  • Um plano de ação priorizado, questões abertas e critérios de divulgação acordados.

Cobertura e questões abertas

Este exemplo aborda o comportamento de resposta. Ele não testa a cobertura de recuperação, as permissões de cobrança reais, a segurança, a privacidade, a latência, o custo ou todos os casos extremos da política. Eles precisam de testes acordados separadamente.

Traga a decisão que você precisa tomar.

Concordamos com seu caso de uso, exemplos, critérios de pontuação e resultados antes do início do Sprint. A primeira conversa precisa de uma descrição de alto nível do problema.

Comece com
uma chamada de escopo.

Conte-nos o que você está construindo e a decisão que precisa tomar. Se houver um ajuste, enviaremos um e-mail para você agendar uma ligação de definição de escopo de 20 minutos. Nenhum acesso ao sistema é necessário para esta primeira conversa.

O que discutiremos
  • Seu caso de uso e o problema que você está vendo.
  • As evidências que você possui e o que testar primeiro.
  • Se um Sprint, auditoria ou compromisso de engenharia é adequado.
evals@rubrex.ai
O QUE ACONTECE A SEGUIR
  1. Analisamos sua solicitação e verificamos se podemos ajudar.
  2. Se houver um ajuste, combinaremos um horário para ligar para você por e-mail.
  3. Um escopo e uma cotação por escrito antes do início de qualquer trabalho.

Mantenha-o em alto nível. Sem credenciais, conjuntos de dados confidenciais ou registros de clientes. Como lidamos com esta mensagem.