Como avaliar uma aplicação LLM antes do lançamento

O que diz a orientação

O guia de janeiro de 2026 da Anthropic divide os testes do agente em tarefas, execuções repetidas, regras de pontuação e ambiente de teste. Também separa o que um agente diz do que ele realmente faz. Por exemplo, um agente pode dizer que salvou um registro quando o registro nunca foi alterado. Pontue o resultado e também a conversa. Este é um conselho de um fornecedor modelo, e não uma prova de que um método funciona para todos os sistemas.

Evidência: Desmistificando avaliações para agentes de IA [1]

Escolha a decisão que seu teste deve apoiar

Escreva a pergunta de liberação em uma frase. Por exemplo: nosso assistente de suporte pode explicar a política da conta sem prometer um reembolso que não pode aprovar? Isso dá ao teste um usuário, uma tarefa e um risco claros. Um objetivo vago como “ser mais útil” pode recompensar uma resposta correta e errada.

Decida quanto do fluxo de trabalho será testado. Uma resposta pode ser suficiente para uma ferramenta de resumo. Um assistente de chat pode precisar de uma conversa inteira. Se um agente editar um registro, verifique também o registro salvo. Salve a versão do modelo, o prompt, as configurações de pesquisa e as permissões da ferramenta. Uma alteração em qualquer um deles pode alterar o resultado.

Crie um pequeno conjunto de testes que você possa revisar

Rubrex recomenda três grupos de casos: tarefas comuns, casos extremos e falhas conhecidas. Para cada caso, escreva o comportamento esperado e por que o caso pertence ao teste. Retenha alguns casos enquanto ajusta o sistema. Use o primeiro teste para encontrar requisitos pouco claros antes de usar pontuações para apoiar um lançamento.

Use o código para verificar regras exatas, como campos obrigatórios ou IDs de registros permitidos. Use um guia de pontuação para significado, detalhes faltantes e incerteza honesta. Peça aos revisores que avaliem sozinhos um pequeno conjunto compartilhado. Discuta onde eles discordam antes de confiar mais casos a um juiz automatizado. Mantenha os casos que não podem ser pontuados no relatório e explique o porquê.

• Salve a versão original e todas as respostas, incluindo solicitações com falha.
• Execute a versão alterada nas mesmas entradas e limites.
• Inspecione casos que melhoraram e casos que pioraram.
• Dê a cada falha que bloqueia a liberação um proprietário nomeado.

Exemplo: um assistente que explica a política

Suponha que um assistente deva citar a política atual, explicar exceções e evitar promessas de aprovação. Ele pode atender às duas primeiras regras, mas ainda assim falhar ao prometer um reembolso. Pontue cada regra para que a equipe possa encontrar o problema. Registre também se a resposta passou em todas as regras exigidas.

Agora suponha que um novo prompt corrija as citações, mas faça mais promessas sem suporte. Esse é um resultado misto. Teste uma mudança voltada para as promessas e, em seguida, execute novamente os casos anteriores para verificar se há novas falhas. Este é um exemplo de plano de teste, não o resultado de um cliente Rubrex.

Dê ao próximo engenheiro o suficiente para executar novamente o teste

Compartilhe os casos, regras de pontuação, versões do sistema e respostas originais. Agrupe as falhas por causa e explique o que ainda é desconhecido. Inclua etapas para executar novamente o teste e adicionar uma falha encontrada após a inicialização. Outro engenheiro deverá ser capaz de verificar a decisão sem precisar da apresentação de slides do autor. Quando a evidência for fraca demais para decidir, nomeie os dados faltantes e o próximo teste.

Registre o que cada pontuação significa

Escolha medidas que respondam à pergunta de liberação. Para um assistente de suporte, a Rubrex recomenda rastrear respostas erradas, reivindicações não comprovadas, tarefas concluídas e o custo de uma resposta útil. Indique o que cada contagem cobre. Dez respostas com falha em 100 respostas significam algo diferente de dez sessões com falha em 100 sessões. Incluir solicitações que não produziram resposta.

Um teste verifica um requisito. Um conjunto de testes verifica vários requisitos e maneiras pelas quais o sistema pode falhar. Mantenha os resultados do seu aplicativo separados das pontuações de benchmark do modelo público. Escreva um breve registro de decisão com as versões antigas e novas, casos testados, definições de pontuação e falhas que bloqueiam a liberação. Nomeie a pessoa que possui o próximo teste.

Perguntas comuns