Avalie assistentes multivoltas durante toda a conversa

Pesquisas recentes focam na qualidade da interação

Uma pré-impressão de maio de 2026 propõe uma estrutura centrada na transparência, consistência e refinamento na interação humano-IA. Uma pesquisa de agosto de 2026 discute a memória persistente e o aterramento cruzado como desafios contínuos. Estas fontes ampliam a avaliação para além de respostas únicas, mas não estabelecem uma pontuação padrão para cada produto conversacional.

Evidência: Avaliando a interação humano-IA multivoltas [1]IA conversacional multivoltas, do texto à interação multimodal: dados, modelos, avaliação e desafios abertos [2]

Escreva o estado da conversa explicitamente

Representa o objetivo do usuário, restrições ativas, questões não resolvidas e ações permitidas após cada turno significativo. Quando o usuário alterar um requisito, registre qual condição anterior foi substituída e qual permanece em vigor. Isto dá aos revisores um alvo observável sem exigir acesso ao raciocínio interno do modelo.

Distinguir memória que deveria persistir de informação que não deveria. Um assistente pode precisar lembrar uma preferência de formatação dentro de uma sessão, mantendo isolados os detalhes de outro cliente. A avaliação deve refletir a sessão real do produto e os limites de identidade.

Teste transições de conversa realistas

A Rubrex recomenda cenários onde o usuário esclarece uma solicitação vaga, corrige uma suposição factual, altera o formato desejado, interrompe uma operação ou retorna a uma meta anterior. Inclua casos em que fazer uma pergunta seja útil e casos em que esclarecimentos repetidos acrescentem atritos desnecessários.

Use uma transcrição fixa quando precisar de uma comparação controlada e um simulador cuidadosamente especificado quando o comportamento de ramificação for importante. Inspecione se o simulador dá dicas extras ao assistente ou aceita uma conclusão prematura. O simulador faz parte do sistema de medição e pode introduzir seu próprio viés.

Exemplo ilustrativo: uma restrição muda, outra sobrevive

Um usuário solicita um resumo com menos de 200 palavras para um público técnico e, em seguida, solicita uma versão não técnica. O público muda; a restrição de comprimento não desaparece automaticamente. Uma resposta final que seja clara, mas com 500 palavras, não atende ao requisito mantido.

Pontue o artefato final e a transição: o assistente aplicou a correção sem reintroduzir uma suposição rejeitada anteriormente? Adicione um caso em que o usuário remova explicitamente o limite de comprimento. Isto evita que a avaliação recompense a retenção rígida de todas as instruções anteriores.

Relatar resultados e custos de interação

Rastreie a conclusão de tarefas, preservação de restrições, aceitação de correções, suposições não suportadas e turnos de esclarecimento evitáveis. Use exemplos para explicar por que uma conversa mais longa foi necessária ou um desperdício. Mais voltas não são inerentemente piores; um esclarecimento bem colocado pode evitar uma ação incorreta.

• Defina a tarefa ativa após cada correção do usuário.
• Revise os limites da sessão e o isolamento de identidade.
• Mantenha as políticas de usuários simulados consistentes entre os candidatos.
• Distinguir esclarecimentos úteis de questionamentos repetidos.

Perguntas comuns