Métricas de avaliação RAG: medem a recuperação e as respostas separadamente

O que as estruturas métricas atuais cobrem

Ragas documenta métricas separadas para precisão de contexto, recuperação de contexto, fidelidade, relevância de resposta e sensibilidade a ruído. EnterpriseRAG, uma pré-impressão de agosto de 2026, também examina evidências ruidosas, lacunas de conhecimento, fatos conflitantes e instruções múltiplas. Este último destaca condições que uma referência clara de perguntas e respostas pode omitir.

Evidência: Lista de métricas disponíveis [1]EnterpriseRAG: Benchmarking de adesão e robustez de instruções LLM sob recuperação empresarial não ideal [2]

Escolha as métricas da falha que você precisa detectar

A precisão do contexto pergunta quanto material recuperado é útil sob a regra de relevância escolhida. A recordação de contexto pergunta se a evidência necessária foi recuperada. A fidelidade diz respeito ao suporte para as afirmações geradas no contexto fornecido. A correção da resposta precisa de uma referência específica da tarefa ou de outro processo de julgamento defensável. Estas não são perguntas intercambiáveis.

Defina o que conta como passagem relevante antes da recuperação da pontuação. Uma passagem pode mencionar o tópico certo sem conter a exceção necessária para responder à pergunta. Da mesma forma, uma resposta pode ser suportada por um contexto desatualizado e ainda assim estar errada para a solicitação atual do usuário. Mantenha a atualização e a autoridade da fonte visíveis.

Construir uma matriz de avaliação diagnóstica

Rubrex recomenda congelar um instantâneo do corpus e criar casos para evidências suficientes, evidências ausentes, evidências contraditórias e acréscimos irrelevantes. Faça a mesma pergunta nessas condições em que a transformação permanece realista. Configuração de recuperação de registros e contexto final fornecido ao gerador.

Avalie a resposta separadamente do recuperador. Um experimento que altera ambos os componentes pode ser útil para a decisão do produto, mas é difícil de diagnosticar. Primeiro meça o efeito de ponta a ponta; em seguida, isole os componentes para entender de onde veio a mudança.

Exemplo ilustrativo: recall aumenta, utilidade cai

Um retriever começa a retornar mais passagens. Agora inclui a política correta com mais frequência, mas também fornece versões antigas com redação semelhante. A cobertura de recuperação melhora enquanto a resposta aplica cada vez mais regras desatualizadas. Um painel que reporta apenas recall perderia a regressão.

Inspecione as versões e a autoridade do documento e, em seguida, teste uma alteração de filtragem ou reclassificação. Mantenha o conjunto de perguntas fixo e compare o comportamento de recuperação e de resposta final. Não presuma que reduzir o número de passagens seja sempre a solução; pode remover as evidências necessárias para questões sobre vários documentos.

Faça o relatório explicar as compensações

Apresentar resultados por fatia, falhas representativas, a configuração utilizada e a incerteza nas pontuações julgadas. Inclua violações críticas de restrições ao lado das médias. Uma leitura útil explica qual alteração testar em seguida e qual resultado apoiaria ou rejeitaria a hipótese. Ele não para em um painel métrico codificado por cores.

Execute uma avaliação RAG da pergunta à evidência

Para uma primeira avaliação RAG, crie um registro contendo a pergunta, versão do corpus, passagens de apoio, passagens recuperadas, resposta final e comportamento esperado. Marque as perguntas que devem ser respondidas e aquelas em que o sistema deve pedir esclarecimentos ou abster-se. Isso permite que um revisor distinga uma fonte ausente de uma resposta que ignora uma fonte já presente.

Rubrex recomenda executar avaliações RAG com um conjunto de perguntas congeladas antes de alterar a profundidade de recuperação, fragmentação ou prompt de resposta. Compare a linha de base e o candidato registro por registro. Por exemplo, se um candidato recuperar a política correta, mas citar uma exceção obsoleta, retenha tanto o sucesso da recuperação quanto o fracasso da resposta. Combine quais falhas bloqueiam a decisão antes de agregar as pontuações.

Um exemplo de RAG de quatro casos que você pode inspecionar

A planilha para download contém quatro passagens curtas inventadas e quatro perguntas. Tanto a linha de base quanto as respostas candidatas são instantâneos de autoria; nenhum LLM os gerou. Eles ilustram como diagnosticar falhas e não uma melhoria observada em um sistema de produção. O contrato de aceitação é explícito: use evidências atuais, cite-as e abstenha-se quando o corpus não puder responder.

O corpus contém deliberadamente políticas de reembolso conflitantes. refund-current permite reembolsos de assinaturas não utilizadas dentro de 14 dias; reembolso antigo diz 30 dias e está marcado como arquivado. os estados atuais de envio são de 3 a 5 dias úteis. cancelamento-atual diz para cancelar em Configurações> Faturamento e manter o acesso até o final do período pago. Nenhuma passagem contém um número de suporte telefônico. Uma passagem pode apoiar uma resposta embora ainda seja inelegível ao abrigo do contrato da política atual.

• Baixe as passagens, perguntas, respostas e rótulos (JSON)

Calcule pontuações separadas antes de escolher uma correção

A cobertura de evidências conta casos responsáveis recuperando todas as passagens atuais exigidas: linha de base 2/3 e candidato 3/3. Exclua a caixa de telefone sem resposta deste denominador porque ela não possui passagem obrigatória. Esta é uma verificação de cobertura em nível de caso, não uma recuperação de contexto em nível de bloco. Não diz nada sobre pedaços extras irrelevantes ou precisão de recuperação.

O suporte contextual conta respostas factuais cujas afirmações são todas apoiadas por suas passagens recuperadas: linha de base 2/4 e candidato 3/3. A abstenção do candidato é excluída da pontuação das respostas factuais e, em vez disso, julgada pela aceitação da tarefa. A resposta obsoleta do reembolso conta como apoiada na linha de base, o que expõe por que o apoio por si só é insuficiente. Estes são rótulos binários explícitos de autoria humana, não pontuações de Ragas ou julgamentos semânticos automatizados.

A aceitação da tarefa conta respostas completas que atendem ao contrato, incluindo abstenções corretas: linha de base 1/4 e candidato 4/4. Não compare as percentagens de apoio sem que os seus denominadores mudem. A planilha fornece todos os rótulos para que um segundo revisor possa discordar de uma decisão individual em vez de debater uma média inexplicada.

As correções propostas são filtragem de versão para reembolsos, verificação mais rigorosa da solicitação de passagem para cancelamento e uma regra de suficiência de evidências para informações ausentes. Teste cada alteração independentemente em um conjunto maior antes de combiná-las. Quatro casos deliberadamente construídos não podem estimar uma taxa de erro real, estabelecer significância estatística ou justificar uma divulgação. Mantenha contra-exemplos difíceis, registre as divergências do revisor e execute novamente o controle de envio inalterado após cada intervenção.

Perguntas comuns