Como testar a recuperação de recuperação sem recompensar o contexto irrelevante

A granularidade da pergunta altera o que um benchmark testa

HieraRAG estuda como a granularidade da questão sintética afeta a discriminação entre configurações RAG. Ragas identifica separadamente a recordação do contexto e a precisão do contexto como dimensões de avaliação. Juntos, eles fornecem uma razão para examinar tanto a cobertura das evidências quanto a utilidade do material devolvido.

Evidência: Quão refinado deve ser um benchmark RAG? Uma estrutura hierárquica para geração de perguntas sintéticas [1]Lista de métricas disponíveis [2]

Crie um requisito de evidência para cada pergunta

Para cada caso, escreva os fatos que devem ser recuperáveis ​​a partir do contexto recuperado. Mapeie cada fato para uma ou mais passagens aceitáveis. Onde diversas fontes puderem apoiar o mesmo fato, não exija um identificador de documento arbitrário. Quando uma conclusão exigir dois documentos, registre ambas as dependências.

Use rótulos explícitos para evidências que sejam necessárias, de apoio, mas opcionais, contraditórias ou irrelevantes. Isso dá aos revisores uma maneira de explicar por que um resultado de recuperação falha. Uma pontuação geral de similaridade semântica pode ser um diagnóstico útil, mas não estabelece que a exceção exigida ou condição de qualificação foi encontrada.

Compare a recuperação sob um orçamento controlado

Rubrex recomenda manter o conjunto de perguntas, o instantâneo do corpus, a política de acesso e o gerador constantes ao investigar uma alteração no recuperador. Registre o limite de passagem, o orçamento de tokens, a configuração de reclassificação e qualquer truncamento. Uma comparação entre dez passagens curtas e dez documentos inteiros não controla o mesmo recurso.

Inspecione falhas de recuperação por categoria: vocabulário errado, fonte ausente, segmentação deficiente, permissões, indexação obsoleta ou classificação. Alguns não são problemas do modelo recuperador. Se a política necessária nunca entrou no índice, a alteração dos embeddings não a recuperará.

• Separe a cobertura do corpus do sucesso da recuperação dentro do corpus.
• Contar as unidades de evidência exigidas, com a regra de rotulagem documentada.
• Retenha o contexto real enviado downstream, não apenas os resultados da pesquisa.
• Meça o comportamento de resposta após qualquer alteração orientada para recall.

Exemplo ilustrativo: a exceção mora em outro lugar

Um cliente pergunta se um plano anual pode ser cancelado após uma renovação. A política geral de cancelamento é recuperada, mas uma exceção específica da conta fica em um documento autorizado separado. Um avaliador de relevância do tópico pode atribuir uma pontuação alta ao resultado, enquanto as evidências necessárias para a resposta permanecem incompletas.

A referência deve especificar tanto a regra geral como a exceção aplicável. Se o documento de exceção estiver inacessível para este usuário, a resposta esperada também deverá respeitar essa restrição. Uma avaliação de recuperação nunca deve recompensar a exposição de um documento que o usuário solicitante não tem direito de ver.

Transforme erros em um experimento de recuperação

Selecione uma intervenção vinculada à falha observada: melhore a cobertura da indexação, ajuste os limites dos blocos, preserve os títulos, adicione filtros de metadados ou altere a reclassificação. Meça o resultado emparelhado e examine as falhas recentemente introduzidas. Mantenha os exemplos originais no conjunto de regressão mesmo depois que o erro imediato for corrigido.

Perguntas comuns