Cómo probar la recuperación sin recompensar el contexto irrelevante

La granularidad de las preguntas cambia lo que prueba un punto de referencia

HieraRAG estudia cómo la granularidad de las preguntas sintéticas afecta la discriminación entre configuraciones RAG. Ragas identifica por separado el recuerdo del contexto y la precisión del contexto como dimensiones de evaluación. Juntos proporcionan una razón para examinar tanto la cobertura de la evidencia como la utilidad del material devuelto.

Evidencia: ¿Qué tan detallado debe ser un punto de referencia RAG? Un marco jerárquico para la generación de preguntas sintéticas [1]Lista de métricas disponibles [2]

Crear un requisito de evidencia para cada pregunta.

Para cada caso, escriba los hechos que deben ser recuperables del contexto recuperado. Asigne cada hecho a uno o más pasajes aceptables. Cuando varias fuentes puedan respaldar el mismo hecho, no requiera un identificador de documento arbitrario. Cuando una conclusión requiera dos documentos, registre ambas dependencias.

Utilice etiquetas explícitas para evidencia que sea necesaria, de respaldo pero opcional, contradictoria o irrelevante. Esto brinda a los revisores una manera de explicar por qué falla un resultado de recuperación. Una puntuación de similitud semántica general puede ser un diagnóstico útil, pero no establece que se haya encontrado la excepción o condición de calificación requerida.

Comparar la recuperación con un presupuesto controlado

Rubrex recomienda mantener constantes el conjunto de preguntas, la instantánea del corpus, la política de acceso y el generador al investigar un cambio en el recuperador. Registre el límite de paso, el presupuesto de tokens, la configuración de reclasificación y cualquier truncamiento. Una comparación entre diez pasajes breves y diez documentos completos no controla el mismo recurso.

Inspeccionar errores de recuperación por categoría: vocabulario incorrecto, fuente faltante, segmentación deficiente, permisos, indexación obsoleta o clasificación. Algunos no son problemas del modelo retriever. Si la política necesaria nunca entró en el índice, cambiar las incrustaciones no la recuperará.

• Separe la cobertura del corpus del éxito de la recuperación dentro del corpus.
• Cuente las unidades de evidencia requeridas, con la regla de etiquetado documentada.
• Conserve el contexto real enviado en sentido descendente, no solo los resultados de búsqueda.
• Mida el comportamiento de respuesta después de cualquier cambio orientado al recuerdo.

Ejemplo ilustrativo: la excepción vive en otra parte

Un cliente pregunta si se puede cancelar un plan anual después de una renovación. Se recupera la política de cancelación general, pero se incluye una excepción específica de la cuenta en un documento autorizado separado. Un evaluador de relevancia del tema puede otorgar al resultado una puntuación alta mientras la evidencia necesaria para la respuesta permanezca incompleta.

La referencia debe especificar tanto la regla general como la excepción aplicable. Si el documento de excepción es inaccesible para este usuario, la respuesta esperada también debe respetar esa restricción. Una evaluación de recuperación nunca debe recompensar la exposición de un documento que el usuario solicitante no tiene derecho a ver.

Convierta los errores en un experimento de recuperación

Seleccione una intervención relacionada con la falla observada: mejorar la cobertura de indexación, ajustar los límites de los fragmentos, conservar los encabezados, agregar filtros de metadatos o cambiar la reclasificación. Mida el resultado emparejado y examine las fallas recién introducidas. Mantenga los ejemplos originales en el conjunto de regresión incluso después de que se solucione el error inmediato.

Preguntas comunes