Métricas de evaluación de RAG: mida la recuperación y las respuestas por separado

Qué cubren los marcos métricos actuales

Ragas documenta métricas separadas para la precisión del contexto, la recuperación del contexto, la fidelidad, la relevancia de las respuestas y la sensibilidad al ruido. EnterpriseRAG, una preimpresión de agosto de 2026, también examina evidencia confusa, lagunas de conocimiento, hechos contradictorios y múltiples instrucciones. Este último resalta condiciones que un punto de referencia limpio de preguntas y respuestas puede omitir.

Evidencia: Lista de métricas disponibles [1]EnterpriseRAG: Evaluación comparativa de la adherencia y solidez de las instrucciones de LLM en condiciones de recuperación empresarial no ideal [2]

Elija métricas de la falla que necesita detectar

La precisión del contexto pregunta cuánto material recuperado es útil según la regla de relevancia elegida. La recuperación del contexto pregunta si se recuperó la evidencia requerida. La fidelidad se refiere al soporte de las afirmaciones generadas en el contexto proporcionado. La corrección de las respuestas necesita una referencia específica de la tarea u otro proceso de juicio defendible. Estas no son preguntas intercambiables.

Defina lo que se considera un pasaje relevante antes de calificar la recuperación. Un pasaje puede mencionar el tema correcto sin contener la excepción requerida para responder la pregunta. De manera similar, una respuesta puede estar respaldada por un contexto desactualizado y aún así ser incorrecta para la solicitud actual del usuario. Mantenga visible la frescura y la autoridad de la fuente.

Construir una matriz de evaluación diagnóstica

Rubrex recomienda congelar una instantánea del corpus y crear casos para evidencia suficiente, evidencia faltante, evidencia contradictoria y adiciones irrelevantes. Haga la misma pregunta en aquellas condiciones en las que la transformación sigue siendo realista. Configuración de recuperación de registros y contexto final suministrado al generador.

Evalúe la respuesta por separado del recuperador. Un experimento que cambie ambos componentes puede ser útil para la decisión sobre el producto, pero es difícil de diagnosticar. Primero mida el efecto de un extremo a otro; luego aísle los componentes para comprender de dónde vino el cambio.

Ejemplo ilustrativo: el recuerdo aumenta, la utilidad disminuye

Un recuperador comienza a devolver más pasajes. Ahora incluye la política correcta con mayor frecuencia, pero también proporciona versiones antiguas con redacción similar. La cobertura de recuperación mejora mientras que la respuesta aplica cada vez más reglas obsoletas. Un panel que solo informara el recuerdo perdería la regresión.

Inspeccione las versiones y la autoridad de los documentos, luego pruebe un cambio de filtrado o reclasificación. Mantenga el conjunto de preguntas fijo y compare el comportamiento de recuperación y de respuesta final. No asuma que reducir el número de pasajes es siempre el remedio; puede eliminar la evidencia necesaria para preguntas de varios documentos.

Haga que el informe explique las compensaciones

Presentar resultados por segmento, fallas representativas, la configuración utilizada y la incertidumbre en las puntuaciones juzgadas. Incluya violaciones de restricciones críticas además de los promedios. Una lectura útil explica qué cambio probar a continuación y qué resultado respaldaría o rechazaría la hipótesis. No se detiene en un panel métrico codificado por colores.

Ejecutar una evaluación RAG desde la pregunta hasta la evidencia

Para una primera evaluación RAG, cree un registro que contenga la pregunta, la versión del corpus, los pasajes de respaldo, los pasajes recuperados, la respuesta final y el comportamiento esperado. Marque las preguntas que deberían tener respuesta y aquellas en las que el sistema debería pedir aclaraciones o abstenerse. Esto permite al revisor distinguir una fuente faltante de una respuesta que ignora una fuente ya presente.

Rubrex recomienda ejecutar evaluaciones RAG con un conjunto de preguntas congeladas antes de cambiar la profundidad de recuperación, la fragmentación o la solicitud de respuesta. Compare la línea de base y el candidato registro por registro. Por ejemplo, si un candidato recupera la política correcta pero cita una excepción obsoleta, conserve tanto el éxito de la recuperación como la respuesta fallida. Acuerde qué fallas bloquean la decisión antes de agregar las puntuaciones.

Un ejemplo de RAG de cuatro casos que puedes inspeccionar

La hoja de trabajo descargable contiene cuatro pasajes breves inventados y cuatro preguntas. Tanto las respuestas iniciales como las candidatas son instantáneas creadas por el autor; ningún LLM los generó. Ilustran cómo diagnosticar fallas, no una mejora observada en un sistema de producción. El contrato de aceptación es explícito: utilizar evidencia actual, citarla y abstenerse cuando el corpus no pueda responder.

El corpus contiene deliberadamente políticas de reembolso contradictorias. refund-current permite reembolsos de suscripciones no utilizadas dentro de los 14 días; El reembolso anterior dice 30 días y está marcado como archivado. envío-estados actuales de 3 a 5 días hábiles. cancelación-actual dice cancelar en Configuración> Facturación y conservar el acceso hasta que finalice el período de pago. Ningún pasaje contiene un número de soporte telefónico. Un pasaje puede respaldar una respuesta sin dejar de ser elegible según el contrato de póliza actual.

• Descarga los pasajes, preguntas, respuestas y etiquetas (JSON)

Calcule puntuaciones separadas antes de elegir una solución

La cobertura de evidencia cuenta los casos responsables que recuperan cada pasaje actual requerido: línea de base 2/3 y candidato 3/3. Excluya la carcasa del teléfono sin respuesta de este denominador porque no tiene pasaje requerido. Esta es una verificación de cobertura a nivel de caso, no una recuperación de contexto a nivel de fragmento. No dice nada sobre fragmentos adicionales irrelevantes o precisión de recuperación.

El apoyo del contexto cuenta las respuestas fácticas cuyas afirmaciones están respaldadas por los pasajes recuperados: línea de base 2/4 y candidato 3/3. La abstención del candidato se excluye de la puntuación de las respuestas objetivas y, en su lugar, se juzga según la aceptación de la tarea. La respuesta de reembolso obsoleta cuenta como respaldada en la línea de base, lo que expone por qué el soporte por sí solo es insuficiente. Se trata de etiquetas binarias explícitas escritas por humanos, no puntuaciones de Ragas ni juicios semánticos automatizados.

La aceptación de la tarea cuenta las respuestas completas cumpliendo el contrato, incluida la abstención correcta: línea base 1/4 y candidato 4/4. No compare los porcentajes de apoyo sin que cambien sus denominadores. La hoja de trabajo proporciona todas las etiquetas para que un segundo revisor pueda estar en desacuerdo con una decisión individual en lugar de debatir un promedio inexplicable.

Las correcciones propuestas son filtrado de versiones para reembolsos, verificación más estricta de reclamos de paso para cancelaciones y una regla de suficiencia de evidencia para información faltante. Pruebe cada cambio de forma independiente en un conjunto más grande antes de combinarlos. Cuatro casos construidos deliberadamente no pueden estimar una tasa de error real, establecer significancia estadística o justificar una publicación. Mantenga contraejemplos difíciles, registre los desacuerdos de los revisores y vuelva a ejecutar el control de envío sin cambios después de cada intervención.

Preguntas comunes