Citas RAG: una respuesta correcta aún puede citar evidencia incorrecta

Lo que añade la investigación de septiembre de 2026

Una preimpresión del 19 de septiembre de 2026 estudia la posracionalización de citas comparando un modelo ajustado por instrucciones con agentes RLVR relacionados. Informa que las recompensas por mejores respuestas no resolvieron la fidelidad de las citas en esa configuración. Un estudio mecanicista independiente de 2026 examina la atribución en un modelo y conjunto de datos controlados. Ambos advierten contra la equiparación de una cita adjunta con el uso demostrado de evidencia.

Evidencia: Postracionalización atribuible en citas RAG: una reproducción controlada y una comparación RLVR [1]¿Cómo citan los LLM? Una interpretación mecanicista de la atribución en la generación de recuperación aumentada [2]

Tres preguntas de citas separadas

El soporte pregunta si el texto citado justifica el reclamo. La cobertura pregunta si las afirmaciones materiales de la respuesta se citan adecuadamente. La fidelidad causal pregunta si la evidencia citada influyó en la respuesta en lugar de adjuntarse después. Los dos primeros a menudo pueden revisarse a partir de los resultados y los pasajes. El tercero es más difícil de establecer únicamente a partir de una transcripción.

Registre la autoridad de origen y el tiempo como dimensiones separadas. Una cotización perfectamente coincidente de una póliza obsoleta aún puede inducir a error al usuario. Asimismo, una cita al final de un párrafo podrá respaldar una oración y dejar el resto sin respaldo. Revisión a nivel de reclamo cuando esas distinciones sean importantes.

Cree una revisión de citas inspeccionable

Rubrex recomienda dividir una respuesta en afirmaciones materiales y vincular cada una con el pasaje exacto de respaldo. Etiquetar casos sustentados, contradichos, insuficientes y no evaluables. Conserve suficiente texto circundante para evitar tratar una frase aislada como prueba. Capture una instantánea de origen o una versión estable cuando esté permitido.

Para un experimento controlado, modifique o elimine un pasaje de apoyo y compare la respuesta resultante. Tales intervenciones pueden revelar dependencia, pero no son una prueba causal universal: otros pasajes o conocimientos previos pueden respaldar la misma afirmación. Documente la evidencia alternativa antes de interpretar el cambio.

Ejemplo ilustrativo: la fecha cambia de significado

Un asistente dice que hay una función disponible para todas las cuentas y vincula a una nota de la versión. En realidad, la nota describe la disponibilidad de una versión beta limitada en un mes anterior. El vínculo se resuelve y el nombre de la función coincide, pero el reclamo supera la evidencia.

Un evaluador útil pregunta si el texto citado admite el alcance y la fecha de implementación, no si la respuesta incluye una URL. El experimento correctivo podría requerir la extracción explícita de la elegibilidad y el momento oportuno antes del resumen. Compare la respuesta revisada tanto en los casos de implementación limitada como en los de disponibilidad general.

Informe lo que se probó, no una etiqueta de confianza amplia

Publique el soporte de citas, la cobertura, el recuento de referencias rotas y las discrepancias temporales por separado. Muestre ejemplos de afirmaciones no respaldadas y explique el proceso de revisión. Si no se probó el uso causal, dígalo. Esto produce una declaración de calidad más defendible que describir una respuesta como verificada simplemente porque contiene referencias.

Investigar una alucinación LLM a nivel de reclamo

Al investigar una alucinación LLM, separe una afirmación sin fundamento de una afirmación respaldada por una fuente incorrecta o desactualizada. En un flujo de trabajo RAG, conserve los pasajes exactos disponibles para el generador e identifique qué pasaje, si corresponde, respalda cada afirmación importante. Una cadena en forma de cita no es prueba suficiente de que la afirmación se derive del documento.

Rubrex recomienda revisar juntos la pregunta, la afirmación, el pasaje citado, la fecha de la fuente y la corrección requerida. Si falta evidencia, pruebe la conducta de recuperación o abstención; si hay evidencia presente pero se usa incorrectamente, pruebe el paso de generación de respuestas. Mantenga el diagnóstico lo suficientemente específico como para que un experimento de seguimiento pueda confirmarlo o rechazarlo.

Preguntas comunes