Contaminación de referencia: por qué un conjunto de pruebas privado no es suficiente

Una taxonomía reciente amplía la cuestión

Una preimpresión de agosto de 2026 organiza la contaminación en torno a las mitigaciones que puede superar, incluida la exposición adquirida durante la evaluación. También informa limitaciones en la confiabilidad de partes de su instrumento de divulgación. Su contribución es una forma de hacer preguntas más agudas, no un detector que demuestre que cualquier punto de referencia no está contaminado.

Evidencia: Contaminación de referencia: una taxonomía organizada por mitigación derrotada [1]

Rastrear cómo la información de evaluación puede llegar al sistema.

Enumere los lugares donde puede aparecer el material de prueba: indicaciones, documentos recuperados, ejemplos breves, notas del desarrollador, datos de ajuste, conversaciones compartidas y herramientas. Un caso puede permanecer fuera del entrenamiento del modelo y aún así incorporarse al mensaje de la aplicación después de una depuración repetida. Eso cambia lo que significa el éxito en el caso.

Para sistemas habilitados para la web, considere también si una pregunta de prueba conduce directamente a su respuesta publicada. Esto puede ser legítimo para una tarea de recuperación e inválido para una reclamación de capacidad a libro cerrado. Un mismo comportamiento puede ser aceptable o contaminante según el contrato de evaluación.

Utilice controles que coincidan con la afirmación prevista

Rubrex recomienda mantener conjuntos de desarrollo, regresión y decisión separados. Una falla conocida pertenece a las pruebas de regresión incluso después de que los ingenieros la hayan visto. Un conjunto retenido tiene un propósito diferente: medir la transferencia más allá de esas correcciones. No borre el valor de regresión simplemente porque un caso ya no es secreto.

Limite el acceso al conjunto de decisiones, registre cuándo estuvo expuesto y congele las reglas de puntuación antes de ejecutar la comparación final. Si se permiten herramientas, registre sus límites de acceso. Se deben revisar las preguntas nuevas para determinar su similitud con ejemplos anteriores y pistas accidentales en identificadores o documentos de referencia.

Ejemplo ilustrativo: la escalada memorizada

Un equipo repara a un asistente después de una escalada de soporte y agrega la interacción exacta a su mensaje como ejemplo. La siguiente evaluación pasa esa interacción. Este es un resultado de regresión útil, pero evidencia débil de que el asistente maneja casos desconocidos del mismo tipo.

Construya casos separados que ejerzan la misma regla subyacente con diferentes evidencias, frases y condiciones de contorno. Conserve la escalada original, etiquete su exposición e informe los casos de generalización por separado. Una distinción transparente es más útil que un porcentaje de éxito mayor.

Incluir un registro de exposición al lado de la puntuación.

Un registro compacto debe describir el origen del conjunto de datos, quién vio los casos, cómo se ajustó la aplicación, si las herramientas pudieron recuperar material relacionado y qué se desconoce. Adjúntelo a la ejecución, porque la exposición puede cambiar entre ejecuciones. Una etiqueta de referencia por sí sola no describe las condiciones bajo las cuales se obtuvo una puntuación.

• Nombre la capacidad o el flujo de trabajo que la prueba debe respaldar.
• Registre la exposición conocida al entrenamiento o ajuste cuando esté disponible.
• Explique la recuperación y los permisos de red durante la evaluación.
• Mantenga el conjunto de decisiones finales separado de los comentarios de depuración de rutina.

Preguntas comunes