Evaluación de agentes de IA: resultados de pruebas, seguimientos y ejecuciones repetidas

La confiabilidad es más amplia que el éxito de la tarea

Una preimpresión de febrero de 2026 propone dimensiones de confiabilidad que incluyen consistencia, solidez, previsibilidad y seguridad. La guía de evaluación de agentes de Anthropic también distingue las verificaciones de resultados de la calificación del expediente académico. Estos son lentes útiles para diseñar un conjunto de pruebas, no una garantía de que un conjunto cubra todos los riesgos de implementación.

Evidencia: Hacia una ciencia de la confiabilidad de los agentes de IA [1]Evaluaciones desmitificadoras para agentes de IA [2]

Definir el estado final autorizado.

Describa qué puede cambiar, qué debe permanecer sin cambios y qué constituye la finalización. Para un agente de programación, eso podría significar crear exactamente un evento con los asistentes solicitados y dejar intactos los eventos no relacionados. Para un agente de codificación, puede incluir pruebas, comportamiento de artefactos y restricciones de repositorio.

Inicialice cada prueba desde un estado conocido. Si las ejecuciones anteriores dejan datos atrás, los resultados posteriores pueden medir la contaminación del entorno de prueba en lugar de la calidad del agente. Registre las versiones de las herramientas, los permisos, las dependencias externas y cualquier respuesta simulada necesaria para reproducir la tarea.

Utilice comprobaciones de resultados y procesos independientes

Rubrex recomienda afirmaciones de estado exactas siempre que la tarea lo permita. ¿Existió el registro? ¿Era correcto su identificador? ¿Se duplicó la operación? Utilice la revisión de seguimiento para requisitos que dependen de la secuencia, la autorización o la comunicación. Evite exigir una trayectoria de herramienta exacta cuando varias trayectorias válidas satisfacen el contrato.

Conservar ejecuciones incompletas, tiempos de espera y reintentos en el registro de evaluación. Un arnés que deja caer los fracasos puede inflar el éxito aparente. Cuando se trata de un simulador de usuario, evalúe también el comportamiento del simulador: puede revelar información oculta, aceptar un resultado incorrecto o hacer que la tarea sea más fácil que el uso real.

Ejemplo ilustrativo: un mensaje exitoso, un registro ausente

Un agente dice que creó un ticket de soporte. La solicitud de herramienta falló y no existe ningún ticket. Un evaluador de lengua únicamente podría recompensar el mensaje de finalización conciso. Una verificación basada en el estado identifica correctamente el resultado fallido.

Ahora pruebe un tiempo de espera en el que se creó el ticket pero se perdió la respuesta. El comportamiento correcto puede ser conciliar el estado antes de volver a intentarlo. Ambos casos parecen similares en parte, pero requieren diferentes acciones de recuperación. Inclúyalos como escenarios separados e inspeccione si el agente puede distinguir la evidencia disponible.

Informar un perfil de confiabilidad

Muestra finalización, cambios no autorizados, acciones duplicadas, éxito de recuperación y variabilidad entre pruebas. Incluya el uso de recursos y los seguimientos de errores representativos. Un candidato puede completar más tareas y al mismo tiempo volverse menos predecible o provocar fallas más graves; informar esa compensación explícitamente.

• Congelar el estado inicial y restablecerlo entre pruebas.
• Definir caminos alternativos aceptables para su finalización.
• Interrupciones de pruebas y fallas parciales de herramientas.
• Mantenga visibles las fallas graves incluso cuando el promedio mejore.

Un marco de evaluación de agentes de IA que puedes inspeccionar

Un marco práctico de evaluación de agentes necesita una definición de tarea, un entorno reiniciable, pruebas repetidas, verificaciones de resultados y un seguimiento que conecte las acciones con los resultados. Para un agente de soporte, defina los cambios de registro permitidos antes de la ejecución. Luego, inspeccione el registro real y la conversación. Conservar los ensayos fallidos e interrumpidos para que el informe refleje el intento de trabajo.

Para las métricas de evaluación de agentes de IA, Rubrex recomienda informar la finalización de tareas junto con cambios no autorizados, acciones duplicadas, resultados de recuperación y costo por tarea completada. Indique el recuento de pruebas para cada tarea y muestre resultados inconsistentes individualmente. La evaluación agente también debe probar una falla de la herramienta y una solicitud ambigua: es posible que el sistema deba detenerse o pedir una aclaración en lugar de forzar su finalización.

Preguntas comunes