Evaluar asistentes multiturno a lo largo de toda la conversación.

Investigaciones recientes se centran en la calidad de la interacción.

Una preimpresión de mayo de 2026 propone un marco centrado en la transparencia, la coherencia y el refinamiento en la interacción entre humanos y IA. Una encuesta de agosto de 2026 analiza la memoria persistente y la conexión a tierra entre turnos como desafíos continuos. Estas fuentes amplían la evaluación más allá de las respuestas únicas, pero no establecen una puntuación estándar para cada producto conversacional.

Evidencia: Evaluación de la interacción entre humanos y IA en múltiples turnos [1]IA conversacional de múltiples turnos desde el texto hasta la interacción multimodal: datos, modelos, evaluación y desafíos abiertos [2]

Escribe el estado de la conversación explícitamente.

Representa el objetivo del usuario, las limitaciones activas, las preguntas no resueltas y las acciones permitidas después de cada turno significativo. Cuando el usuario cambie un requisito, registre qué condición anterior queda reemplazada y cuál permanece vigente. Esto brinda a los revisores un objetivo observable sin necesidad de acceder al razonamiento interno del modelo.

Distinguir la memoria que debería persistir de la información que no debería. Es posible que un asistente necesite recordar una preferencia de formato dentro de una sesión mientras mantiene aislados los detalles de otro cliente. La evaluación debe reflejar los límites de identidad y sesión del producto real.

Pruebe transiciones de conversación realistas

Rubrex recomienda escenarios en los que el usuario aclara una solicitud vaga, corrige una suposición fáctica, cambia el formato deseado, interrumpe una operación o regresa a un objetivo anterior. Incluya casos en los que hacer una pregunta sea útil y casos en los que las aclaraciones repetidas agreguen fricciones innecesarias.

Utilice una transcripción fija cuando necesite una comparación controlada y un simulador cuidadosamente especificado cuando el comportamiento de bifurcación sea importante. Inspeccione si el simulador le da al asistente pistas adicionales o acepta una finalización prematura. El simulador forma parte del sistema de medición y puede introducir su propio sesgo.

Ejemplo ilustrativo: una restricción cambia, otra sobrevive

Un usuario solicita un resumen de menos de 200 palabras para una audiencia técnica y luego solicita una versión no técnica. La audiencia cambia; la restricción de longitud no desaparece automáticamente. Una respuesta final que sea clara pero de 500 palabras no cumple con el requisito mantenido.

Califique el artefacto final y la transición: ¿el asistente aplicó la corrección sin reintroducir una suposición previamente rechazada? Agregue un caso en el que el usuario elimine explícitamente el límite de longitud. Esto evita que la evaluación recompense la retención rígida de cada instrucción previa.

Informe de resultados y costos de interacción.

Realice un seguimiento de la finalización de tareas, la preservación de restricciones, la aceptación de correcciones, las suposiciones no respaldadas y los turnos de aclaración evitables. Utilice ejemplos para explicar por qué una conversación más larga fue necesaria o inútil. Más giros no son inherentemente peores; una aclaración bien colocada puede evitar una acción incorrecta.

• Definir la tarea activa después de cada corrección del usuario.
• Revisar los límites de la sesión y el aislamiento de identidad.
• Mantenga las políticas de usuarios simulados consistentes entre los candidatos.
• Distinguir aclaraciones útiles de preguntas repetidas.

Preguntas comunes