Évaluez les assistants multi-tours tout au long de la conversation

Des recherches récentes se concentrent sur la qualité des interactions

Une prépublication de mai 2026 propose un cadre centré sur la transparence, la cohérence et le raffinement de l'interaction homme-IA. Une enquête d’août 2026 considère la mémoire persistante et l’échouement croisé comme des défis persistants. Ces sources élargissent l'évaluation au-delà des réponses uniques, mais n'établissent pas un score standard pour chaque produit conversationnel.

Preuve : Évaluation de l'interaction homme-IA à plusieurs tours [1]IA conversationnelle multitours, du texte à l'interaction multimodale : données, modèles, évaluation et défis ouverts [2]

Écrivez explicitement l'état de la conversation

Représente l'objectif de l'utilisateur, les contraintes actives, les questions non résolues et les actions autorisées après chaque tour significatif. Lorsque l'utilisateur modifie une exigence, enregistrez quelle condition antérieure est remplacée et laquelle reste en vigueur. Cela donne aux évaluateurs une cible observable sans avoir besoin d’accéder au raisonnement interne du modèle.

Distinguer la mémoire qui doit persister des informations qui ne le devraient pas. Un assistant peut avoir besoin de mémoriser une préférence de formatage au cours d’une session tout en gardant isolées les informations d’un autre client. L’évaluation doit refléter la session réelle du produit et les limites de son identité.

Testez des transitions de conversation réalistes

Rubrex recommande des scénarios dans lesquels l'utilisateur clarifie une demande vague, corrige une hypothèse factuelle, modifie le format souhaité, interrompt une opération ou revient à un objectif antérieur. Incluez les cas où poser une question est utile et les cas où des clarifications répétées ajoutent des frictions inutiles.

Utilisez une transcription fixe lorsque vous avez besoin d'une comparaison contrôlée et un simulateur soigneusement spécifié lorsque le comportement de branchement est important. Vérifiez si le simulateur donne des conseils supplémentaires à l'assistant ou accepte un achèvement prématuré. Le simulateur fait partie du système de mesure et peut introduire son propre biais.

Exemple illustratif : une contrainte change, une autre survit

Un utilisateur demande un résumé de moins de 200 mots pour un public technique, puis demande une version non technique. Le public change ; la contrainte de longueur ne disparaît pas automatiquement. Une réponse finale claire mais longue de 500 mots ne répond pas à l’exigence maintenue.

Noter l'artefact final et la transition : l'assistant a-t-il appliqué la correction sans réintroduire une hypothèse précédemment rejetée ? Ajoutez un cas où l'utilisateur supprime explicitement la limite de longueur. Cela empêche l’évaluation de récompenser la rétention rigide de chaque instruction antérieure.

Rapporter les résultats et les coûts d'interaction

Suivez l'achèvement des tâches, la préservation des contraintes, l'adoption des corrections, les hypothèses non étayées et les changements de clarification évitables. Utilisez des exemples pour expliquer pourquoi une conversation plus longue était nécessaire ou inutile. Plus de virages ne sont pas intrinsèquement pires ; une clarification bien placée peut empêcher une action incorrecte.

• Définissez la tâche active après chaque correction utilisateur.
• Examinez les limites de la session et l’isolement de l’identité.
• Maintenez la cohérence des politiques relatives aux utilisateurs simulés pour tous les candidats.
• Distinguer les éclaircissements utiles des questions répétées.

Questions courantes