Évaluation des agents IA : résultats des tests, traces et exécutions répétées

La fiabilité va au-delà de la réussite d'une tâche

Une préimpression de février 2026 propose des dimensions de fiabilité, notamment la cohérence, la robustesse, la prévisibilité et la sécurité. Les directives d’évaluation des agents d’Anthropic distinguent également les contrôles de résultats de la notation des relevés de notes. Ce sont des objectifs utiles pour concevoir une suite de tests, mais ils ne garantissent pas qu'une suite couvre tous les risques de déploiement.

Preuve : Vers une science de la fiabilité des agents IA [1]Démystifier les évaluations pour les agents IA [2]

Définir l'état final autorisé

Décrivez ce qui peut changer, ce qui doit rester inchangé et ce qui constitue l'achèvement. Pour un agent de planification, cela peut signifier créer exactement un événement avec les participants demandés tout en laissant intacts les événements sans rapport. Pour un agent de codage, cela peut inclure des tests, le comportement des artefacts et des contraintes de référentiel.

Initialisez chaque essai à partir d’un état connu. Si les analyses précédentes laissent des données derrière elles, les résultats ultérieurs peuvent mesurer la contamination de l'environnement de test plutôt que la qualité de l'agent. Enregistrez les versions de l'outil, les autorisations, les dépendances externes et toutes les réponses simulées nécessaires pour reproduire la tâche.

Utiliser des contrôles de résultats et de processus distincts

Rubrex recommande des assertions d'état exactes partout où la tâche le permet. Le dossier existait-il ? Son identifiant était-il correct ? L'opération a-t-elle été dupliquée ? Utilisez la révision des traces pour les exigences qui dépendent de la séquence, de l’autorisation ou de la communication. Évitez d'exiger une trajectoire d'outil exacte lorsque plusieurs trajectoires valides satisfont au contrat.

Conserver les exécutions incomplètes, les délais d'attente et les tentatives dans l'enregistrement d'évaluation. Un exploit qui laisse tomber les échecs peut gonfler le succès apparent. Lorsqu’un simulateur utilisateur est impliqué, évaluez également le comportement du simulateur : il peut révéler des informations cachées, accepter un résultat incorrect ou rendre la tâche plus facile que l’utilisation réelle.

Exemple illustratif : un message réussi, un enregistrement absent

Un agent indique avoir créé un ticket d’assistance. La demande d'outil a échoué et aucun ticket n'existe. Un évaluateur uniquement linguistique pourrait récompenser le message d'achèvement concis. Une vérification basée sur l'état identifie correctement le résultat échoué.

Testez maintenant un délai d'attente où le ticket a été créé mais la réponse a été perdue. Le bon comportement peut être de réconcilier l'état avant de réessayer. Les deux cas semblent similaires dans une trace partielle, mais ils nécessitent des actions de récupération différentes. Incluez-les dans des scénarios distincts et vérifiez si l'agent peut distinguer les preuves disponibles.

Signaler un profil de fiabilité

Afficher l'achèvement, les modifications non autorisées, les actions en double, la réussite de la récupération et la variabilité entre les essais. Incluez l’utilisation des ressources et les traces d’échec représentatives. Un candidat peut accomplir plus de tâches tout en devenant moins prévisible ou en provoquant des échecs plus graves ; signaler ce compromis explicitement.

• Gelez l’état initial et réinitialisez-le entre les essais.
• Définir des chemins alternatifs acceptables vers l’achèvement.
• Interruptions de test et pannes partielles de l'outil.
• Gardez les pannes graves visibles même lorsque la moyenne s'améliore.

Un cadre d'évaluation des agents IA que vous pouvez inspecter

Un cadre pratique d'évaluation des agents nécessite une définition de tâche, un environnement réinitialisable, des essais répétés, des contrôles de résultats et une trace qui relie les actions aux résultats. Pour un agent de support, définissez les modifications d’enregistrement autorisées avant l’exécution. Ensuite, inspectez l’enregistrement réel ainsi que la conversation. Conservez les essais échoués et interrompus afin que le rapport reflète les tentatives de travail.

Pour les mesures d'évaluation des agents IA, Rubrex recommande de signaler l'achèvement des tâches ainsi que les modifications non autorisées, les actions en double, les résultats de la récupération et le coût par tâche terminée. Indiquez le nombre d’essais pour chaque tâche et affichez les résultats incohérents individuellement. L'évaluation agentique doit également tester une panne d'outil et une demande ambiguë : le système peut avoir besoin de s'arrêter ou de demander des éclaircissements plutôt que de forcer l'achèvement.

Questions courantes