Comment évaluer une candidature LLM avant sa sortie

Ce que disent les directives

Le guide d'Anthropic de janvier 2026 divise les tests des agents en tâches, exécutions répétées, règles de notation et environnement de test. Cela sépare également ce qu’un agent dit de ce qu’il fait réellement. Par exemple, un agent peut dire qu’il a sauvegardé un enregistrement alors que celui-ci n’a jamais changé. Notez le résultat ainsi que la conversation. Il s’agit de conseils d’un fournisseur de modèles, et non d’une preuve qu’une méthode fonctionne pour chaque système.

Preuve : Démystifier les évaluations pour les agents IA [1]

Choisissez la décision que votre test doit prendre en charge

Écrivez la question de libération en une phrase. Par exemple : notre assistant d'assistance peut-il expliquer la politique du compte sans promettre un remboursement qu'il ne peut pas approuver ? Cela donne au test un utilisateur, une tâche et un risque clairs. Un objectif vague tel que « être plus utile » peut récompenser une réponse simple qui est fausse.

Décidez quelle partie du flux de travail tester. Une réponse peut suffire pour un outil de synthèse. Un assistant de chat peut avoir besoin d’une conversation entière. Si un agent modifie un enregistrement, vérifiez également l'enregistrement enregistré. Enregistrez la version du modèle, l'invite, les paramètres de recherche et les autorisations de l'outil. Une modification de l’un de ces éléments peut modifier le résultat.

Créez un petit ensemble de tests que vous pouvez examiner

Rubrex recommande trois groupes de cas : tâches courantes, cas extrêmes et échecs connus. Pour chaque cas, écrivez le comportement attendu et pourquoi le cas appartient au test. Retenez certains cas lors du réglage du système. Utilisez le premier test pour détecter les exigences peu claires avant d’utiliser les scores pour prendre en charge un lancement.

Utilisez le code pour vérifier les règles exactes, telles que les champs obligatoires ou les ID d'enregistrement autorisés. Utilisez un guide de notation pour le sens, les détails manquants et l'incertitude honnête. Demandez aux évaluateurs d’évaluer eux-mêmes un petit ensemble partagé. Discutez des points sur lesquels ils ne sont pas d’accord avant de confier davantage de cas à un juge automatisé. Conservez les cas qui ne peuvent pas être notés dans le rapport et expliquez pourquoi.

• Enregistrez la version originale et chaque réponse, y compris les demandes ayant échoué.
• Exécutez la version modifiée sur les mêmes entrées et limites.
• Inspectez les cas qui se sont améliorés et ceux qui ont empiré.
• Attribuez à chaque échec qui bloque la libération un propriétaire nommé.

Exemple : un assistant qui explique la politique

Supposons qu'un assistant doive citer la politique actuelle, expliquer les exceptions et éviter de promettre une approbation. Il peut respecter les deux premières règles mais échouer quand même en promettant un remboursement. Notez chaque règle afin que l'équipe puisse trouver le problème. Enregistrez également si la réponse a satisfait à toutes les règles requises.

Supposons maintenant qu'une nouvelle invite corrige les citations mais fasse davantage de promesses non prises en charge. C'est un résultat mitigé. Testez un changement visant les promesses, puis réexécutez les cas précédents pour rechercher de nouveaux échecs. Il s'agit d'un exemple de plan de test, et non du résultat d'un client Rubrex.

Donnez suffisamment à l'ingénieur suivant pour réexécuter le test

Partagez les cas, les règles de notation, les versions du système et les réponses originales. Regroupez les échecs par cause et expliquez ce qui est encore inconnu. Incluez les étapes permettant de réexécuter le test et d'ajouter un échec détecté après le lancement. Un autre ingénieur devrait être en mesure de vérifier la décision sans avoir besoin du diaporama de l’auteur. Lorsque les preuves sont trop faibles pour décider, nommez les données manquantes et le test suivant.

Enregistrez la signification de chaque score

Choisissez les mesures qui répondent à la question de publication. Pour un assistant d'assistance, Rubrex recommande de suivre les mauvaises réponses, les réclamations non fondées, les tâches terminées et le coût d'une réponse utile. Indiquez ce que couvre chaque chef d’accusation. Dix réponses échouées sur 100 réponses signifient quelque chose de différent de dix sessions échouées sur 100 sessions. Incluez les demandes qui n’ont produit aucune réponse.

Un test vérifie une exigence. Une suite de tests vérifie plusieurs exigences et façons dont le système peut échouer. Séparez les résultats de votre candidature des scores de référence du modèle public. Rédigez un bref compte rendu de décision avec les anciennes et nouvelles versions, les cas testés, les définitions de scores et les échecs qui bloquent la publication. Nommez la personne à qui appartient le prochain test.

Questions courantes