Sur cette page
La réponse courte
Une rubrique d'évaluation LLM efficace définit les exigences observables, les niveaux de notation ancrés et les preuves nécessaires pour chaque jugement. Séparez les critères qui mesurent les différents échecs et maintenez les violations critiques en dehors d'une moyenne qui pourrait les masquer.
Ce qu'il faut emporter
- Remplacez les adjectifs de qualité vagues par un comportement observable.
- Évitez de noter le même défaut selon plusieurs critères qui se chevauchent.
- Testez la rubrique sur les cas de désaccord avant de mettre à l'échelle l'examen.
Sources vérifiées . Synthèse de la recherche et recommandations Rubrex. Des exemples et des expériences locales sont étiquetés ; ce ne sont pas des résultats de clients.
L'ambiguïté peut être un problème de mesure
Une récente préimpression d'annotation étudie les tâches de classification de texte à l'aide de livres de codes partagés et rapporte que l'ambiguïté aide à expliquer les désaccords entre et au sein des annotateurs humains et modèles. Son domaine est limité, mais il constitue une raison utile pour inspecter les règles de codage avant de traiter un désaccord comme une incompétence du réviseur.
Preuve : Équivalence observationnelle du LLM et de l'annotation humaine [1]
Commencez par la décision que la sortie doit prendre en charge
Rubrex recommande de lister les faits ou comportements requis avant de choisir une échelle de score. Pour une réponse de support, les critères utiles peuvent inclure un support factuel, l'achèvement de la tâche et une incertitude appropriée. La politesse peut être importante, mais elle ne devrait pas compenser l’invention d’un droit.
Définir les preuves dont dispose l’examinateur. Si un jugement de factualité nécessite un document de politique, fournissez la version applicable. Un évaluateur qui ne voit que la réponse ne peut pas décider de manière fiable si ses affirmations sont étayées par des sources privées. Incluez un résultat non évaluable si nécessaire.
Utilisez des ancres qui décrivent les différences observables
Le modèle suivant est un point de départ pour une réponse fondée sur la source. Adaptez-le au produit réel et validez-le avec des exemples. Une échelle à trois niveaux peut être plus facile à calibrer qu’une échelle finement divisée avec des limites indiscernables. Le nombre de niveaux n’est pas en soi une mesure de rigueur.
| Critère | Laissez-passer | Nécessite une révision | Échec |
|---|---|---|---|
| Preuves à l’appui | Les réclamations importantes découlent de sources applicables | Une réclamation mineure manque de fondement clair | Une affirmation importante est inventée ou contredite |
| Achèvement de la tâche | Répond à la demande et à l'étape suivante requise | Il manque un détail utile | La demande principale est restée sans réponse ou mal adressée |
| Incertitude | Précise ou s'abstient lorsque les preuves sont insuffisantes | L'incertitude est présente mais peu claire | Une certitude non prise en charge modifie la décision de l'utilisateur |
Exemple illustratif : un défaut, plusieurs étiquettes
Une réponse promet un remboursement indisponible. Il s’agit peut-être d’un échec factuel et d’une violation des limites politiques. Si la rubrique globale soustrait des points pour la factualité, l'exactitude, l'exactitude et la véracité, elle peut compter le même problème quatre fois sans ajouter d'informations utiles.
Conservez un échec observable principal et enregistrez une violation de règle critique distincte si la décision de publication l'exige. Testez ensuite une autre réponse factuellement correcte mais qui n’indique pas à l’utilisateur comment procéder. La rubrique doit distinguer ces cas car leurs correctifs diffèrent.
Exécutez un essai de rubrique avant une notation à grande échelle
Demandez aux évaluateurs de noter indépendamment les mêmes exemples variés. Discutez des preuves derrière les désaccords, révisez les points d'ancrage peu clairs et conservez un petit ensemble d'exemples jugés. Re-notez un nouveau sous-ensemble après la révision. Enregistrez les versions des rubriques afin qu'un changement de score provoqué par une nouvelle définition ne soit pas confondu avec une amélioration du modèle.
- Précisez les preuves requises et la variation acceptable.
- Ajoutez des exemples positifs et négatifs à chaque limite importante.
- Séparez les violations critiques des scores de qualité pondérés.
- Gardez un itinéraire explicite pour les cas ambigus ou non marquants.
Adapter une grille d'évaluation à une nouvelle tâche
Une grille d'évaluation doit décrire les différences observables entre un travail acceptable, incomplet et inacceptable. Pour adapter ce modèle, remplacez l'exemple de tâche et les exigences en matière de preuves avant de modifier l'échelle de score. Écrivez une réussite claire, un cas limite et un échec clair pour chaque critère, puis demandez aux évaluateurs d'expliquer leurs décisions de manière indépendante.
Lorsque vous comparez des grilles d'évaluation entre tâches, préservez la signification de chaque critère plutôt que de supposer que des échelles numériques correspondantes rendent les scores comparables. Rubrex recommande de versionner les ancres et d'examiner les désaccords avant d'utiliser la nouvelle rubrique comme porte de sortie. Si les réviseurs ont besoin d'un contexte non déclaré, ajoutez ce contexte ou marquez le cas comme ne pouvant pas être noté.
Limites de la preuve
Il s'agit d'une rubrique illustrative et non d'un instrument validé ou d'un livrable client. L'étude d'annotation citée concerne des tâches particulières de classification de texte. La qualité de la rubrique doit être vérifiée par rapport à la tâche et aux personnes ou modèles qui l'appliquent.
Questions courantes
Chaque critère doit-il avoir le même poids ?
Seulement si cela reflète la décision. Certaines exigences devraient être des portes obligatoires plutôt que des dimensions pondérées.
Un modèle peut-il rédiger la rubrique ?
Cela peut aider à en rédiger un, mais le propriétaire de la tâche doit vérifier les exigences, supprimer les chevauchements et calibrer les ancres par rapport à des exemples.
Sources et lectures complémentaires
Sources principales derrière ce briefing. Les conclusions d’une source s’appliquent à ses propres conditions d’étude ; la publication sur arXiv n'établit pas d'examen par les pairs.
- Équivalence observationnelle du LLM et de l'annotation humaine arXiv · 2026 · PréimpressionRévisé : résumé et dossier de publication. Consulté 25 sept. 2026.
Questions ou corrections ? Écrivez à Rubrex. Lire notre démarche éditoriale.