De combien d’exemples une évaluation LLM a-t-elle besoin ?

Ce que dit la recherche sur des échantillons limités

Une prépublication de 2025 étudie l'évaluation de la capacité bayésienne lorsque les échantillons sont limités. Un article d'évaluation active de 2026 étudie comment le choix des tâches à évaluer affecte l'efficacité du classement. Ceux-ci concernent différents paramètres ; ni l’un ni l’autre ne fournit un nombre universel d’exemples pour une application métier.

Preuve : Confiance dans l'évaluation de modèles linguistiques à grande échelle : une approche bayésienne des défis liés à un échantillon limité [1]Évaluation active des agents généraux : définition du problème et comparaison des algorithmes de base [2]

Séparer la couverture de la précision

La couverture demande si les situations importantes sont représentées. La précision demande dans quelle mesure un taux estimé est incertain dans le cadre d’un modèle d’échantillonnage. Un grand nombre de questions faciles, presque identiques, peuvent produire un intervalle étroit pour une population inutile. Un ensemble plus petit et délibérément varié peut révéler des problèmes de conception sans permettre un taux d'échec de production précis.

Commencez par une carte des tâches et des conséquences des échecs. Pour un assistant documentaire, cela peut inclure des questions auxquelles il est possible de répondre, des preuves manquantes, des versions contradictoires, des documents restreints et de longues entrées. Étiquetez les cas de défi ciblés séparément du trafic échantillonné de manière aléatoire. Leur combinaison sans divulgation rend le pourcentage global difficile à interpréter.

Un calcul de planification, avec des hypothèses

Pour un résultat binaire indépendant échantillonné à partir d'une population stable, une formule de planification approximative d'approximation normale est n ≈ 1,96² × p × (1 − p) / e² pour un intervalle de 95 % avec une marge e. En utilisant p = 0,5 et e = 0,05, on obtient environ 385 cas indépendants. Cette arithmétique est une illustration et non une valeur par défaut recommandée.

Les ensembles d'évaluation réels violent souvent ces hypothèses. Plusieurs questions d'un même document, des essais répétés d'agents et des variations synthétiques peuvent être corrélés. Les échecs graves et rares nécessitent une conception différente de l’estimation d’un taux de réussite commun. Pour les petits comptes ou les taux extrêmes, utilisez un intervalle approprié plutôt que de vous fier à cette approximation. Les comparaisons de modèles nécessitent également une analyse par paires, et non deux marges indépendantes.

Exemple illustratif : dix tentatives ne correspondent pas à dix clients

Imaginez 40 scénarios de support, chacun généré dix fois. Il existe 400 sorties, mais seulement 40 scénarios distincts. Les nouvelles tentatives montrent si le modèle se comporte de manière cohérente sur ces tâches. Ils n’ajoutent pas la couverture de 360 ​​nouvelles situations clients.

Conservez un résumé au niveau du scénario et un résumé au niveau de l'essai. Si la décision de release concerne la généralisation à de nouvelles demandes, ajoutez des scénarios indépendants. S'il s'agit d'un comportement instable sur une requête critique connue, allouez-y des essais plus répétés. Documentez quelle incertitude les dépenses supplémentaires sont censées réduire.

Définissez la règle d'arrêt avant de regarder le gagnant

Décidez à l’avance quelle amélioration serait importante, quelles régressions bloquent la publication et quelle incertitude est acceptable. Un projet pilote permet d’estimer la prévalence des échecs et des désaccords, après quoi une étude plus large peut être envisagée. Évitez de vérifier les résultats à plusieurs reprises et de vous arrêter uniquement lorsque le candidat semble mieux ; cela rend la confiance apparente trompeuse.

• Enregistrez séparément le nombre de tâches indépendantes et le nombre total de générations.
• Séparez les scores définis par les défis des estimations pondérées en fonction du trafic.
• Incluez le nombre par tranche à côté des pourcentages.
• Transmettre les décisions statistiques conséquentes à un spécialiste approprié.

Questions courantes