De quantos exemplos uma avaliação LLM precisa?

O que a pesquisa diz sobre amostras limitadas

Uma pré-impressão de 2025 estuda a avaliação da capacidade bayesiana quando as amostras são limitadas. Um artigo de avaliação ativa de 2026 estuda como a escolha de quais tarefas avaliar afeta a eficiência da classificação. Eles abordam configurações diferentes; nenhum deles fornece um número universal de exemplos para uma aplicação comercial.

Evidência: Confiança na avaliação de modelos de línguas grandes: uma abordagem bayesiana para desafios de amostras limitadas [1]Avaliação Ativa de Agentes Gerais: Definição de Problemas e Comparação de Algoritmos de Linha de Base [2]

Separe a cobertura da precisão

A cobertura pergunta se as situações importantes estão representadas. A precisão pergunta quão incerta é uma taxa estimada sob um modelo de amostragem. Um grande conjunto de perguntas fáceis quase idênticas pode produzir um intervalo estreito para uma população inútil. Um conjunto menor e deliberadamente variado pode revelar problemas de projeto sem sustentar uma taxa precisa de falhas na produção.

Comece com um mapa de tarefas e consequências de falhas. Para um assistente de documentos, isso pode incluir perguntas respondíveis, evidências ausentes, versões conflitantes, documentos restritos e entradas longas. Rotule os casos de desafio direcionados separadamente do tráfego amostrado aleatoriamente. Combiná-los sem divulgação torna a percentagem global difícil de interpretar.

Um cálculo de planejamento, com premissas

Para um resultado binário independente amostrado de uma população estável, uma fórmula aproximada de planejamento de aproximação normal é n ≈ 1,96² × p × (1 − p) / e² para um intervalo de 95% com margem e. Usar p = 0,5 e e = 0,05 dá cerca de 385 casos independentes. Esta aritmética é uma ilustração, não um padrão recomendado.

Conjuntos de avaliação reais frequentemente violam essas suposições. Várias perguntas de um documento, testes repetidos de agentes e variações sintéticas podem ser correlacionados. Falhas graves raras exigem um design diferente da estimativa de uma taxa de sucesso comum. Para contagens pequenas ou taxas extremas, utilize um intervalo apropriado em vez de confiar nesta aproximação. As comparações de modelos também precisam de análise pareada, e não de duas margens não relacionadas.

Exemplo ilustrativo: dez tentativas não são dez clientes

Imagine 40 cenários de suporte, cada um gerado dez vezes. Existem 400 resultados, mas apenas 40 cenários distintos. As novas tentativas mostram se o modelo se comporta de forma consistente nessas tarefas. Eles não adicionam cobertura de 360 ​​situações de novos clientes.

Mantenha um resumo em nível de cenário e um resumo em nível de avaliação. Se a decisão de liberação disser respeito à generalização para novas solicitações, adicione cenários independentes. Se se tratar de comportamento instável em uma solicitação crítica conhecida, aloque mais tentativas repetidas ali. Documente qual incerteza o gasto adicional pretende reduzir.

Defina a regra de parada antes de olhar para o vencedor

Decida antecipadamente quais melhorias seriam importantes, quais regressões bloqueariam a liberação e quais incertezas seriam aceitáveis. Um piloto ajuda a estimar a prevalência de falhas e discordâncias, após o que um estudo mais amplo pode ser definido. Evite verificar repetidamente os resultados e parar apenas quando o candidato estiver com melhor aparência; isso torna a aparente confiança enganosa.

• Registre a contagem de tarefas independentes e a contagem total de gerações separadamente.
• Mantenha as pontuações do conjunto de desafios separadas das estimativas ponderadas pelo tráfego.
• Inclui contagens por fatia ao lado das porcentagens.
• Encaminhe as decisões estatísticas conseqüentes para um especialista apropriado.

Perguntas comuns