En esta página
La respuesta corta
No existe un tamaño de muestra de evaluación universal. Elija la cantidad de casos independientes a partir de la precisión que necesita, los tipos de fallas que debe cubrir y la diferencia que desea detectar. Las generaciones repetidas miden la variabilidad pero no reemplazan tareas diversas.
Que llevarse
- Cobertura y precisión estadística responden a diferentes preguntas.
- Trate los resultados repetidos de la misma tarea como observaciones relacionadas.
- Informar la incertidumbre y el proceso de construcción de la muestra con la puntuación.
Fuentes verificadas . Síntesis de investigaciones y recomendaciones de Rubrex. Se etiquetan ejemplos y experimentos locales; No son resultados de clientes.
Lo que dice la investigación sobre muestras limitadas
Una preimpresión de 2025 estudia la evaluación de la capacidad bayesiana cuando las muestras son limitadas. Un artículo de evaluación activa de 2026 estudia cómo la elección de qué tareas evaluar afecta la eficiencia de la clasificación. Estos abordan diferentes entornos; ninguno proporciona un número universal de ejemplos para una aplicación empresarial.
Evidencia: Confianza en la evaluación de modelos de lenguaje amplio: un enfoque bayesiano para desafíos de muestras limitadas [1]Evaluación activa de agentes generales: definición de problemas y comparación de algoritmos de referencia [2]
Separar cobertura de precisión
La cobertura pregunta si las situaciones importantes están representadas. La precisión pregunta qué tan incierta es una tasa estimada bajo un modelo de muestreo. Un gran conjunto de preguntas fáciles casi idénticas puede producir un intervalo estrecho para una población inútil. Un conjunto más pequeño y deliberadamente variado puede revelar problemas de diseño sin respaldar una tasa precisa de fallas de producción.
Comience con un mapa de tareas y consecuencias de fallas. Para un asistente de documentos, eso podría incluir preguntas que puedan responderse, evidencia faltante, versiones contradictorias, documentos restringidos y entradas extensas. Etiquete los casos de desafío específicos por separado del tráfico muestreado aleatoriamente. Combinarlos sin revelarlos hace que el porcentaje general sea difícil de interpretar.
Un cálculo de planificación, con supuestos.
Para un resultado binario independiente muestreado de una población estable, una fórmula de planificación de aproximación normal aproximada es n ≈ 1,96² × p × (1 − p) / e² para un intervalo del 95% con margen e. Usando p = 0,5 ye = 0,05 se obtienen alrededor de 385 casos independientes. Esta aritmética es una ilustración, no un valor predeterminado recomendado.
Los conjuntos de evaluación reales a menudo violan estos supuestos. Se pueden correlacionar múltiples preguntas de un documento, ensayos repetidos de agentes y variaciones sintéticas. Los fallos graves y poco frecuentes requieren un diseño diferente al de estimar una tasa de éxito común. Para recuentos pequeños o tasas extremas, utilice un intervalo apropiado en lugar de confiar en esta aproximación. Las comparaciones de modelos también necesitan un análisis pareado, no dos márgenes no relacionados.
Ejemplo ilustrativo: diez reintentos no son diez clientes
Imagine 40 escenarios de soporte, cada uno generado diez veces. Hay 400 resultados, pero sólo 40 escenarios distintos. Los reintentos muestran si el modelo se comporta de manera consistente en esas tareas. No añaden cobertura de 360 situaciones de nuevos clientes.
Mantenga un resumen a nivel de escenario y un resumen a nivel de prueba. Si la decisión de publicación se refiere a la generalización a nuevas solicitudes, agregue escenarios independientes. Si se trata de un comportamiento inestable en una solicitud crítica conocida, asigne más pruebas repetidas allí. Documente qué incertidumbre se pretende reducir con el gasto adicional.
Establece la regla de parada antes de mirar al ganador
Decida de antemano qué mejora sería importante, qué regresiones bloquean la liberación y qué incertidumbre es aceptable. Un piloto ayuda a estimar la prevalencia de fracasos y desacuerdos, después de lo cual se puede realizar un estudio más amplio. Evite comprobar los resultados repetidamente y detenerse sólo cuando el candidato se vea mejor; eso hace que la aparente confianza sea engañosa.
- Registre el recuento de tareas independientes y el recuento total de generaciones por separado.
- Mantenga las puntuaciones del conjunto de desafíos separadas de las estimaciones ponderadas por tráfico.
- Incluya recuentos por segmento junto a los porcentajes.
- Escalar las decisiones estadísticas importantes a un especialista adecuado.
Límites de la evidencia
El ejemplo numérico supone observaciones binarias independientes y es sólo una ilustración de planificación. La investigación citada utiliza sus propios modelos, supuestos y poblaciones de evaluación. No valida un tamaño de muestra particular para su implementación.
Preguntas comunes
¿Son suficientes 50 ejemplos?
Pueden descubrir lagunas en las especificaciones y fallas obvias. Por lo general, no pueden justificar una afirmación precisa sobre errores de producción raros sin suposiciones más sólidas y pruebas adicionales.
¿Deberían todas las categorías tener el mismo tamaño de muestra?
No necesariamente. Asigne los casos según la exposición, la incertidumbre y las consecuencias, y explique cómo se pondera cualquier estimación general.
Fuentes y lecturas adicionales
Fuentes primarias detrás de este informe. Los hallazgos de una fuente se aplican a sus propias condiciones de estudio; La publicación en arXiv no establece una revisión por pares.
- Confianza en la evaluación de modelos de lenguaje amplio: un enfoque bayesiano para desafíos de muestras limitadas arXiv · 2025 · PreimpresiónRevisado: registro de resumen y publicación. Accedido 25 sept 2026.
- Evaluación activa de agentes generales: definición de problemas y comparación de algoritmos de referencia arXiv · 2026 · PreimpresiónRevisado: registro de resumen y publicación. Accedido 25 sept 2026.
¿Preguntas o correcciones? Escribe a Rubrex. Lea nuestro enfoque editorial.