En esta página
La respuesta corta
Una rúbrica de evaluación de LLM eficaz define los requisitos observables, los niveles de puntuación anclados y la evidencia necesaria para cada juicio. Separe criterios que midan diferentes fallas y mantenga las violaciones críticas fuera de un promedio que podría ocultarlas.
Que llevarse
- Reemplazar adjetivos de calidad vagos con comportamiento observable.
- Evite calificar el mismo defecto según varios criterios superpuestos.
- Pruebe la rúbrica en casos de desacuerdo antes de la revisión de escala.
Fuentes verificadas . Síntesis de investigaciones y recomendaciones de Rubrex. Se etiquetan ejemplos y experimentos locales; No son resultados de clientes.
La ambigüedad puede ser un problema de medición
Una preimpresión de anotaciones reciente estudia las tareas de clasificación de texto utilizando libros de códigos compartidos e informa que la ambigüedad ayuda a explicar los desacuerdos entre y dentro de los anotadores humanos y de modelos. Su dominio es limitado, pero proporciona una razón útil para inspeccionar las reglas de codificación antes de tratar el desacuerdo como incompetencia del revisor.
Evidencia: Equivalencia observacional de LLM y anotación humana [1]
Comience con la decisión que debe soportar el resultado.
Rubrex recomienda enumerar los hechos o comportamientos requeridos antes de elegir una escala de puntuación. Para una respuesta de apoyo, los criterios útiles pueden incluir apoyo fáctico, finalización de la tarea e incertidumbre adecuada. La cortesía puede importar, pero no debería compensar la invención de un derecho.
Definir la evidencia disponible para el revisor. Si un juicio de factidad requiere un documento de política, proporcione la versión aplicable. Un revisor que ve sólo la respuesta no puede decidir de manera confiable si sus afirmaciones están respaldadas por material de fuente privada. Incluya un resultado no evaluable cuando sea necesario.
Utilice anclajes que describan diferencias observables.
La siguiente plantilla es un punto de partida para una respuesta basada en fuentes. Adáptalo al producto real y valídalo con ejemplos. Una escala de tres niveles puede ser más fácil de calibrar que una escala finamente dividida con límites indistinguibles. El número de niveles no es en sí mismo una medida de rigor.
| Criterio | Pasar | Necesita revisión | Fallo |
|---|---|---|---|
| Soporte de evidencia | Las afirmaciones materiales provienen de fuentes aplicables. | Un reclamo menor carece de un sustento claro | Se inventa o se contradice una afirmación material |
| Finalización de tarea | Aborda la solicitud y requiere el siguiente paso. | Falta un detalle útil. | La solicitud principal no ha sido respondida o está mal dirigida |
| Incertidumbre | Aclara o se abstiene cuando las pruebas son insuficientes | La incertidumbre está presente pero no está clara. | La certeza no sustentada cambia la decisión del usuario |
Ejemplo ilustrativo: un defecto, varias etiquetas
Una respuesta promete un reembolso no disponible. Esto puede ser una falla en el respaldo de los hechos y una violación de los límites de las políticas. Si la rúbrica general resta puntos por factibilidad, precisión, corrección y veracidad, puede contar el mismo tema cuatro veces sin agregar información útil.
Mantenga una falla observable primaria y registre una violación de regla crítica por separado si la decisión de publicación así lo requiere. Luego pruebe con otra respuesta que sea objetivamente correcta pero que no le indique al usuario cómo proceder. La rúbrica debe distinguir esos casos porque sus soluciones difieren.
Ejecute una prueba de rúbrica antes de obtener una puntuación a gran escala
Pida a los revisores que califiquen los mismos ejemplos variados de forma independiente. Discuta la evidencia detrás de los desacuerdos, revise los anclajes poco claros y conserve un pequeño conjunto de ejemplos adjudicados. Vuelva a calificar un subconjunto nuevo después de la revisión. Registre las versiones de la rúbrica para que un cambio de puntuación causado por una nueva definición no se confunda con una mejora del modelo.
- Especifique la evidencia requerida y la variación aceptable.
- Agregue ejemplos positivos y negativos en cada límite importante.
- Separe las infracciones críticas de las puntuaciones de calidad ponderadas.
- Mantenga una ruta explícita para casos ambiguos o que no se puedan calificar.
Adaptar una rúbrica de evaluación a una nueva tarea
Una rúbrica de evaluación debe describir las diferencias observables entre trabajo aceptable, incompleto e inaceptable. Para adaptar esta plantilla, reemplace la tarea de ejemplo y los requisitos de evidencia antes de cambiar la escala de puntuación. Escriba un aprobado claro, un caso límite y un fracaso claro para cada criterio, luego pida a los revisores que expliquen sus decisiones de forma independiente.
Al comparar rúbricas de evaluación entre tareas, conserve el significado de cada criterio en lugar de asumir que las escalas numéricas coincidentes hacen que las puntuaciones sean comparables. Rubrex recomienda versionar los anclajes y revisar los desacuerdos antes de usar la nueva rúbrica como puerta de lanzamiento. Si los revisores necesitan un contexto no declarado, agregue ese contexto o marque el caso como no puntuable.
Límites de la evidencia
Esta es una rúbrica ilustrativa, no un instrumento validado ni entregable al cliente. El estudio de anotaciones citado se refiere a tareas particulares de clasificación de textos. La calidad de la rúbrica debe compararse con la tarea y las personas o modelos que la aplican.
Preguntas comunes
¿Todos los criterios deberían tener el mismo peso?
Sólo si eso refleja la decisión. Algunos requisitos deberían ser puertas obligatorias en lugar de dimensiones ponderadas.
¿Puede un modelo escribir la rúbrica?
Puede resultar útil redactar uno, pero el propietario de la tarea debe verificar los requisitos, eliminar la superposición y calibrar los anclajes con respecto a los ejemplos.
Fuentes y lecturas adicionales
Fuentes primarias detrás de este informe. Los hallazgos de una fuente se aplican a sus propias condiciones de estudio; La publicación en arXiv no establece una revisión por pares.
- Equivalencia observacional de LLM y anotación humana arXiv · 2026 · PreimpresiónRevisado: registro de resumen y publicación. Accedido 25 sept 2026.
¿Preguntas o correcciones? Escribe a Rubrex. Lea nuestro enfoque editorial.