Acuerdo de evaluación humana: diagnostica el desacuerdo antes de promediar

Una investigación reciente sobre anotaciones destaca la ambigüedad del libro de códigos

La preimpresión de equivalencia observacional de 2026 examina la anotación humana y de modelos en tareas de texto de ciencias políticas e informa que aclarar las reglas de codificación puede reducir los desacuerdos. No establece que los modelos y los humanos sean intercambiables para todos los dominios. La lección útil es investigar las propias instrucciones de medición.

Evidencia: Equivalencia observacional de LLM y anotación humana [1]

Recopilar juicios independientes primero

Rubrex recomienda un etiquetado ciego e independiente para el subconjunto de calibración. Si los revisores ven primero las respuestas de los demás, el aparente acuerdo puede reflejar conformidad en lugar de una rúbrica clara. Proporcione la misma evidencia y registre si algún revisor careció del contexto necesario para calificar el caso.

Especifique la unidad de anotación y las etiquetas permitidas. Una tarea de factualidad a nivel de oración difiere de una tarea de calidad de respuesta general. Para escalas ordinales, defina qué significa cada nivel y si los desacuerdos adyacentes tienen menos consecuencias que los distantes. No elija una estadística de acuerdo antes de definir la medición.

Lea la etiqueta de distribución al lado de la puntuación del acuerdo.

La concordancia bruta es fácil de entender, pero puede ser alta cuando casi todos los ejemplos pertenecen a una clase. Las estadísticas ajustadas al azar añaden otra perspectiva y aportan sus propios supuestos. Informe los recuentos por etiqueta, los patrones de confusión y la prevalencia de casos ambiguos junto con la estadística resumida.

Un pequeño subconjunto de fallas raras puede ser más importante para la decisión de publicación que una puntuación general alta. Inspeccione si los revisores identifican consistentemente ese subconjunto. Cuando sean legítimas múltiples interpretaciones, conserve una etiqueta de ambigüedad o una distribución de juicios en lugar de fabricar una referencia determinada.

Ejemplo ilustrativo: dominan los negativos fáciles

Imagine un conjunto de revisión que contenga muchas no infracciones obvias y algunas infracciones sutiles de políticas. Los revisores están de acuerdo en casi todos los casos fáciles, pero no están de acuerdo en los más importantes. El acuerdo agregado puede parecer tranquilizador mientras la puerta de liberación siga mal calibrada.

Revise los casos en disputa, identifique la regla o evidencia que falta y agregue ejemplos anclados. Luego evalúe un nuevo subconjunto con suficientes casos límite relevantes para evaluar la instrucción revisada. Mantenga los resultados de calibración específicos separados de una estimación ponderada por tráfico.

Hacer adjudicación mejorar el instrumento

Registre las etiquetas originales, la resolución final, la evidencia y la revisión de la rúbrica si fuera requerida. La decisión de un revisor principal puede establecer una referencia operativa, pero no debe describirse como una verdad infalible. Realice un seguimiento de las tendencias de desacuerdo después de cambios en la combinación de tareas, el grupo de revisores o el material fuente.

• Revisores ciegos para modelar la identidad cuando es irrelevante.
• Inspeccionar desacuerdos por criterio y porción de tarea.
• Conservar los casos no evaluables y sus motivos.
• Distinguir la adjudicación operativa de una verdad objetiva sobre el terreno.

Preguntas comunes