Um modelo de rubrica de avaliação LLM com âncoras de pontuação

A ambigüidade pode ser um problema de medição

Uma pré-impressão de anotação recente estuda tarefas de classificação de texto usando livros de códigos compartilhados e relata que a ambiguidade ajuda a explicar a discordância entre e dentro de anotadores humanos e de modelo. Seu domínio é limitado, mas fornece uma razão útil para inspecionar as regras de codificação antes de tratar a discordância como incompetência do revisor.

Evidência: Equivalência Observacional de LLM e Anotação Humana [1]

Comece com a decisão que a saída deve suportar

Rubrex recomenda listar os fatos ou comportamentos necessários antes de escolher uma escala de pontuação. Para uma resposta de apoio, os critérios úteis podem incluir apoio factual, conclusão da tarefa e incerteza apropriada. A polidez pode ser importante, mas não deve compensar a invenção de um direito.

Defina as evidências disponíveis para o revisor. Se um julgamento de factualidade exigir um documento de política, forneça a versão aplicável. Um revisor que vê apenas a resposta não pode decidir com segurança se as suas afirmações são apoiadas por material de fonte privada. Inclua um resultado não avaliável quando necessário.

Use âncoras que descrevam diferenças observáveis

O modelo a seguir é um ponto de partida para uma resposta baseada na fonte. Adapte-o ao produto real e valide-o com exemplos. Uma escala de três níveis pode ser mais fácil de calibrar do que uma escala finamente dividida com limites indistinguíveis. O número de níveis não é em si uma medida de rigor.

Exemplo ilustrativo: um defeito, várias etiquetas

Uma resposta promete um reembolso indisponível. Isso pode ser uma falha no apoio factual e uma violação dos limites políticos. Se a rubrica geral subtrair pontos de factualidade, exatidão, correção e veracidade, ela poderá contar a mesma questão quatro vezes sem adicionar informações úteis.

Mantenha uma falha observável primária e registre uma violação de regra crítica separada se a decisão de liberação exigir isso. Em seguida, teste outra resposta que seja factualmente correta, mas que não diga ao usuário como proceder. A rubrica deve distinguir esses casos porque suas soluções são diferentes.

Execute um teste de rubrica antes da pontuação em grande escala

Peça aos revisores que classifiquem os mesmos exemplos variados de forma independente. Discuta as evidências por trás das divergências, revise as âncoras pouco claras e preserve um pequeno conjunto de exemplos julgados. Pontue novamente um novo subconjunto após a revisão. Registre as versões das rubricas para que uma alteração na pontuação causada por uma nova definição não seja confundida com melhoria do modelo.

• Especifique as evidências exigidas e a variação aceitável.
• Adicione exemplos positivos e negativos em cada limite importante.
• Separe as violações críticas dos índices de qualidade ponderados.
• Mantenha uma rota explícita para casos ambíguos ou não pontuados.

Adaptar uma rubrica de avaliação a uma nova tarefa

Uma rubrica de avaliação deve descrever diferenças observáveis ​​entre trabalho aceitável, incompleto e inaceitável. Para adaptar este modelo, substitua a tarefa de exemplo e os requisitos de evidência antes de alterar a escala de pontuação. Escreva uma aprovação clara, um caso limite e uma falha clara para cada critério e, em seguida, peça aos revisores que expliquem suas decisões de forma independente.

Ao comparar rubricas de avaliação entre tarefas, preserve o significado de cada critério em vez de assumir que as escalas numéricas correspondentes tornam as pontuações comparáveis. Rubrex recomenda a versão das âncoras e a revisão das divergências antes de usar a nova rubrica como porta de lançamento. Se os revisores precisarem de contexto não declarado, adicione esse contexto ou marque o caso como não pontuado.

Perguntas comuns