Como calibrar um juiz LLM antes de confiar em suas pontuações

Questões de trabalho recentes compartilharam suposições de calibração

Uma pré-impressão de maio de 2026 examina o viés nas estimativas baseadas em juízes e a instabilidade quando a calibração é compartilhada entre modelos comparados. Descreve condições em que uma comparação pode apontar na direção errada. O JudgeBiasBench estuda separadamente múltiplas formas de preconceito de julgamento. Estas descobertas motivam verificações específicas de tarefas, em vez de confiança automática num modelo forte.

Evidência: Viés e incerteza na estimativa de LLM como juiz [1]Rumo a Juízes Robustos Baseados em LLM: Avaliação de Viés Taxonômico e Otimização de Desvio [2]

Construa um conjunto de calibração independente

Rubrex recomenda selecionar resultados representativos que incluam passes claros, falhas claras e limites difíceis. Faça com que revisores qualificados apliquem uma rubrica escrita sem ver o resultado do juiz. Registre divergências e julgamentos em vez de assumir que todos os rótulos humanos são inequívocos.

Divida os exemplos usados para refinar a solicitação do avaliador a partir de exemplos usados para avaliar o juiz final. Ajustar repetidamente o mesmo conjunto de calibração pode fazer com que a concordância pareça melhor sem demonstrar transferência. Preserve os exemplos e seu histórico de rótulos para que alterações futuras possam ser comparadas de forma justa.

Inspecione a forma de desacordo

Para um critério binário, distinga falsas aprovações de falsas falhas. Para pontuações ordinais, inspecione erros grandes e confusão específica de categoria, em vez de apenas uma correlação. Um juiz pode classificar os resultados de forma semelhante aos revisores, ao mesmo tempo que atribui sistematicamente pontuações excessivamente generosas.

Teste alterações plausíveis e incômodas: ordem de resposta, verbosidade, formatação ou identificadores de provedor quando não devem afetar a qualidade. Inverter um par é útil, mas não diagnostica todos os vieses. Compare a mesma rubrica em estilos de saída que se assemelham aos candidatos reais.

Exemplo ilustrativo: correto, mas conciso

Um juiz prefere repetidamente respostas detalhadas, mesmo quando ambos os candidatos contêm os fatos exigidos e a tarefa exige brevidade. Revise a rubrica para obter recompensas implícitas por duração. Adicione exemplos corretos concisos e exemplos incorretos detalhados e, em seguida, teste o avaliador revisado em um conjunto retido.

Não apenas instrua o juiz a ser imparcial e presumir que o problema está resolvido. Retenha registros de desacordo antes e depois e inspecione se a correção introduziu uma nova preferência em relação aos detalhes necessários.

Recalibrar quando a tarefa for alterada

Versão do identificador do modelo, prompt, esquema, material de referência e regra de pontuação juntos. Verifique novamente após uma atualização de juiz, uma nova família de modelos candidatos, uma grande mudança imediata ou uma distribuição de tarefas diferente. Mantenha um caminho para revisão humana quando uma pontuação for importante ou a evidência for insuficiente.

Avaliadores LLM: escolhendo e verificando um modelo de avaliador

Um LLM como juiz usa um modelo para aplicar critérios à saída de outro sistema. Neste fluxo de trabalho, o modelo do avaliador, o prompt, o material de referência e a regra de pontuação formam uma dependência com versão. Escolha essa dependência pelo seu desempenho nos exemplos revisados ​​da sua tarefa, em vez de assumir que o modelo mais capaz ou mais caro é o melhor juiz.

Para avaliar a confiabilidade do juiz, mantenha um registro de erros: o rótulo esperado, o rótulo do avaliador, a explicação, o requisito afetado e a consequência da discordância. Compare avaliadores de candidatos nos mesmos casos pendentes. A Rubrex recomenda manter uma verificação determinística para requisitos exatos e um caminho de escalonamento humano para julgamentos não resolvidos. Revisite o razão quando o aplicativo começar a produzir um novo tipo de resposta.

Perguntas comuns