Come calibrare un giudice LLM prima di fidarsi dei suoi punteggi

Lavori recenti mettono in discussione ipotesi di calibrazione condivise

Una prestampa del maggio 2026 esamina le distorsioni nelle stime basate sui giudici e l'instabilità quando la calibrazione viene condivisa tra modelli confrontati. Descrive le condizioni in cui un confronto può puntare nella direzione sbagliata. JudgeBiasBench studia separatamente molteplici forme di bias di giudizio. Questi risultati motivano controlli specifici per attività piuttosto che fiducia automatica in un modello forte.

Prova: Distorsione e incertezza nella stima del LLM come giudice [1]Verso robusti giudici basati su LLM: valutazione del bias tassonomico e ottimizzazione del debiasing [2]

Costruisci un set di calibrazione indipendente

Rubrex consiglia di selezionare risultati rappresentativi che includano passaggi chiari, fallimenti chiari e confini difficili. Chiedi a revisori qualificati di applicare una rubrica scritta senza vedere il risultato del giudice. Registrare i disaccordi e i giudizi piuttosto che dare per scontato che ogni etichetta umana sia inequivocabile.

Esempi divisi utilizzati per perfezionare il suggerimento del selezionatore da esempi utilizzati per valutare il giudice finale. L'ottimizzazione ripetuta dello stesso set di calibrazione può migliorare l'aspetto dell'accordo senza dimostrare il trasferimento. Conserva gli esempi e la cronologia delle etichette in modo che le modifiche future possano essere confrontate in modo equo.

Ispeziona la forma del disaccordo

Per un criterio binario, distinguere i falsi passaggi dai falsi fallimenti. Per i punteggi ordinali, ispezionare gli errori di grandi dimensioni e la confusione specifica della categoria anziché solo una correlazione. Un giudice può classificare i risultati in modo simile ai revisori, assegnando sistematicamente punteggi eccessivamente generosi.

Testare modifiche plausibili e fastidiose: ordine di risposta, verbosità, formattazione o identificatori del provider quando questi non dovrebbero influire sulla qualità. Invertire una coppia è utile, ma non diagnostica ogni bias. Confronta la stessa rubrica tra stili di output che assomigliano ai candidati effettivi.

Esempio illustrativo: corretto ma conciso

Un giudice preferisce ripetutamente risposte circostanziate anche quando entrambi i candidati contengono i fatti richiesti e il compito richiede brevità. Rivedi la rubrica per le ricompense implicite per la lunghezza. Aggiungi esempi concisi corretti ed esempi dettagliati errati, quindi prova il selezionatore rivisto su un set in mano.

Non limitatevi a chiedere al giudice di essere imparziale e di dare per scontato che la questione sia risolta. Conservare i registri dei disaccordi prima e dopo e verificare se la correzione ha introdotto una nuova preferenza rispetto ai dettagli necessari.

Ricalibrare quando cambia l'attività

Versione insieme dell'identificatore del modello, del prompt, dello schema, del materiale di riferimento e della regola di punteggio. Ricontrolla dopo un aggiornamento del giudice, una nuova famiglia di modelli di candidati, un cambiamento immediato importante o una diversa distribuzione dei compiti. Mantenere un percorso per la revisione umana quando un punteggio è consequenziale o le prove sono insufficienti.

Valutatori LLM: scelta e verifica di un modello di valutatore

Un LLM come giudice utilizza un modello per applicare criteri all'output di un altro sistema. In questo flusso di lavoro, il modello del valutatore, il prompt, il materiale di riferimento e la regola di punteggio formano una dipendenza con versione. Scegli quella dipendenza in base alle sue prestazioni sugli esempi esaminati dal tuo compito, piuttosto che dare per scontato che il modello più capace o più costoso sia il miglior giudice.

Per valutare l'affidabilità del giudice, tenere un registro degli errori: l'etichetta attesa, l'etichetta del valutatore, la spiegazione, il requisito interessato e la conseguenza del disaccordo. Confrontare i candidati valutatori sugli stessi casi presentati. Rubrex consiglia di mantenere un controllo deterministico per i requisiti esatti e un percorso di escalation umano per i giudizi irrisolti. Rivisita il registro quando l'applicazione inizia a produrre un nuovo tipo di risposta.

Domande comuni