Wie man einen LLM-Richter kalibriert, bevor man seinen Ergebnissen vertraut

Aktuelle Arbeitsfragen teilen gemeinsame Kalibrierungsannahmen

Ein Vorabdruck vom Mai 2026 untersucht die Verzerrung bei richterbasierten Schätzungen und die Instabilität, wenn die Kalibrierung zwischen den verglichenen Modellen geteilt wird. Es beschreibt Situationen, in denen ein Vergleich in die falsche Richtung weisen kann. JudgeBiasBench untersucht separat mehrere Formen der Urteilsverzerrung. Diese Erkenntnisse motivieren eher zu aufgabenspezifischen Prüfungen als zum automatischen Vertrauen in ein starkes Modell.

Beweis: Verzerrung und Unsicherheit bei der Einschätzung des LLM als Richter [1]Auf dem Weg zu robusten LLM-basierten Richtern: Taxonomische Bias-Bewertung und Debiasing-Optimierung [2]

Erstellen Sie ein unabhängiges Kalibrierungsset

Rubrex empfiehlt die Auswahl repräsentativer Ergebnisse, die eindeutige Durchgänge, eindeutige Fehlschläge und schwierige Grenzen umfassen. Lassen Sie qualifizierte Gutachter eine schriftliche Rubrik anwenden, ohne das Ergebnis des Richters zu sehen. Notieren Sie Meinungsverschiedenheiten und Urteile, anstatt davon auszugehen, dass jede menschliche Bezeichnung eindeutig ist.

Teilen Sie Beispiele, die zur Verfeinerung der Bewertungsaufforderung verwendet werden, aus Beispielen auf, die zur Beurteilung des endgültigen Richters verwendet werden. Durch wiederholtes Optimieren desselben Kalibrierungssatzes kann die Übereinstimmung besser aussehen, ohne dass eine Übertragung nachgewiesen werden muss. Bewahren Sie die Beispiele und ihren Etikettenverlauf auf, damit zukünftige Änderungen fair verglichen werden können.

Untersuchen Sie die Form der Meinungsverschiedenheit

Unterscheiden Sie für ein binäres Kriterium falsche Erfolge von falschen Fehlern. Untersuchen Sie bei Ordinalwerten große Fehler und kategoriespezifische Verwirrung und nicht nur eine Korrelation. Ein Juror kann Ergebnisse ähnlich wie Gutachter bewerten und dabei systematisch übermäßig großzügige Bewertungen vergeben.

Testen Sie plausible störende Änderungen: Antwortreihenfolge, Ausführlichkeit, Formatierung oder Anbieterkennungen, wenn diese die Qualität nicht beeinträchtigen sollten. Das Umkehren eines Paares ist nützlich, aber es diagnostiziert nicht jede Verzerrung. Vergleichen Sie dieselbe Rubrik in Ausgabestilen, die den tatsächlichen Kandidaten ähneln.

Anschauliches Beispiel: korrekt, aber prägnant

Ein Richter bevorzugt immer wieder ausführliche Antworten, selbst wenn beide Kandidaten die erforderlichen Fakten enthalten und die Aufgabe Kürze erfordert. Überprüfen Sie die Rubrik auf implizite Belohnungen für die Länge. Fügen Sie prägnante richtige Beispiele und ausführliche falsche Beispiele hinzu und testen Sie dann den überarbeiteten Grader an einem hingehaltenen Satz.

Weisen Sie den Richter nicht einfach an, unvoreingenommen zu sein und davon auszugehen, dass die Angelegenheit gelöst ist. Bewahren Sie Aufzeichnungen über Meinungsverschiedenheiten vor und nach der Änderung auf und prüfen Sie, ob die Korrektur zu einer neuen Bevorzugung erforderlicher Details geführt hat.

Neu kalibrieren, wenn sich die Aufgabe ändert

Versionieren Sie die Modellkennung, die Eingabeaufforderung, das Schema, das Referenzmaterial und die Bewertungsregel zusammen. Führen Sie nach einem Richter-Upgrade, einer neuen Kandidatenmodellfamilie, einer größeren Änderung bei der Eingabeaufforderung oder einer anderen Aufgabenverteilung eine erneute Überprüfung durch. Halten Sie einen Weg zur menschlichen Überprüfung bereit, wenn eine Bewertung von Bedeutung ist oder die Beweise nicht ausreichen.

LLM-Evaluatoren: Auswahl und Überprüfung eines Evaluatormodells

Ein LLM verwendet als Richter ein Modell, um Kriterien auf die Ausgabe eines anderen Systems anzuwenden. In diesem Workflow bilden das Evaluatormodell, die Eingabeaufforderung, das Referenzmaterial und die Bewertungsregel eine versionierte Abhängigkeit. Wählen Sie diese Abhängigkeit anhand ihrer Leistung anhand überprüfter Beispiele aus Ihrer Aufgabe, anstatt davon auszugehen, dass das leistungsfähigste oder teuerste Modell der beste Richter ist.

Um die Zuverlässigkeit des Richters zu beurteilen, führen Sie ein Fehlerbuch: die erwartete Bezeichnung, die Bezeichnung des Bewerters, die Erklärung, die betroffene Anforderung und die Folgen der Meinungsverschiedenheit. Vergleichen Sie Kandidatenbewerter bei denselben zurückgehaltenen Fällen. Rubrex empfiehlt, eine deterministische Prüfung für genaue Anforderungen und einen menschlichen Eskalationspfad für ungelöste Urteile durchzuführen. Besuchen Sie das Hauptbuch erneut, wenn die Anwendung eine neue Art von Antwort generiert.

Häufige Fragen