Eine LLM-Bewertungsrubrikvorlage mit Bewertungsankern

Mehrdeutigkeit kann ein Messproblem sein

Ein aktueller Annotations-Preprint untersucht Textklassifizierungsaufgaben mithilfe gemeinsam genutzter Codebücher und berichtet, dass Mehrdeutigkeit dazu beiträgt, Meinungsverschiedenheiten zwischen und innerhalb von menschlichen und Modell-Annotatoren zu erklären. Sein Anwendungsbereich ist begrenzt, aber es bietet einen nützlichen Grund, die Kodierungsregeln zu überprüfen, bevor man Meinungsverschiedenheiten als Inkompetenz des Gutachters behandelt.

Beweis: Beobachtungsäquivalenz von LLM und menschlicher Annotation [1]

Beginnen Sie mit der Entscheidung, die die Ausgabe unterstützen muss

Rubrex empfiehlt, die erforderlichen Fakten oder Verhaltensweisen aufzulisten, bevor Sie eine Bewertungsskala auswählen. Nützliche Kriterien für eine unterstützende Antwort könnten sachliche Unterstützung, Aufgabenerledigung und angemessene Unsicherheit sein. Höflichkeit mag zwar wichtig sein, sie sollte jedoch kein Ausgleich für die Erfindung eines Anspruchs sein.

Definieren Sie die Beweise, die dem Prüfer zur Verfügung stehen. Wenn ein Sachverhaltsurteil ein Grundsatzdokument erfordert, stellen Sie die entsprechende Version bereit. Ein Rezensent, der nur die Antwort sieht, kann nicht zuverlässig entscheiden, ob seine Behauptungen durch privates Quellenmaterial gestützt werden. Beziehen Sie gegebenenfalls ein nicht bewertbares Ergebnis ein.

Verwenden Sie Anker, die beobachtbare Unterschiede beschreiben

Die folgende Vorlage ist ein Ausgangspunkt für eine quellenbasierte Antwort. Passen Sie es an das tatsächliche Produkt an und validieren Sie es anhand von Beispielen. Eine dreistufige Skala kann einfacher zu kalibrieren sein als eine fein unterteilte Skala mit nicht unterscheidbaren Grenzen. Die Anzahl der Ebenen allein ist kein Maß für die Genauigkeit.

Anschauliches Beispiel: ein Defekt, mehrere Etiketten

Eine Antwort verspricht eine nicht verfügbare Rückerstattung. Das kann ein Versagen der sachlichen Unterstützung und ein Verstoß gegen die Richtliniengrenzen sein. Wenn in der Gesamtrubrik Punkte für Faktizität, Genauigkeit, Korrektheit und Wahrhaftigkeit abgezogen werden, kann es sein, dass derselbe Sachverhalt viermal gezählt wird, ohne nützliche Informationen hinzuzufügen.

Behalten Sie einen primären beobachtbaren Fehler bei und zeichnen Sie einen separaten Verstoß gegen eine kritische Regel auf, wenn die Freigabeentscheidung dies erfordert. Testen Sie dann eine andere Antwort, die sachlich richtig ist, dem Nutzer aber nicht sagt, wie er weiter vorgehen soll. Die Rubrik sollte diese Fälle unterscheiden, da ihre Korrekturen unterschiedlich sind.

Führen Sie vor einer groß angelegten Wertung einen Bewertungstest durch

Bitten Sie die Gutachter, die gleichen unterschiedlichen Beispiele unabhängig voneinander zu bewerten. Besprechen Sie die Belege hinter Meinungsverschiedenheiten, überarbeiten Sie unklare Anker und bewahren Sie eine kleine Auswahl gerichtlicher Beispiele auf. Bewerten Sie nach der Überarbeitung einen neuen Teilsatz erneut. Notieren Sie Rubrikversionen, damit eine durch eine neue Definition verursachte Bewertungsänderung nicht mit einer Modellverbesserung verwechselt wird.

• Geben Sie die erforderlichen Nachweise und die akzeptable Abweichung an.
• Fügen Sie an jeder wichtigen Grenze positive und negative Beispiele hinzu.
• Kritische Verstöße von gewichteten Qualitätswerten trennen.
• Behalten Sie eine explizite Route für mehrdeutige oder nicht bewertbare Fälle bei.

Passen Sie eine Bewertungsrubrik an eine neue Aufgabe an

Eine Bewertungsrubrik sollte beobachtbare Unterschiede zwischen akzeptabler, unvollständiger und inakzeptabler Arbeit beschreiben. Um diese Vorlage anzupassen, ersetzen Sie die Beispielaufgabe und die Nachweisanforderungen, bevor Sie die Bewertungsskala ändern. Schreiben Sie für jedes Kriterium ein eindeutiges Bestehen, einen Grenzfall und ein eindeutiges Nichtbestehen auf und bitten Sie dann die Prüfer, ihre Entscheidungen unabhängig zu erläutern.

Behalten Sie beim Vergleich von Bewertungsrubriken über Aufgaben hinweg die Bedeutung jedes Kriteriums bei, anstatt davon auszugehen, dass übereinstimmende numerische Skalen die Ergebnisse vergleichbar machen. Rubrex empfiehlt, die Anker zu versionieren und Meinungsverschiedenheiten zu überprüfen, bevor die neue Rubrik als Release-Gate verwendet wird. Wenn Gutachter nicht genannten Kontext benötigen, fügen Sie diesen Kontext hinzu oder markieren Sie den Fall als nicht bewertbar.

Häufige Fragen