Wie viele Beispiele benötigt eine LLM-Evaluation?

Was die Forschung über begrenzte Proben sagt

Ein Preprint aus dem Jahr 2025 untersucht die Bewertung der Bayes'schen Leistungsfähigkeit, wenn die Proben begrenzt sind. In einem Papier zur aktiven Bewertung aus dem Jahr 2026 wird untersucht, wie sich die Auswahl der zu bewertenden Aufgaben auf die Ranking-Effizienz auswirkt. Diese befassen sich mit unterschiedlichen Einstellungen; Keines von beiden liefert eine universelle Anzahl von Beispielen für eine Geschäftsanwendung.

Beweis: Vertrauen in die Bewertung großer Sprachmodelle: Ein Bayesianischer Ansatz für Herausforderungen bei begrenzten Stichproben [1]Aktive Bewertung allgemeiner Agenten: Problemdefinition und Vergleich von Basisalgorithmen [2]

Trennen Sie Abdeckung von Präzision

Coverage fragt, ob die wichtigen Situationen dargestellt werden. Präzision fragt, wie unsicher eine geschätzte Rate unter einem Stichprobenmodell ist. Eine große Menge nahezu identischer einfacher Fragen kann für eine nicht hilfreiche Population zu einem engen Intervall führen. Ein kleinerer, bewusst variierter Satz kann Designprobleme aufdecken, ohne eine genaue Produktionsfehlerrate zu unterstützen.

Beginnen Sie mit einer Übersicht über Aufgaben und Fehlerfolgen. Bei einem Dokumentenassistenten können dazu beantwortbare Fragen, fehlende Beweise, widersprüchliche Versionen, eingeschränkte Dokumente und lange Eingaben gehören. Kennzeichnen Sie gezielte Challenge-Fälle getrennt vom zufällig ausgewählten Datenverkehr. Wenn man sie ohne Offenlegung zusammenfasst, ist der Gesamtprozentsatz schwer zu interpretieren.

Eine Planungsrechnung mit Annahmen

Für ein unabhängiges binäres Ergebnis, das aus einer stabilen Grundgesamtheit entnommen wurde, lautet eine grobe Normalnäherungsplanungsformel n ≈ 1,96² × p × (1 − p) / e² für ein 95 %-Intervall mit Rand e. Die Verwendung von p = 0,5 und e = 0,05 ergibt etwa 385 unabhängige Fälle. Diese Arithmetik dient der Veranschaulichung und ist kein empfohlener Standardwert.

Echte Auswertungssätze verstoßen häufig gegen diese Annahmen. Mehrere Fragen aus einem Dokument, wiederholte Agentenversuche und synthetische Variationen können korreliert werden. Seltene schwerwiegende Ausfälle erfordern ein anderes Design als die Schätzung einer allgemeinen Erfolgsquote. Verwenden Sie für kleine Zählungen oder extreme Raten ein geeignetes Intervall, anstatt dieser Näherung zu vertrauen. Modellvergleiche erfordern auch eine paarweise Analyse und nicht zwei unabhängige Ränder.

Anschauliches Beispiel: Zehn Wiederholungsversuche sind keine zehn Kunden

Stellen Sie sich 40 Support-Szenarien vor, die jeweils zehnmal generiert werden. Es gibt 400 Ausgaben, aber nur 40 verschiedene Szenarien. Die Wiederholungsversuche zeigen, ob sich das Modell bei diesen Aufgaben konsistent verhält. Sie bieten keine zusätzliche Abdeckung von 360 neuen Kundensituationen.

Führen Sie eine Zusammenfassung auf Szenarioebene und eine Zusammenfassung auf Testebene. Wenn die Freigabeentscheidung eine Verallgemeinerung auf neue Anforderungen betrifft, fügen Sie unabhängige Szenarios hinzu. Wenn es sich um instabiles Verhalten bei einer bekanntermaßen kritischen Anfrage handelt, weisen Sie dort weitere wiederholte Versuche zu. Dokumentieren Sie, welche Unsicherheit durch die zusätzlichen Ausgaben verringert werden soll.

Legen Sie die Stoppregel fest, bevor Sie sich den Gewinner ansehen

Entscheiden Sie im Voraus, welche Verbesserung wichtig wäre, welche Regressionen die Freigabe blockieren und welche Unsicherheit akzeptabel ist. Ein Pilotprojekt hilft dabei, die Häufigkeit von Misserfolgen und Meinungsverschiedenheiten abzuschätzen. Anschließend kann eine größere Studie durchgeführt werden. Vermeiden Sie es, die Ergebnisse wiederholt zu überprüfen und erst aufzuhören, wenn der Kandidat besser aussieht. Das macht das scheinbare Vertrauen irreführend.

• Erfassen Sie die Anzahl unabhängiger Aufgaben und die Gesamtanzahl der Generierungen separat.
• Halten Sie die Challenge-Set-Scores getrennt von den Traffic-gewichteten Schätzungen.
• Geben Sie neben den Prozentsätzen auch die Anzahl pro Segment an.
• Eskalieren Sie wichtige statistische Entscheidungen an einen geeigneten Spezialisten.

Häufige Fragen