So bewerten Sie eine LLM-Anwendung vor der Veröffentlichung

Was die Anleitung sagt

Der Anthropic-Leitfaden vom Januar 2026 unterteilt Agententests in Aufgaben, wiederholte Ausführungen, Bewertungsregeln und die Testumgebung. Es trennt auch das, was ein Agent sagt, von dem, was er tatsächlich tut. Ein Agent kann beispielsweise sagen, dass er einen Datensatz gespeichert hat, obwohl sich der Datensatz nie geändert hat. Bewerten Sie das Ergebnis und das Gespräch. Dies ist ein Ratschlag eines Modellanbieters und kein Beweis dafür, dass eine Methode für jedes System funktioniert.

Beweis: Entmystifizierende Bewertungen für KI-Agenten [1]

Wählen Sie die Entscheidung, die Ihr Test unterstützen muss

Schreiben Sie die Freigabefrage in einem Satz auf. Zum Beispiel: Kann unser Support-Assistent die Kontorichtlinien erklären, ohne eine Rückerstattung zu versprechen, die er nicht genehmigen kann? Dadurch erhält der Test einen klaren Benutzer, eine klare Aufgabe und ein klares Risiko. Ein vages Ziel wie „hilfsbereiter sein“ kann eine glatte, falsche Antwort belohnen.

Entscheiden Sie, wie viel vom Workflow getestet werden soll. Eine Antwort kann für ein Zusammenfassungstool ausreichen. Ein Chat-Assistent benötigt möglicherweise ein ganzes Gespräch. Wenn ein Agent einen Datensatz bearbeitet, überprüfen Sie auch den gespeicherten Datensatz. Speichern Sie die Modellversion, Eingabeaufforderung, Sucheinstellungen und Werkzeugberechtigungen. Eine Änderung an einem dieser Punkte kann das Ergebnis verändern.

Erstellen Sie einen kleinen Testsatz, den Sie überprüfen können

Rubrex empfiehlt drei Gruppen von Fällen: allgemeine Aufgaben, Grenzfälle und bekannte Fehler. Schreiben Sie für jeden Fall das erwartete Verhalten und warum der Fall in den Test gehört. Halten Sie einige Fälle zurück, während Sie das System optimieren. Nutzen Sie den ersten Testlauf, um unklare Anforderungen zu finden, bevor Sie die Ergebnisse zur Unterstützung einer Markteinführung verwenden.

Verwenden Sie Code, um genaue Regeln zu überprüfen, z. B. erforderliche Felder oder zulässige Datensatz-IDs. Verwenden Sie einen Bewertungsleitfaden für Bedeutung, fehlende Details und ehrliche Unsicherheit. Bitten Sie die Rezensenten, selbst ein kleines gemeinsames Set zu bewerten. Besprechen Sie, wo sie anderer Meinung sind, bevor Sie einem automatischen Richter weitere Fälle anvertrauen. Behalten Sie Fälle, die nicht bewertet werden können, im Bericht und erläutern Sie, warum.

• Speichern Sie die Originalversion und jede Antwort, einschließlich fehlgeschlagener Anfragen.
• Führen Sie die geänderte Version mit denselben Eingängen und Grenzwerten aus.
• Untersuchen Sie Fälle, bei denen es besser wurde, und Fälle, bei denen es schlechter wurde.
• Geben Sie jedem Fehler, der die Freigabe blockiert, einen benannten Besitzer.

Beispiel: ein Assistent, der Richtlinien erklärt

Angenommen, ein Assistent muss die aktuelle Richtlinie zitieren, Ausnahmen erläutern und keine Genehmigung versprechen. Möglicherweise erfüllt es die ersten beiden Regeln, scheitert aber dennoch daran, dass es eine Rückerstattung verspricht. Bewerten Sie jede Regel, damit das Team das Problem finden kann. Notieren Sie außerdem, ob die Antwort alle erforderlichen Regeln erfüllt hat.

Angenommen, eine neue Eingabeaufforderung korrigiert Zitate, macht aber mehr nicht unterstützte Versprechungen. Das ist ein gemischtes Ergebnis. Testen Sie eine Änderung, die auf die Versprechen abzielt, und führen Sie dann die früheren Fälle erneut aus, um nach neuen Fehlern zu suchen. Dies ist ein Beispieltestplan, kein Ergebnis eines Rubrex-Clients.

Geben Sie dem nächsten Techniker genügend Zeit, um den Test erneut durchzuführen

Teilen Sie die Fälle, Bewertungsregeln, Systemversionen und Originalantworten. Gruppieren Sie Ausfälle nach Ursache und erklären Sie, was noch unbekannt ist. Fügen Sie Schritte zum erneuten Ausführen des Tests und zum Hinzufügen eines nach dem Start gefundenen Fehlers hinzu. Ein anderer Ingenieur sollte in der Lage sein, die Entscheidung zu überprüfen, ohne die Folien des Autors zu benötigen. Wenn die Beweise zu schwach sind, um eine Entscheidung zu treffen, benennen Sie die fehlenden Daten und den nächsten Test.

Notieren Sie, was jede Punktzahl bedeutet

Wählen Sie Maßnahmen aus, die die Freigabefrage beantworten. Für einen Support-Assistenten empfiehlt Rubrex, falsche Antworten, nicht unterstützte Ansprüche, erledigte Aufgaben und die Kosten einer nützlichen Antwort zu verfolgen. Geben Sie an, was jede Zählung abdeckt. Zehn fehlgeschlagene Antworten von 100 Antworten bedeuten etwas anderes als zehn fehlgeschlagene Sitzungen von 100 Sitzungen. Beziehen Sie auch Anfragen mit ein, die zu keiner Antwort führten.

Ein Test prüft eine Anforderung. Eine Testsuite prüft verschiedene Anforderungen und Möglichkeiten, wie das System ausfallen kann. Halten Sie Ihre Anwendungsergebnisse getrennt von den Benchmark-Ergebnissen öffentlicher Modelle. Schreiben Sie einen kurzen Entscheidungsbericht mit der alten und neuen Version, getesteten Fällen, Bewertungsdefinitionen und Fehlern, die die Veröffentlichung blockieren. Nennen Sie die Person, der der nächste Test gehört.

Häufige Fragen