KI-Agentenbewertung: Testergebnisse, Spuren und wiederholte Läufe

Zuverlässigkeit geht über den Aufgabenerfolg hinaus

Ein Preprint vom Februar 2026 schlägt Zuverlässigkeitsdimensionen vor, darunter Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit. Anthropics Leitfaden zur Agentenbewertung unterscheidet auch Ergebnisprüfungen von der Bewertung von Transkripten. Dabei handelt es sich um nützliche Objektive für den Entwurf einer Testsuite und nicht um eine Garantie dafür, dass eine Suite alle Bereitstellungsrisiken abdeckt.

Beweis: Auf dem Weg zu einer Wissenschaft der Zuverlässigkeit von KI-Agenten [1]Entmystifizierende Bewertungen für KI-Agenten [2]

Definieren Sie den autorisierten Endzustand

Beschreiben Sie, was sich ändern darf, was unverändert bleiben muss und was Vollendung bedeutet. Für einen Planungsagenten könnte das bedeuten, dass er genau eine Veranstaltung mit den gewünschten Teilnehmern erstellt und nicht zusammenhängende Veranstaltungen unberührt lässt. Für einen Codierungsagenten kann es Tests, Artefaktverhalten und Repository-Einschränkungen umfassen.

Initialisieren Sie jeden Versuch aus einem bekannten Zustand. Wenn bei früheren Durchläufen Daten zurückbleiben, messen spätere Ergebnisse möglicherweise eher die Kontamination der Testumgebung als die Agentenqualität. Zeichnen Sie Toolversionen, Berechtigungen, externe Abhängigkeiten und alle simulierten Antworten auf, die zum Reproduzieren der Aufgabe erforderlich sind.

Verwenden Sie separate Ergebnis- und Prozessprüfungen

Rubrex empfiehlt exakte Zustandsbehauptungen, sofern die Aufgabe dies zulässt. Existierte der Datensatz? War die Kennung korrekt? Wurde der Vorgang dupliziert? Verwenden Sie die Trace-Überprüfung für Anforderungen, die von Reihenfolge, Autorisierung oder Kommunikation abhängen. Vermeiden Sie die Anforderung eines genauen Werkzeugpfads, wenn mehrere gültige Pfade den Vertrag erfüllen.

Behalten Sie unvollständige Läufe, Zeitüberschreitungen und Wiederholungsversuche im Auswertungsdatensatz bei. Ein Geschirr, das Misserfolge ausschließt, kann den scheinbaren Erfolg steigern. Wenn ein Benutzersimulator beteiligt ist, bewerten Sie auch das Verhalten des Simulators: Er kann versteckte Informationen preisgeben, ein falsches Ergebnis akzeptieren oder die Aufgabe einfacher machen als die tatsächliche Verwendung.

Anschauliches Beispiel: eine erfolgreiche Nachricht, ein fehlender Datensatz

Ein Agent gibt an, dass er ein Support-Ticket erstellt hat. Die Toolanforderung ist fehlgeschlagen und es ist kein Ticket vorhanden. Ein Korrektor, der nur die Sprache benotet, belohnt möglicherweise die prägnante Abschlussnachricht. Eine zustandsbasierte Prüfung identifiziert das fehlgeschlagene Ergebnis korrekt.

Testen Sie nun eine Zeitüberschreitung, bei der das Ticket erstellt wurde, die Antwort jedoch verloren ging. Das richtige Verhalten könnte darin bestehen, den Status vor dem erneuten Versuch abzugleichen. Beide Fälle sehen in einer Teilverfolgung ähnlich aus, erfordern jedoch unterschiedliche Wiederherstellungsmaßnahmen. Fügen Sie sie als separate Szenarien hinzu und prüfen Sie, ob der Agent die verfügbaren Beweise unterscheiden kann.

Melden Sie ein Zuverlässigkeitsprofil

Zeigen Sie den Abschluss, nicht autorisierte Änderungen, doppelte Aktionen, den Wiederherstellungserfolg und die Variabilität zwischen den Versuchen an. Beziehen Sie die Ressourcennutzung und repräsentative Fehlerspuren ein. Ein Kandidat kann mehr Aufgaben erledigen und dabei weniger vorhersehbar sein oder schwerwiegendere Fehler verursachen; Melden Sie diesen Kompromiss explizit.

• Anfangszustand einfrieren und zwischen Versuchen zurücksetzen.
• Definieren Sie akzeptable alternative Wege zur Fertigstellung.
• Testunterbrechungen und Teilausfälle des Werkzeugs.
• Schwerwiegende Ausfälle bleiben sichtbar, auch wenn sich der Durchschnitt verbessert.

Ein Framework zur Bewertung von KI-Agenten, das Sie überprüfen können

Ein praktischer Agentenbewertungsrahmen erfordert eine Aufgabendefinition, eine zurücksetzbare Umgebung, wiederholte Versuche, Ergebnisprüfungen und eine Ablaufverfolgung, die Aktionen mit Ergebnissen verbindet. Definieren Sie für einen Supportmitarbeiter vor dem Lauf die zulässigen Datensatzänderungen. Überprüfen Sie anschließend die aktuelle Aufzeichnung und das Gespräch. Behalten Sie fehlgeschlagene und unterbrochene Versuche bei, damit der Bericht die versuchten Arbeiten widerspiegelt.

Für KI-Agentenbewertungsmetriken empfiehlt Rubrex, den Abschluss von Aufgaben zusammen mit nicht autorisierten Änderungen, doppelten Aktionen, Wiederherstellungsergebnissen und Kosten pro abgeschlossener Aufgabe zu melden. Geben Sie die Anzahl der Versuche für jede Aufgabe an und zeigen Sie inkonsistente Ergebnisse einzeln an. Die Agentenbewertung sollte auch einen Toolfehler und eine mehrdeutige Anfrage testen: Das System muss möglicherweise anhalten oder um Klärung bitten, anstatt den Abschluss zu erzwingen.

Häufige Fragen