Messen Sie die Kosten für KI-Agenten pro erfolgreicher Aufgabe, nicht pro Antwort

Verhalten und Ressourcennutzung erfordern mehr als eine Metrik

Ein Preprint vom Juni 2026 schlägt entropiebasierte Beschreibungen des Agentenverhaltens neben bekannten Ergebnismaßen vor. In der Zuverlässigkeitsforschung werden Konsistenz und Robustheit getrennt untersucht. Diese Quellen schlagen vor, wiederholtes oder unproduktives Verhalten zu untersuchen, während das tatsächliche Kostenmodell vom eingesetzten System abhängig bleibt.

Beweis: Entropiebasierte Beobachtbarkeit für das Verhalten von KI-Agenten [1]Auf dem Weg zu einer Wissenschaft der Zuverlässigkeit von KI-Agenten [2]

Definieren Sie die Abrechnungsgrenze

Entscheiden Sie, ob es sich bei der Einheit um einen Versuch, eine Benutzeranforderung oder eine abgeschlossene Geschäftsaufgabe handelt. Beziehen Sie Generierung, Abruf, Tools, Orchestrierung, Wiederholungsversuche und alle für den Workflow erforderlichen menschlichen Überprüfungen ein. Halten Sie die abrechnungsfähigen Gebühren des Anbieters von den internen Arbeitskostenschätzungen getrennt, damit die Annahmen überprüfbar bleiben.

Vergleichen Sie einen Kandidaten mit uneingeschränkten Wiederholungsversuchen nicht mit einer Basislinie, die einen Versuch zulässt, ohne den Unterschied offenzulegen. Mehrversuche mögen zwar eine legitime Produktwahl sein, doch der Vergleich betrifft dann zwei Betriebsrichtlinien sowie zwei Modelle. Notieren Sie Timeout- und Parallelitätsgrenzen, da diese sich sowohl auf die Kosten als auch auf die Fertigstellung auswirken können.

Verteilungen und Fehlerpfade melden

Rubrex empfiehlt, den Aufgabenerfolg, die mittlere und Endlatenz, die Gesamtressourcennutzung und die Kosten pro abgeschlossener Aufgabe im Rahmen einer bestimmten Richtlinie anzuzeigen. Behalten Sie fehlgeschlagene und abgebrochene Versuche im Kostennenner bei. Wenn keine Aufgaben erfolgreich sind, melden Sie dies, anstatt ein undefiniertes Verhältnis als Null darzustellen.

Segmentieren Sie Aufgaben nach Komplexität und Werkzeugabhängigkeit. Eine Routing-Änderung kann den Durchschnitt senken, indem einfache Aufgaben auf einen günstigeren Pfad verschoben werden, während schwierige Aufgaben schlechter werden. Überprüfen Sie beide Slices und die Routing-Fehler. Eine günstige Gesamtzahl sollte eine kritische Untergruppenregression nicht zunichte machen.

Anschauliche Arithmetik: Der günstigere Versuch verliert

Betrachten Sie zwei hypothetische Systeme, die abstrakte Kosteneinheiten verwenden. System A gibt 1 Einheit pro Versuch aus und erledigt 50 von 100 unabhängigen Aufgaben. System B gibt 1,5 Einheiten pro Versuch aus und schließt 90 ab. Bei einem Versuch pro Aufgabe betragen die Kosten pro Erfolg 2 Einheiten für A und etwa 1,67 für B. Diese erfundenen Zahlen veranschaulichen die Berechnung, nicht die Preisgestaltung des Anbieters oder die gemessene Leistung.

Das Ergebnis ändert sich, wenn Fehler eine manuelle Reparatur erfordern, Wiederholungsversuche zulässig sind oder sich die erfolgreichen Aufgaben im Schwierigkeitsgrad unterscheiden. Dokumentieren Sie diese Richtlinien, bevor Sie das Verhältnis zur Auswahl eines Systems verwenden.

Wählen Sie einen Betriebspunkt, keinen universellen Gewinner

Legen Sie zunächst Mindestqualitäts- und Berechtigungsanforderungen fest. Vergleichen Sie unter den Kandidaten, die diese Anforderungen erfüllen, Kosten und Latenz unter der erwarteten Arbeitsbelastung. Behalten Sie mehrere Betriebspunkte bei, wenn der Kompromiss sinnvoll ist. Ein Modell, das für eine schnelle Klassifizierung geeignet ist, eignet sich möglicherweise nicht für einen langen Werkzeug-Workflow.

• Fehlgeschlagene Ausführungen in die Gesamtressourcennutzung einbeziehen.
• Richtlinien für Wiederholungsversuche und Zeitüberschreitungen aufzeichnen.
• Separate Aufgabenklassen und Routingfehler.
• Überprüfen Sie die aktuellen Anbieterpreise erneut, wenn Sie Einheiten in Geld umrechnen.

Häufige Fragen