RAG-Bewertungsmetriken: Messen Sie den Abruf und die Antworten getrennt

Was aktuelle Metrikrahmen abdecken

Ragas dokumentiert separate Metriken für Kontextpräzision, Kontexterinnerung, Treue, Antwortrelevanz und Rauschempfindlichkeit. EnterpriseRAG, ein Preprint vom August 2026, untersucht außerdem widersprüchliche Beweise, Wissenslücken, widersprüchliche Fakten und mehrere Anweisungen. Letzteres hebt Bedingungen hervor, die bei einem sauberen Frage-Antwort-Benchmark möglicherweise weggelassen werden.

Beweis: Liste der verfügbaren Metriken [1]EnterpriseRAG: Benchmarking der Einhaltung und Robustheit von LLM-Anweisungen bei nicht-idealem Unternehmensabruf [2]

Wählen Sie Metriken aus dem Fehler aus, den Sie erkennen müssen

Die Kontextpräzision fragt, wie viel abgerufenes Material unter der gewählten Relevanzregel nützlich ist. Der Kontextabruf fragt, ob die erforderlichen Beweise wiederhergestellt wurden. Bei der Treue geht es um die Unterstützung der generierten Ansprüche im bereitgestellten Kontext. Die Richtigkeit der Antworten erfordert eine aufgabenspezifische Referenz oder einen anderen vertretbaren Beurteilungsprozess. Dies sind keine austauschbaren Fragen.

Definieren Sie, was als relevante Passage gilt, bevor Sie die Wertung abrufen. Eine Passage kann das richtige Thema erwähnen, ohne die zur Beantwortung der Frage erforderliche Ausnahme zu enthalten. Ebenso kann eine Antwort durch einen veralteten Kontext gestützt werden und dennoch für die aktuelle Anfrage des Benutzers falsch sein. Halten Sie die Aktualität und Autorität der Quelle sichtbar.

Erstellen Sie eine diagnostische Bewertungsmatrix

Rubrex empfiehlt, einen Korpus-Snapshot einzufrieren und Fälle für ausreichende Beweise, fehlende Beweise, widersprüchliche Beweise und irrelevante Ergänzungen zu erstellen. Stellen Sie dieselbe Frage unter diesen Bedingungen, unter denen die Transformation realistisch bleibt. Datensatzabrufkonfiguration und der endgültige, dem Generator bereitgestellte Kontext.

Bewerten Sie die Antwort getrennt vom Retriever. Ein Experiment, das beide Komponenten verändert, kann für die Produktentscheidung nützlich sein, ist aber schwer zu diagnostizieren. Messen Sie zunächst den End-to-End-Effekt. Isolieren Sie dann die Komponenten, um zu verstehen, woher die Änderung kam.

Anschauliches Beispiel: Erinnerung steigt, Nutzen sinkt

Ein Retriever beginnt, weitere Passagen zurückzugeben. Es enthält jetzt häufiger die korrekte Richtlinie, liefert aber auch alte Versionen mit ähnlichem Wortlaut. Die Abrufabdeckung verbessert sich, während bei der Antwort zunehmend veraltete Regeln zum Einsatz kommen. Ein Dashboard, das nur Rückrufe meldet, würde die Regression verfehlen.

Überprüfen Sie die Dokumentversionen und die Berechtigung und testen Sie dann eine Filterung oder Änderung der Rangfolge. Halten Sie den Fragensatz fest und vergleichen Sie sowohl das Abrufverhalten als auch das Verhalten bei der endgültigen Antwort. Gehen Sie nicht davon aus, dass eine Verringerung der Anzahl der Passagen immer die Lösung ist; Es kann erforderliche Beweise für Fragen mit mehreren Dokumenten entfernen.

Lassen Sie den Bericht die Kompromisse erläutern

Präsentieren Sie die Ergebnisse pro Schicht, repräsentative Fehler, die verwendete Konfiguration und die Unsicherheit der beurteilten Ergebnisse. Berücksichtigen Sie neben den Durchschnittswerten auch Verstöße gegen kritische Einschränkungen. Eine nützliche Anzeige erklärt, welche Änderung als nächstes getestet werden soll und welches Ergebnis die Hypothese unterstützen oder ablehnen würde. Es bleibt nicht bei einem farbcodierten metrischen Panel.

Führen Sie eine RAG-Bewertung von der Frage bis zum Beweis durch

Erstellen Sie für eine erste RAG-Bewertung einen Datensatz, der die Frage, die Korpusversion, unterstützende Passagen, abgerufene Passagen, die endgültige Antwort und das erwartete Verhalten enthält. Markieren Sie Fragen, die beantwortbar sein sollten, und solche, bei denen das System um Klärung bitten oder sich der Stimme enthalten soll. Dadurch kann ein Prüfer eine fehlende Quelle von einer Antwort unterscheiden, die eine bereits vorhandene Quelle ignoriert.

Rubrex empfiehlt, RAG-Bewertungen mit einem eingefrorenen Fragensatz auszuführen, bevor die Abruftiefe, die Aufteilung oder die Antwortaufforderung geändert werden. Vergleichen Sie die Baseline und den Kandidaten Datensatz für Datensatz. Wenn ein Kandidat beispielsweise die richtige Richtlinie abruft, aber eine veraltete Ausnahme angibt, behalten Sie sowohl den Abruferfolg als auch den Antwortfehler bei. Vereinbaren Sie, welche Fehler die Entscheidung blockieren, bevor Sie die Ergebnisse zusammenfassen.

Ein RAG-Beispiel mit vier Fällen, das Sie sich ansehen können

Das herunterladbare Arbeitsblatt enthält vier kurze, erfundene Passagen und vier Fragen. Sowohl die Basis- als auch die Kandidatenantworten sind verfasste Schnappschüsse; Kein LLM hat sie generiert. Sie veranschaulichen, wie Fehler diagnostiziert werden, nicht eine beobachtete Verbesserung in einem Produktionssystem. Der Annahmevertrag ist eindeutig: Verwenden Sie aktuelle Beweise, zitieren Sie sie und enthalten Sie sich der Stimme, wenn das Korpus keine Antwort geben kann.

Das Korpus enthält absichtlich widersprüchliche Rückerstattungsrichtlinien. „refund-current“ ermöglicht Rückerstattungen für ungenutzte Abonnements innerhalb von 14 Tagen; „refund-old“ sagt 30 Tage und ist als archiviert markiert. Versand – aktuelle Staaten 3 bis 5 Werktage. cancel-current sagt, dass unter „Einstellungen“ > „Abrechnung“ gekündigt und der Zugriff bis zum Ende des bezahlten Zeitraums beibehalten werden soll. Keine Passage enthält eine Telefonnummer für den telefonischen Support. Eine Passage kann eine Antwort unterstützen, obwohl sie im Rahmen des Vertrags mit der aktuellen Police immer noch nicht förderfähig ist.

• Laden Sie die Passagen, Fragen, Antworten und Beschriftungen herunter (JSON)

Berechnen Sie separate Bewertungen, bevor Sie einen Fix auswählen

Die Beweisabdeckung zählt verantwortbare Fälle und ruft alle erforderlichen aktuellen Passagen ab: Baseline 2/3 und Kandidat 3/3. Schließen Sie die unbeantwortbare Telefonhülle aus diesem Nenner aus, da sie keine erforderliche Passage hat. Hierbei handelt es sich um eine Abdeckungsprüfung auf Fallebene, nicht um einen Kontextrückruf auf Chunk-Ebene. Es sagt nichts über irrelevante zusätzliche Blöcke oder Abrufgenauigkeit aus.

Die Kontextunterstützung zählt sachliche Antworten, deren Behauptungen alle durch die abgerufenen Passagen gestützt werden: Basislinie 2/4 und Kandidat 3/3. Die Enthaltung des Kandidaten wird von der Bewertung der sachlichen Antworten ausgeschlossen und stattdessen anhand der Aufgabenannahme beurteilt. Die veraltete Rückerstattungsantwort gilt in der Baseline als unterstützt, was zeigt, warum die Unterstützung allein nicht ausreicht. Hierbei handelt es sich um explizite, von Menschen erstellte binäre Bezeichnungen, nicht um Ragas-Scores oder automatisierte semantische Urteile.

Bei der Aufgabenannahme werden vollständige Antworten gezählt, die den Vertrag erfüllen, einschließlich richtiger Enthaltungen: Grundlinie 1/4 und Kandidat 4/4. Vergleichen Sie die Unterstützungsprozentsätze nicht ohne ihre sich ändernden Nenner. Das Arbeitsblatt enthält alle Bezeichnungen, sodass ein zweiter Prüfer einer einzelnen Entscheidung widersprechen kann, anstatt über einen unerklärten Durchschnitt zu diskutieren.

Die vorgeschlagenen Korrekturen umfassen eine Versionsfilterung für Rückerstattungen, eine strengere Anspruchsprüfung für die Stornierung und eine Regel zur Evidenzgenügsamkeit für fehlende Informationen. Testen Sie jede Änderung einzeln an einem größeren, zurückgehaltenen Satz, bevor Sie sie kombinieren. Vier bewusst konstruierte Fälle können keine tatsächliche Fehlerquote abschätzen, keine statistische Signifikanz feststellen oder eine Veröffentlichung rechtfertigen. Behalten Sie schwierige Gegenbeispiele bei, protokollieren Sie Meinungsverschiedenheiten der Gutachter und führen Sie die unveränderte Versandkontrolle nach jedem Eingriff erneut durch.

Häufige Fragen