So testen Sie den Abrufrückruf, ohne irrelevanten Kontext zu belohnen

Die Granularität der Fragen ändert, was ein Benchmark testet

HieraRAG untersucht, wie sich die Granularität synthetischer Fragen auf die Unterscheidung zwischen RAG-Konfigurationen auswirkt. Ragas identifiziert Kontexterinnerung und Kontextpräzision separat als Bewertungsdimensionen. Zusammengenommen bieten sie einen Grund, sowohl die Beweissicherheit als auch die Nützlichkeit des zurückgegebenen Materials zu prüfen.

Beweis: Wie feinkörnig sollte ein RAG-Benchmark sein? Ein hierarchisches Framework für die Generierung synthetischer Fragen [1]Liste der verfügbaren Metriken [2]

Erstellen Sie für jede Frage eine Nachweisanforderung

Schreiben Sie für jeden Fall die Fakten auf, die aus dem abgerufenen Kontext wiederhergestellt werden müssen. Ordnen Sie jede Tatsache einer oder mehreren akzeptablen Passagen zu. Wenn mehrere Quellen dieselbe Tatsache belegen können, ist keine willkürliche Dokumentkennung erforderlich. Wenn für eine Schlussfolgerung zwei Dokumente erforderlich sind, erfassen Sie beide Abhängigkeiten.

Verwenden Sie explizite Bezeichnungen für Beweise, die notwendig, unterstützend, aber optional, widersprüchlich oder irrelevant sind. Dies gibt Prüfern die Möglichkeit zu erklären, warum ein Abrufergebnis fehlschlägt. Eine allgemeine Bewertung der semantischen Ähnlichkeit kann eine nützliche Diagnose sein, sie beweist jedoch nicht, dass die erforderliche Ausnahme oder qualifizierende Bedingung gefunden wurde.

Vergleichen Sie den Abruf im Rahmen eines kontrollierten Budgets

Rubrex empfiehlt, den Fragensatz, den Korpus-Snapshot, die Zugriffsrichtlinie und den Generator konstant zu halten, wenn eine Retriever-Änderung untersucht wird. Notieren Sie das Durchgangslimit, das Token-Budget, die Reranking-Konfiguration und etwaige Kürzungen. Ein Vergleich zwischen zehn kurzen Passagen und zehn vollständigen Dokumenten erfasst nicht dieselbe Ressource.

Untersuchen Sie Abruffehler nach Kategorie: falsches Vokabular, fehlende Quelle, schlechte Segmentierung, Berechtigungen, veraltete Indizierung oder Rangfolge. Bei einigen handelt es sich nicht um Probleme mit dem Retriever-Modell. Wenn die erforderliche Richtlinie nie in den Index aufgenommen wurde, kann sie durch eine Änderung der Einbettungen nicht wiederhergestellt werden.

• Trennen Sie die Korpusabdeckung vom Abruferfolg innerhalb des Korpus.
• Erforderliche Beweiseinheiten zählen, wobei die Kennzeichnungsregel dokumentiert ist.
• Behalten Sie den tatsächlichen, nachgeschalteten Kontext bei, nicht nur die Suchergebnisse.
• Messen Sie das Antwortverhalten nach jeder erinnerungsorientierten Änderung.

Anschauliches Beispiel: Die Ausnahme lebt woanders

Ein Kunde fragt, ob ein Jahresplan nach einer Verlängerung gekündigt werden kann. Die allgemeinen Stornierungsbedingungen werden abgerufen, eine kontospezifische Ausnahme befindet sich jedoch in einem separaten autorisierten Dokument. Ein Bewerter der Themenrelevanz kann dem Ergebnis eine hohe Punktzahl geben, während die für die Antwort erforderlichen Beweise unvollständig bleiben.

Die Referenz sollte sowohl die allgemeine Regel als auch die anwendbare Ausnahme angeben. Wenn das Ausnahmedokument für diesen Benutzer nicht zugänglich ist, muss die erwartete Antwort diese Einschränkung ebenfalls berücksichtigen. Eine Abrufbewertung sollte niemals die Offenlegung eines Dokuments belohnen, zu dessen Einsicht der anfragende Benutzer nicht berechtigt ist.

Verwandeln Sie Fehlschläge in ein Retrieval-Experiment

Wählen Sie eine Intervention aus, die mit dem beobachteten Fehler zusammenhängt: Indexierungsabdeckung verbessern, Blockgrenzen anpassen, Überschriften beibehalten, Metadatenfilter hinzufügen oder Neuranking ändern. Messen Sie das gepaarte Ergebnis und untersuchen Sie neu aufgetretene Fehler. Behalten Sie die Originalbeispiele in der Regressionssuite bei, auch nachdem der unmittelbare Fehler behoben wurde.

Häufige Fragen