RAG-Zitate: Eine richtige Antwort kann immer noch die falschen Beweise zitieren

Was die Forschung vom September 2026 hinzufügt

Ein Preprint vom 19. September 2026 untersucht Zitate nach der Rationalisierung durch Vergleich eines anweisungsabgestimmten Modells mit verwandten RLVR-Agenten. Es wird berichtet, dass bessere Antwortbelohnungen die Zitiertreue in diesem Setup nicht verbessern konnten. Eine separate mechanistische Studie aus dem Jahr 2026 untersucht die Attribution in einem kontrollierten Modell und Datensatz. Beide warnen davor, ein beigefügtes Zitat mit nachgewiesener Beweisverwendung gleichzusetzen.

Beweis: Zurechenbare Postrationalisierung in RAG-Zitaten: Eine kontrollierte Reproduktion und ein RLVR-Vergleich [1]Wie zitieren LLMs? Eine mechanistische Interpretation der Attribution in der Retrieval-Augmented Generation [2]

Trennen Sie drei Zitierfragen

Der Support fragt, ob der zitierte Text den Anspruch rechtfertigt. Bei der Berichterstattung wird gefragt, ob die wesentlichen Ansprüche der Antwort angemessen zitiert werden. Bei der Kausaltreue geht es darum, ob die zitierten Beweise die Antwort beeinflusst haben und nicht nachträglich beigefügt wurden. Die ersten beiden können oft anhand der Ausgabe und der Passagen überprüft werden. Der dritte ist anhand einer Abschrift allein schwieriger festzustellen.

Quellenautorität und Zeit als separate Dimensionen aufzeichnen. Ein perfekt passendes Angebot aus einer veralteten Police kann den Benutzer dennoch irreführen. Ebenso kann ein Zitat am Ende eines Absatzes einen Satz unterstützen, während der Rest nicht unterstützt wird. Überprüfen Sie die Angaben auf Anspruchsebene, wenn diese Unterscheidungen von Bedeutung sind.

Erstellen Sie eine einsehbare Zitierrezension

Rubrex empfiehlt, eine Antwort in wesentliche Behauptungen aufzuteilen und jede mit der genauen unterstützenden Passage zu verknüpfen. Bezeichnen Sie unterstützte, widersprüchliche, unzureichende und nicht bewertbare Fälle. Behalten Sie genügend umgebenden Text bei, um zu vermeiden, dass eine isolierte Phrase als Beweis betrachtet wird. Erfassen Sie einen Quell-Snapshot oder eine stabile Version, sofern zulässig.

Ändern oder entfernen Sie für ein kontrolliertes Experiment eine unterstützende Passage und vergleichen Sie die resultierende Antwort. Solche Eingriffe können eine Abhängigkeit aufdecken, stellen aber keinen universellen Kausaltest dar: Andere Passagen oder Vorkenntnisse können die gleiche Behauptung stützen. Dokumentieren Sie die alternativen Beweise, bevor Sie die Änderung interpretieren.

Anschauliches Beispiel: Das Datum ändert die Bedeutung

Ein Assistent sagt, dass eine Funktion für jedes Konto verfügbar ist und verweist auf einen Versionshinweis. Der Hinweis beschreibt tatsächlich die Verfügbarkeit einer begrenzten Beta in einem früheren Monat. Der Link wird aufgelöst und der Funktionsname stimmt überein, aber die Behauptung übersteigt die Beweise.

Ein nützlicher Grader fragt, ob der zitierte Text den Umfang und das Datum des Rollouts unterstützt, nicht, ob die Antwort eine URL enthält. Das Korrekturexperiment erfordert möglicherweise eine explizite Extraktion der Berechtigung und des Zeitpunkts vor der Zusammenfassung. Vergleichen Sie die überarbeitete Antwort sowohl für Fälle mit eingeschränkter Einführung als auch für Fälle mit allgemeiner Verfügbarkeit.

Melden Sie, was getestet wurde, kein breites Vertrauenslabel

Veröffentlichen Sie Zitationsunterstützung, Berichterstattung, Anzahl fehlerhafter Referenzen und zeitliche Abweichungen separat. Zeigen Sie Beispiele für nicht unterstützte Behauptungen und erläutern Sie den Überprüfungsprozess. Wenn der kausale Nutzen nicht getestet wurde, sagen Sie es. Dies führt zu einer vertretbareren Qualitätsaussage als die Beschreibung einer Antwort als verifiziert, nur weil sie Referenzen enthält.

Untersuchen Sie eine LLM-Halluzination auf Anspruchsebene

Trennen Sie bei der Untersuchung einer LLM-Halluzination eine unbegründete Behauptung von einer Behauptung, die durch eine falsche oder veraltete Quelle gestützt wird. Behalten Sie in einem RAG-Workflow die genauen Passagen bei, die dem Generator zur Verfügung stehen, und identifizieren Sie, welche Passage (falls vorhanden) jede wichtige Behauptung stützt. Eine Zeichenfolge in Form eines Zitats reicht nicht aus, um zu beweisen, dass die Behauptung aus dem Dokument hervorgeht.

Rubrex empfiehlt, die Frage, den Anspruch, die zitierte Passage, das Quellendatum und die erforderliche Korrektur gemeinsam durchzugehen. Bei fehlenden Beweisen Rückhol- oder Enthaltungsverhalten prüfen; Wenn Beweise vorhanden sind, aber missbraucht werden, testen Sie den Schritt der Antwortgenerierung. Halten Sie die Diagnose so spezifisch, dass ein Folgeexperiment sie bestätigen oder widerlegen kann.

Häufige Fragen