Metriche di valutazione RAG: misurare il recupero e le risposte separatamente

Cosa coprono gli attuali quadri metrici

Ragas documenta metriche separate per precisione del contesto, richiamo del contesto, fedeltà, pertinenza della risposta e sensibilità al rumore. EnterpriseRAG, una prestampa dell'agosto 2026, esamina inoltre prove rumorose, lacune nelle conoscenze, fatti contrastanti e molteplici istruzioni. Quest’ultimo evidenzia le condizioni che un chiaro benchmark domanda-risposta può omettere.

Prova: Elenco delle metriche disponibili [1]EnterpriseRAG: benchmarking dell'aderenza e della robustezza delle istruzioni LLM in caso di recupero aziendale non ideale [2]

Scegli le metriche dall'errore che devi rilevare

La precisione del contesto chiede quanto il materiale recuperato è utile secondo la regola di pertinenza scelta. Il richiamo del contesto chiede se la prova richiesta è stata recuperata. La fedeltà riguarda il supporto delle affermazioni generate nel contesto fornito. La correttezza della risposta necessita di un riferimento specifico al compito o di un altro processo di giudizio difendibile. Queste non sono domande intercambiabili.

Definire cosa conta come passaggio rilevante prima del recupero del punteggio. Un passaggio può menzionare l'argomento giusto senza contenere l'eccezione richiesta per rispondere alla domanda. Allo stesso modo, una risposta può essere supportata da un contesto obsoleto ed essere comunque errata per la richiesta attuale dell’utente. Mantieni visibili la freschezza e l'autorità della fonte.

Costruire una matrice di valutazione diagnostica

Rubrex consiglia di congelare un'istantanea del corpus e di creare casi per prove sufficienti, prove mancanti, prove contraddittorie e aggiunte irrilevanti. Rivolgi la stessa domanda in queste condizioni in cui la trasformazione rimane realistica. Configurazione del recupero dei record e contesto finale fornito al generatore.

Valutare la risposta separatamente dal retriever. Un esperimento che modifica entrambi i componenti può essere utile per la decisione sul prodotto ma è difficile da diagnosticare. Innanzitutto misurare l'effetto end-to-end; quindi isolare i componenti per capire da dove proviene il cambiamento.

Esempio illustrativo: il richiamo aumenta, l'utilità diminuisce

Un retriever inizia a restituire più passaggi. Ora include la politica corretta più spesso, ma fornisce anche vecchie versioni con diciture simili. La copertura del recupero migliora mentre la risposta applica sempre più regole obsolete. Un dashboard che riporta solo il ricordo mancherebbe la regressione.

Ispezionare le versioni e l'autorità del documento, quindi testare una modifica di filtraggio o riclassificazione. Mantieni fissa la serie di domande e confronta il comportamento sia nel recupero che nella risposta finale. Non dare per scontato che ridurre il numero di passaggi sia sempre il rimedio; potrebbe rimuovere le prove necessarie per domande multidocumento.

Fai in modo che il rapporto spieghi i compromessi

Presentare i risultati per sezione, i fallimenti rappresentativi, la configurazione utilizzata e l'incertezza nei punteggi giudicati. Includere le violazioni dei vincoli critici accanto alle medie. Una lettura utile spiega quale modifica testare successivamente e quale risultato sosterrebbe o rifiuterebbe l'ipotesi. Non si ferma a un pannello metrico codificato a colori.

Eseguire una valutazione RAG dalla domanda all'evidenza

Per una prima valutazione RAG, creare un record contenente la domanda, la versione del corpus, i passaggi di supporto, i passaggi recuperati, la risposta finale e il comportamento previsto. Contrassegnare le domande a cui è possibile rispondere e quelle per le quali il sistema dovrebbe chiedere chiarimenti o astenersi. Ciò consente al revisore di distinguere una fonte mancante da una risposta che ignora una fonte già presente.

Rubrex consiglia di eseguire valutazioni RAG con un set di domande congelate prima di modificare la profondità di recupero, la suddivisione in blocchi o la richiesta di risposta. Confrontare il riferimento e il record del candidato per record. Ad esempio, se un candidato recupera la policy corretta ma cita un'eccezione obsoleta, mantieni sia il recupero riuscito che la risposta fallita. Concordare quali fallimenti bloccano la decisione prima di aggregare i punteggi.

Un esempio RAG di quattro casi che puoi esaminare

La scheda scaricabile contiene quattro brevi passaggi inventati e quattro domande. Sia la risposta di base che quella del candidato sono istantanee create; nessun LLM li ha generati. Illustrano come diagnosticare i guasti, non un miglioramento osservato in un sistema di produzione. Il contratto di accettazione è esplicito: utilizzare le prove attuali, citarle e astenersi quando il corpus non può rispondere.

Il corpus contiene deliberatamente politiche di rimborso contrastanti. rimborso-corrente consente rimborsi sugli abbonamenti non utilizzati entro 14 giorni; rimborso-vecchio dice 30 giorni ed è contrassegnato come archiviato. spedizione negli stati attuali da 3 a 5 giorni lavorativi. cancel-current dice di annullare in Impostazioni > Fatturazione e di mantenere l'accesso fino al termine del periodo pagato. Nessun passaggio contiene un numero di supporto telefonico. Un passaggio può supportare una risposta pur non essendo ammissibile ai sensi del contratto di politica attuale.

• Scarica i passaggi, le domande, le risposte e le etichette (JSON)

Calcolare punteggi separati prima di scegliere una correzione

La copertura delle prove conta i casi rispondenti recuperando ogni passaggio corrente richiesto: baseline 2/3 e candidato 3/3. Escludere da questo denominatore la custodia del telefono senza risposta perché non ha alcun passaggio obbligatorio. Questo è un controllo di copertura a livello di caso, non un richiamo del contesto a livello di blocco. Non dice nulla su blocchi extra irrilevanti o sulla precisione del recupero.

Il supporto del contesto conta le risposte fattuali le cui affermazioni sono tutte supportate dai passaggi recuperati: linea di base 2/4 e candidato 3/3. L'astensione del candidato viene esclusa dal punteggio della risposta fattuale e giudicata invece in base all'accettazione del compito. La risposta obsoleta sul rimborso conta come supportata nello scenario di base, il che spiega perché il supporto da solo è insufficiente. Si tratta di etichette binarie esplicite create da esseri umani, non di punteggi Raga o di giudizi semantici automatizzati.

L'accettazione dell'incarico conta le risposte complete conformi al contratto, inclusa l'astensione corretta: baseline 1/4 e candidato 4/4. Non confrontare le percentuali di supporto senza che i loro denominatori cambino. Il foglio di lavoro fornisce ogni etichetta in modo che un secondo revisore possa non essere d'accordo con una decisione individuale piuttosto che discutere una media inspiegabile.

Le correzioni proposte riguardano il filtraggio delle versioni per i rimborsi, un controllo più rigoroso della richiesta di passaggio per l'annullamento e una regola di sufficienza delle prove per le informazioni mancanti. Testare ogni modifica in modo indipendente su un set più grande prima di combinarli. Quattro casi costruiti deliberatamente non possono stimare un tasso di errore reale, stabilire un significato statistico o giustificare una pubblicazione. Conserva i controesempi difficili, registra i disaccordi dei revisori ed esegui nuovamente il controllo della spedizione invariato dopo ogni intervento.

Domande comuni