Come testare il recupero del ricordo senza premiare il contesto irrilevante

La granularità delle domande cambia ciò che un benchmark verifica

HieraRAG studia come la granularità delle domande sintetiche influisce sulla discriminazione tra le configurazioni RAG. Ragas identifica separatamente il richiamo del contesto e la precisione del contesto come dimensioni di valutazione. Insieme forniscono una ragione per esaminare sia la copertura delle prove che l'utilità del materiale restituito.

Prova: Quanto dovrebbe essere dettagliato un benchmark RAG? Un quadro gerarchico per la generazione di domande sintetiche [1]Elenco delle metriche disponibili [2]

Creare un requisito di prova per ogni domanda

Per ogni caso, scrivere i fatti che devono essere recuperabili dal contesto recuperato. Associa ogni fatto a uno o più passaggi accettabili. Laddove più fonti possano supportare lo stesso fatto, non è necessario un identificatore di documento arbitrario. Se una conclusione richiede due documenti, registrare entrambe le dipendenze.

Utilizzare etichette esplicite per prove necessarie, di supporto ma facoltative, contraddittorie o irrilevanti. Ciò offre ai revisori un modo per spiegare perché un risultato di recupero non riesce. Un punteggio generale di somiglianza semantica può essere un utile strumento diagnostico, ma non stabilisce che sia stata trovata l’eccezione o la condizione qualificante richiesta.

Confronta il recupero con un budget controllato

Rubrex consiglia di mantenere costanti il ​​set di domande, l'istantanea del corpus, la policy di accesso e il generatore quando si indaga su una modifica del retriever. Registra il limite di passaggio, il budget del token, la configurazione di riclassificazione e qualsiasi troncamento. Un confronto tra dieci brevi brani e dieci interi documenti non controlla la stessa risorsa.

Esamina i tentativi di recupero mancati per categoria: vocabolario errato, fonte mancante, segmentazione scarsa, autorizzazioni, indicizzazione o classificazione obsoleta. Alcuni non sono problemi del modello retriever. Se la policy necessaria non è mai stata inserita nell'indice, la modifica degli incorporamenti non la recupererà.

• Separare la copertura del corpus dal successo del recupero all'interno del corpus.
• Contare le unità di prova richieste, con la regola di etichettatura documentata.
• Conserva il contesto effettivo inviato a valle, non solo i risultati della ricerca.
• Misurare il comportamento di risposta dopo ogni cambiamento orientato al richiamo.

Esempio illustrativo: l'eccezione vive altrove

Un cliente chiede se è possibile annullare un piano annuale dopo un rinnovo. Viene recuperata la politica di cancellazione generale, ma un'eccezione specifica dell'account si trova in un documento autorizzato separato. Un valutatore in base alla pertinenza dell'argomento può assegnare al risultato un punteggio elevato mentre le prove necessarie per la risposta rimangono incomplete.

Il riferimento deve specificare sia la regola generale che l'eccezione applicabile. Se il documento di eccezione è inaccessibile a questo utente, anche la risposta attesa deve rispettare tale vincolo. Una valutazione di recupero non dovrebbe mai premiare l'esposizione di un documento che l'utente richiedente non ha diritto di vedere.

Trasforma gli errori mancati in un esperimento di recupero

Selezionare un intervento legato all'errore osservato: migliorare la copertura dell'indicizzazione, regolare i limiti dei blocchi, preservare le intestazioni, aggiungere filtri di metadati o modificare il riordinamento. Misurare il risultato accoppiato ed esaminare i fallimenti appena introdotti. Conserva gli esempi originali nella suite di regressione anche dopo aver corretto il problema immediato.

Domande comuni