Costruisci un set di dati di valutazione LLM che rifletta il lavoro reale

Lavori recenti rendono la struttura del set di dati una scelta progettuale

HieraRAG, un preprint di giugno 2026, indaga la granularità delle domande sintetiche nei benchmark RAG. Inquadra la granularità come qualcosa da valutare all'interno di una specifica configurazione di recupero. Ciò consente di chiedere quali distinzioni esponga un set di dati piuttosto che presumere che più domande creino automaticamente un benchmark migliore.

Prova: Quanto dovrebbe essere dettagliato un benchmark RAG? Un quadro gerarchico per la generazione di domande sintetiche [1]

I dati di valutazione e i dati di formazione servono a decisioni diverse

Gli esempi di formazione aiutano a cambiare il comportamento di un modello. Un set di dati di valutazione verifica un comportamento definito rispetto a prove di riferimento o criteri di punteggio. Rubrex consiglia di mantenere i casi utilizzati per mettere a punto suggerimenti o modelli separati da un insieme di decisioni in sospeso. Se il team studia un test fallito e modifica il sistema per superarlo, conserva quel caso come controllo di regressione, ma utilizza nuovi casi tenuti fuori per valutare se il cambiamento si generalizza.

Gli esempi sintetici possono aiutare a coprire input insoliti, prove mancanti o limiti di autorizzazione. Confronta ogni domanda e il risultato previsto con il materiale originale prima di accettarlo. Registra come è stato creato l'esempio e quale errore rappresenta. Un ampio corpus di formazione o una raccolta di coppie domanda-risposta generate automaticamente non costituiscono, di per sé, un insieme di valutazione convalidato.

Definire il record prima di raccogliere esempi

Rubrex consiglia un record del caso con un identificatore immutabile, input, contesto consentito, comportamento previsto, categoria di origine, data di raccolta e stato del revisore. Per un flusso di lavoro che utilizza strumenti, includere lo stato iniziale e lo stato finale autorizzato. Per la scrittura aperta, usa una rubrica ancorata invece di richiedere una frase esatta.

Registra se il caso proviene dalla produzione, da un'escalation di supporto, da uno specialista di dominio o da una generazione sintetica. Preservare una descrizione pubblica sicura della sua origine anche quando l'interazione grezza non può essere conservata. Un set di dati non dovrebbe acquisire silenziosamente informazioni sensibili solo perché è conveniente l'esportazione di un registro.

Costruisci la copertura deliberatamente

Mappare il prodotto in sezioni significative prima di scrivere le istruzioni. Gli esempi includono il tipo di attività, l'età del documento, la lunghezza dell'input, la disponibilità delle prove, la lingua e l'autorizzazione dell'utente. Evitare il prodotto cartesiano completo quando produce combinazioni che non possono verificarsi. Dai priorità alle combinazioni con esposizione reale o a un'ipotesi di fallimento specifica.

Per i casi sintetici, specificare il comportamento da sottolineare e fare in modo che una fase di revisione separata verifichi che l'input sia plausibile e che il riferimento sia supportato. Un modello può generare sia una domanda errata che una risposta errata corrispondente. L'accordo tra questi due artefatti non è una convalida indipendente.

Esempio illustrativo: domande politiche con versione

Un assistente previdenziale riceve domande su una polizza attuale e su una polizza archiviata. Crea casi distinti per domande attuali, domande esplicitamente storiche e domande senza data. Il comportamento previsto è diverso: utilizzare la regola attuale, rispondere storicamente o chiarire la data applicabile. Cambiare semplicemente i nomi in un semplice esempio mancherebbe questa distinzione.

Mantieni questi casi collegati alle versioni della policy in modo che un vero aggiornamento della policy non sembri essere una regressione del modello. Eliminare le aspettative non valide attraverso la revisione, con una spiegazione, anziché eliminare i casi difficili dal set di dati.

Tratta il set di dati come un artefatto del prodotto gestito

Separare un set di sviluppo da un set di decisioni e registrare l'accesso a ciascuno. Aggiungi nuovi casi di errore tramite una coda di revisione leggera. Quando riporti un punteggio, identifica la versione del set di dati e spiega le modifiche sostanziali. Confrontando il risultato del mese scorso su un mix di attività con il risultato di questo mese su un altro può confondere i cambiamenti del traffico con il miglioramento del modello.

Domande comuni