Di quanti esempi ha bisogno una valutazione LLM?

Cosa dice la ricerca sui campioni limitati

Una prestampa del 2025 studia la valutazione della capacità bayesiana quando i campioni sono limitati. Un documento di valutazione attiva del 2026 studia come la scelta di quali attività valutare influenzi l’efficienza del ranking. Questi riguardano impostazioni diverse; nessuno dei due fornisce un numero universale di esempi per un'applicazione aziendale.

Prova: Fiducia nella valutazione del modello linguistico di grandi dimensioni: un approccio bayesiano alle sfide a campione limitato [1]Valutazione attiva degli agenti generali: definizione del problema e confronto degli algoritmi di base [2]

Copertura separata dalla precisione

La copertura chiede se sono rappresentate le situazioni importanti. La precisione chiede quanto sia incerto un tasso stimato in un modello di campionamento. Un ampio insieme di domande facili quasi identiche può produrre un intervallo ristretto per una popolazione inutile. Un insieme più piccolo e volutamente vario può rivelare problemi di progettazione senza supportare un preciso tasso di fallimento della produzione.

Inizia con una mappa delle attività e delle conseguenze degli errori. Per un assistente documentale, ciò potrebbe includere domande a cui è possibile rispondere, prove mancanti, versioni contrastanti, documenti limitati e input lunghi. Etichettare i casi problematici mirati separatamente dal traffico campionato casualmente. La loro combinazione senza divulgazione rende difficile interpretare la percentuale complessiva.

Un calcolo di pianificazione, con ipotesi

Per un risultato binario indipendente campionato da una popolazione stabile, una formula di pianificazione approssimativa con approssimazione alla normale è n ≈ 1,96² × p × (1 − p) / e² per un intervallo del 95% con margine e. Utilizzando p = 0,5 ed e = 0,05 si ottengono circa 385 casi indipendenti. Questa aritmetica è un'illustrazione, non un'impostazione predefinita consigliata.

Gli insiemi di valutazione reali spesso violano questi presupposti. È possibile correlare più domande da un documento, prove ripetute con agenti e variazioni sintetiche. I guasti rari e gravi richiedono una progettazione diversa dalla stima di un tasso di successo comune. Per conteggi piccoli o tassi estremi, utilizzare un intervallo appropriato anziché fidarsi di questa approssimazione. Anche i confronti dei modelli necessitano di analisi accoppiate, non di due margini non correlati.

Esempio illustrativo: dieci tentativi non sono dieci clienti

Immagina 40 scenari di supporto, ciascuno generato dieci volte. Ci sono 400 output, ma solo 40 scenari distinti. I tentativi mostrano se il modello si comporta in modo coerente su tali attività. Non aggiungono la copertura di 360 nuove situazioni di clienti.

Mantenere un riepilogo a livello di scenario e un riepilogo a livello di prova. Se la decisione di rilascio riguarda la generalizzazione a nuove richieste, aggiungere scenari indipendenti. Se si tratta di un comportamento instabile su una richiesta critica nota, assegnare lì più prove ripetute. Documentare quale incertezza si intende ridurre con la spesa aggiuntiva.

Imposta la regola di arresto prima di guardare il vincitore

Decidere in anticipo quale miglioramento sarebbe importante, quali regressioni bloccano il rilascio e quale incertezza è accettabile. Un progetto pilota aiuta a stimare la prevalenza dei guasti e il disaccordo, dopodiché è possibile definire l'ambito di uno studio più ampio. Evitare di controllare ripetutamente i risultati e di fermarsi solo quando il candidato sembra migliore; ciò rende ingannevole l’apparente fiducia.

• Registra separatamente il conteggio delle attività indipendenti e il conteggio della generazione totale.
• Mantieni i punteggi stabiliti per le sfide separati dalle stime ponderate per il traffico.
• Include i conteggi per sezione accanto alle percentuali.
• Trasferire le decisioni statistiche consequenziali ad uno specialista appropriato.

Domande comuni