Valutazione dell'agente AI: risultati dei test, tracce ed esecuzioni ripetute

L'affidabilità è più ampia del successo del compito

Una prestampa del febbraio 2026 propone dimensioni di affidabilità tra cui coerenza, robustezza, prevedibilità e sicurezza. La guida alla valutazione degli agenti di Anthropic distingue anche i controlli dei risultati dalla classificazione delle trascrizioni. Si tratta di obiettivi utili per progettare una suite di test, non di una garanzia che una suite copra ogni rischio di implementazione.

Prova: Verso una scienza dell'affidabilità degli agenti IA [1]Valutazioni demistificanti per agenti IA [2]

Definire lo stato finale autorizzato

Descrivere cosa può cambiare, cosa deve rimanere invariato e cosa costituisce completamento. Per un agente di pianificazione, ciò potrebbe significare creare esattamente un evento con i partecipanti richiesti lasciando intatti gli eventi non correlati. Per un agente di codifica, può includere test, comportamento degli artefatti e vincoli del repository.

Inizializza ogni prova da uno stato noto. Se le analisi precedenti lasciano dei dati, i risultati successivi potrebbero misurare la contaminazione dell'ambiente di test piuttosto che la qualità dell'agente. Registra le versioni dello strumento, le autorizzazioni, le dipendenze esterne e qualsiasi risposta simulata necessaria per riprodurre l'attività.

Utilizzare controlli separati sui risultati e sui processi

Rubrex raccomanda affermazioni esatte laddove il compito lo consente. Il registro esisteva? Il suo identificatore era corretto? L'operazione è stata duplicata? Utilizzare la revisione della traccia per i requisiti che dipendono dalla sequenza, dall'autorizzazione o dalla comunicazione. Evitare di richiedere un percorso utensile esatto quando diversi percorsi validi soddisfano il contratto.

Conservare le esecuzioni incomplete, i timeout e i tentativi nel record di valutazione. Un’imbracatura che elimina i fallimenti può gonfiare il successo apparente. Quando è coinvolto un simulatore utente, valuta anche il comportamento del simulatore: potrebbe rivelare informazioni nascoste, accettare un risultato errato o rendere il compito più semplice dell’utilizzo reale.

Esempio illustrativo: un messaggio riuscito, un record assente

Un agente afferma di aver creato un ticket di supporto. La richiesta dello strumento non è riuscita e non esiste alcun ticket. Un valutatore solo linguistico potrebbe premiare il messaggio conciso di completamento. Un controllo basato sullo stato identifica correttamente il risultato non riuscito.

Ora prova un timeout in cui il ticket è stato creato ma la risposta è andata persa. Il comportamento corretto potrebbe essere quello di riconciliare lo stato prima di riprovare. Entrambi i casi sembrano simili in una traccia parziale, ma richiedono azioni di ripristino diverse. Includili come scenari separati e verifica se l'agente è in grado di distinguere le prove disponibili.

Segnala un profilo di affidabilità

Mostra completamento, modifiche non autorizzate, azioni duplicate, successo del ripristino e variabilità tra le prove. Includere l'utilizzo delle risorse e tracce di errori rappresentative. Un candidato può completare più attività diventando meno prevedibile o causando fallimenti più gravi; segnalare esplicitamente tale compromesso.

• Congelare lo stato iniziale e ripristinarlo tra una prova e l'altra.
• Definire percorsi alternativi accettabili per il completamento.
• Interruzioni del test e guasti parziali dell'utensile.
• Mantenere visibili i guasti gravi anche quando la media migliora.

Un quadro di valutazione dell'agente AI che puoi ispezionare

Un quadro pratico di valutazione dell'agente necessita di una definizione del compito, di un ambiente ripristinabile, di prove ripetute, di controlli dei risultati e di una traccia che colleghi le azioni ai risultati. Per un agente di supporto, definire le modifiche ai record consentite prima dell'esecuzione. Successivamente, esamina il record effettivo e la conversazione. Conservare le prove fallite e interrotte in modo che il rapporto rifletta il lavoro tentato.

Per le metriche di valutazione dell'agente AI, Rubrex consiglia di segnalare il completamento delle attività insieme a modifiche non autorizzate, azioni duplicate, risultati di ripristino e costo per attività completata. Indica il conteggio delle prove per ciascuna attività e mostra i risultati incoerenti individualmente. La valutazione agentica dovrebbe anche verificare un guasto dello strumento e una richiesta ambigua: potrebbe essere necessario arrestare il sistema o chiedere chiarimenti anziché forzare il completamento.

Domande comuni