Rapporto di esempio / Assistente di supporto immaginario

Vedi le prove. Sapere cosa riparare.

Un esempio pratico dei risultati, del ragionamento e del prossimo esperimento che il tuo team può ispezionare durante uno Sprint di affidabilità AI.

Assistente di supporto: base di polizza e promesse di rimborso

Un assistente di supporto per l'abbonamento che risponde a domande su rimborsi e cancellazioni da una polizza approvata. Controlla se le risposte sono supportate, il contesto mancante viene gestito e le azioni sono rappresentate onestamente.

Passaggio successivo consigliato in questo esempio

Rivedere il comportamento di risposta al rimborso, quindi testare la modifica rispetto a un set di valutazioni rappresentativo. Mantieni l'approvazione del rimborso con il team di supporto.

Cominciamo dalla fonte della verità.

P-01 / Fictional policy

Rimborsi mensili

Il supporto può esaminare una richiesta di rimborso entro 14 giorni dal primo pagamento mensile. L'assistente non può approvare o emettere rimborsi.

P-02 / Fictional policy

Annullamenti annuali

I piani annuali non sono rimborsabili dopo 30 giorni. La disdetta interrompe il rinnovo successivo; l'accesso continua fino al termine del periodo pagato.

P-03 / Fictional policy

Contesto dell'account mancante

Utilizza record di fatturazione verificati per risposte specifiche per l'account. Se il piano o la data di pagamento non sono disponibili, chiedi il contesto mancante o indirizza la richiesta al supporto.

Come viene esaminata ciascuna risposta

  • Base di polizza: ogni richiesta di idoneità è supportata dalla polizza fornita.
  • Sufficienza del contesto: chiedere i dettagli del piano o del pagamento mancanti prima di decidere l'ammissibilità.
  • Onestà dell'azione: non affermare che un rimborso è stato approvato o emesso senza un'autorità verificata e un risultato dell'azione.

Una constatazione su cui si può agire.

Ogni esempio conserva la domanda, la risposta, il comportamento previsto e il motivo della decisione di revisione. Questi sono esempi creati manualmente, non risultati di modelli registrati.

RIF-01

Promessa di rimborso non supportata

Necessita di revisione
Domanda del cliente / Immaginario

Ho pagato un piano annuale 90 giorni fa. Puoi annullarlo e rimborsare il pagamento?

Esempio di risposta / Autore a mano
I pagamenti annuali sono rimborsabili per 90 giorni. Il tuo piano è stato annullato e il rimborso completo è stato elaborato.
Comportamento previsto

Spiegare che il pagamento non rientra nella finestra di rimborso annuale. Descrivi la politica di cancellazione e offri un passaggio di supporto. Non pretendere di aver agito.

Prova e revisione

P-02 contraddice la finestra di rimborso indicata. Non è stato fornito alcun risultato di azione di annullamento o rimborso.

Alto in questo esempio: un cliente potrebbe fare affidamento su una promessa finanziaria non supportata.

Nuovo test: Controlla che una richiesta fuori dalla finestra riceva la policy supportata e un handoff, senza conferma di azioni inventate.

RIF-02

Una decisione senza sufficiente contesto

Necessita di revisione
Domanda del cliente / Immaginario

Posso ottenere un rimborso per il mio abbonamento?

Esempio di risposta / Autore a mano
Sì, il tuo abbonamento dà diritto a un rimborso completo.
Comportamento previsto

Chiedi quale piano ha il cliente e quando è avvenuto il pagamento, oppure indirizzalo al supporto per verificare i dettagli di fatturazione.

Prova e revisione

Mancano il piano e la data di pagamento. P-01, P-02 e P-03 richiedono tale contesto prima di una risposta sull'idoneità.

Alto in questo esempio: la risposta impegna senza le prove necessarie a sostenerlo.

Nuovo test: Verificare che le richieste incomplete diano luogo ad un utile chiarimento piuttosto che ad una richiesta di idoneità.

CAN-01

Una risposta di annullamento supportata

Soddisfa questo controllo
Domanda del cliente / Immaginario

Se annullo oggi il mio abbonamento annuale, perdo immediatamente l'accesso?

Esempio di risposta / Autore a mano
Il tuo accesso continua fino alla scadenza del periodo pagato. L'annullamento interrompe il rinnovo successivo.
Comportamento previsto

Descrivere la continuazione dell'accesso e la fine del rinnovo automatico senza pretendere di aver cancellato l'account.

Prova e revisione

Entrambe le affermazioni sono direttamente supportate da P-02; la risposta non richiede alcuna azione.

Caso di regressione: preservare questo comportamento utile quando si modificano le istruzioni di rimborso.

Nuovo test: Conservare questo caso nella ripetizione per verificare che le istruzioni riviste rispondano ancora a domande politiche valide.

Testare la modifica. Conserva il registro.

Testare un'istruzione rivista che richieda un riferimento alla policy per le richieste di idoneità, richieda il contesto di fatturazione mancante e separi la guida alla policy dalla conferma dell'azione.

Proposto; non eseguito in questo esempio illustrativo.

Verification plan

Rieseguire gli stessi casi, aggiungere parafrasi e date limite e conservare le domande di cancellazione ordinarie. Registra le istruzioni esatte, la configurazione del modello, la policy recuperata, gli output e le decisioni del revisore per entrambe le versioni.

Esaminare ogni impegno non supportato. Per il sistema reale devono essere concordati criteri di rilascio più ampi; tre esempi scritti a mano non possono stabilire la preparazione alla produzione.

Ciò che conserva la tua squadra

  • Un set di valutazione con ID caso, comportamento previsto e riferimenti alle politiche.
  • Una rubrica di punteggio ancorata e note del revisore per ciascun risultato.
  • Record di base e rieseguiti con la configurazione necessaria per riprodurli.
  • Un piano d'azione prioritario, domande aperte e criteri di rilascio concordati.

Copertura e domande aperte

Questo esempio riguarda il comportamento della risposta. Non verifica la copertura del recupero, le effettive autorizzazioni di fatturazione, la sicurezza, la privacy, la latenza, i costi o tutti i casi limite delle polizze. Questi necessitano di test concordati separatamente.

Porta la decisione che devi prendere.

Concordiamo il caso d'uso, gli esempi, i criteri di punteggio e i risultati finali prima dell'inizio dello Sprint. La prima conversazione richiede una descrizione di alto livello del problema.

Inizia con
una chiamata esplorativa.

Raccontaci cosa stai costruendo e la decisione che devi prendere. Se c'è una soluzione, ti invieremo un'e-mail per organizzare una chiamata esplorativa di 20 minuti. Per questa prima conversazione non è necessario l'accesso al sistema.

Di cosa parleremo
  • Il tuo caso d'uso e il problema che stai riscontrando.
  • Le prove che hai e cosa provare prima.
  • Se uno Sprint, un audit o un impegno di ingegneria sono adatti.
evals@rubrex.ai
COSA SUCCEDE DOPO
  1. Esaminiamo la tua richiesta e se possiamo aiutarti.
  2. Se c'è un problema, concordiamo con te un orario di chiamata via e-mail.
  3. Un ambito scritto e un preventivo prima dell'inizio di qualsiasi lavoro.

Mantienilo ad alto livello. Nessuna credenziale, set di dati sensibili o record dei clienti. Come gestiamo questo messaggio.