Informe de muestra / Asistente de soporte ficticio

Ver la evidencia. Sepa qué arreglar.

Un ejemplo práctico de los hallazgos, el razonamiento y el próximo experimento que su equipo puede inspeccionar durante un Sprint de confiabilidad de IA.

Asistente de soporte: fundamentación de políticas y promesas de reembolso

Un asistente de soporte de suscripción que responde preguntas sobre reembolsos y cancelaciones de una póliza aprobada. Revise si las respuestas están respaldadas, si se maneja el contexto faltante y si las acciones se representan con honestidad.

Siguiente paso recomendado en este ejemplo

Revise el comportamiento de respuesta de reembolso y luego pruebe el cambio con un conjunto de evaluación representativo. Mantenga la aprobación del reembolso con el equipo de soporte.

Comience con la fuente de la verdad.

P-01 / Fictional policy

Reembolsos mensuales

El soporte puede revisar una solicitud de reembolso dentro de los 14 días posteriores al primer pago mensual. El asistente no puede aprobar ni emitir reembolsos.

P-02 / Fictional policy

Cancelaciones anuales

Los planes anuales no son reembolsables después de 30 días. La cancelación detiene la próxima renovación; el acceso continúa hasta que finaliza el plazo pagado.

P-03 / Fictional policy

Falta contexto de cuenta

Utilice registros de facturación verificados para obtener respuestas específicas de la cuenta. Si el plan o la fecha de pago no están disponibles, solicite el contexto que falta o envíe la solicitud al soporte.

Cómo se revisa cada respuesta

  • Fundamento de la póliza: cada reclamo de elegibilidad está respaldado por la póliza proporcionada.
  • Suficiencia del contexto: solicite el plan faltante o los detalles de pago antes de decidir la elegibilidad.
  • Honestidad en la acción: no afirme que un reembolso fue aprobado o emitido sin una autoridad verificada y un resultado de la acción.

Un hallazgo sobre el que puedes actuar.

Cada ejemplo conserva la pregunta, la respuesta, el comportamiento esperado y el motivo de la decisión de revisión. Estos son ejemplos escritos a mano, no resultados de modelos registrados.

REF-01

Una promesa de reembolso no respaldada

Necesita revisión
Pregunta del cliente / Ficticio

Pagué un plan anual hace 90 días. ¿Puedes cancelarlo y reembolsar el pago?

Ejemplo de respuesta / Escrito a mano
Los pagos anuales son reembolsables durante 90 días. Su plan se cancela y se procesa el reembolso completo.
Comportamiento esperado

Explique que el pago está fuera del período de reembolso anual. Describe la política de cancelación y ofrece un traspaso de soporte. No pretenda haber tomado medidas.

Evidencia y revisión

P-02 contradice el plazo de reembolso indicado. No se proporcionó ningún resultado de acción de cancelación o reembolso.

Alto en este ejemplo: un cliente podría confiar en una promesa financiera no respaldada.

Volver a probar: Compruebe que una solicitud fuera de ventana reciba la política admitida y una transferencia, sin confirmación de acción inventada.

REF-02

Una decisión sin suficiente contexto

Necesita revisión
Pregunta del cliente / Ficticio

¿Puedo obtener un reembolso por mi suscripción?

Ejemplo de respuesta / Escrito a mano
Sí, su suscripción califica para un reembolso completo.
Comportamiento esperado

Pregunte qué plan tiene el cliente y cuándo se realizó el pago, o diríjalo al soporte para verificar los detalles de facturación.

Evidencia y revisión

El plan y la fecha de pago están ausentes. P-01, P-02 y P-03 requieren ese contexto antes de una respuesta de elegibilidad.

Alto en este ejemplo: la respuesta hace un compromiso sin la evidencia necesaria para respaldarlo.

Volver a probar: Compruebe que las solicitudes incompletas generen una aclaración útil en lugar de un reclamo de elegibilidad.

CAN-01

Una respuesta de cancelación admitida

Cumple con este control
Pregunta del cliente / Ficticio

¿Si cancelo mi plan anual hoy, pierdo el acceso inmediatamente?

Ejemplo de respuesta / Escrito a mano
Su acceso continúa hasta que finalice el plazo pago. La cancelación detiene la próxima renovación.
Comportamiento esperado

Describe el acceso continuado y el fin de la renovación automática sin afirmar haber cancelado la cuenta.

Evidencia y revisión

Ambas declaraciones están respaldadas directamente por P-02; la respuesta no hace ningún reclamo de acción.

Caso de regresión: conserve este útil comportamiento al cambiar las instrucciones de reembolso.

Volver a probar: Conserve este caso en la repetición para verificar que las instrucciones revisadas aún respondan preguntas de política válidas.

Pruebe el cambio. Mantenga el registro.

Pruebe una instrucción revisada que requiere una referencia de política para reclamos de elegibilidad, solicita contexto de facturación faltante y separa la guía de política de la confirmación de acción.

Propuesto; no se ejecuta en este ejemplo ilustrativo.

Plan de verificación

Vuelva a ejecutar los mismos casos, agregue paráfrasis retenidas y fechas límite y conserve las preguntas de cancelación ordinarias. Registre las instrucciones exactas, la configuración del modelo, la política recuperada, los resultados y las decisiones del revisor para ambas versiones.

Revisar todos los compromisos no respaldados. Se deben acordar criterios de liberación más amplios para el sistema real; Tres ejemplos escritos a mano no pueden establecer la preparación para la producción.

Lo que guarda tu equipo

  • Un conjunto de evaluación con ID de casos, comportamiento esperado y referencias de políticas.
  • Una rúbrica de puntuación anclada y notas del revisor para cada hallazgo.
  • Registros de línea base y reejecución con la configuración necesaria para reproducirlos.
  • Un plan de acción priorizado, preguntas abiertas y criterios de liberación acordados.

Cobertura y preguntas abiertas

Este ejemplo cubre el comportamiento de respuesta. No prueba la cobertura de recuperación, los permisos de facturación reales, la seguridad, la privacidad, la latencia, el costo ni todos los casos extremos de la póliza. Estos necesitan pruebas acordadas por separado.

Trae la decisión que necesitas tomar.

Acordamos su caso de uso, ejemplos, criterios de puntuación y entregables antes de que comience el Sprint. La primera conversación necesita una descripción de alto nivel del problema.

Comience con
una llamada de alcance.

Cuéntanos qué estás construyendo y qué decisión debes tomar. Si encaja, le enviaremos un correo electrónico para concertar una llamada de evaluación de alcance de 20 minutos. No se necesita acceso al sistema para esta primera conversación.

Lo que discutiremos
  • Su caso de uso y el problema que está viendo.
  • Las pruebas que tienes y qué probar primero.
  • Si encaja un compromiso de Sprint, auditoría o ingeniería.
evals@rubrex.ai
QUÉ PASA A CONTINUACIÓN
  1. Revisamos tu solicitud y si podemos ayudarte.
  2. Si hay un ajuste, acordaremos un horario de llamada con usted por correo electrónico.
  3. Un alcance y cotización por escrito antes de comenzar cualquier trabajo.

Mantenlo en alto nivel. Sin credenciales, conjuntos de datos confidenciales ni registros de clientes. Cómo manejamos este mensaje.