Elección de un marco de evaluación de LLM: cuatro opciones y un plan de prueba

Una lista corta basada en tareas de cuatro herramientas de evaluación

Esta comparación refleja la documentación oficial verificada el 3 de octubre de 2026. Las capacidades documentadas a continuación identifican puntos de partida plausibles; No ejecutamos un punto de referencia del marco cara a cara. Estas herramientas se superponen y las opciones recomendadas son los criterios editoriales de Rubrex. Fije versiones y verifique las funciones específicas que necesita durante una prueba.

Comience con su fracaso más difícil en lugar de con la lista de características más larga. Un equipo de recuperación necesita visibilidad de las pruebas faltantes o irrelevantes. Un equipo de aplicaciones necesita reproducir un contrato fallido en su conjunto de pruebas. Es posible que un equipo de atención necesite comparar muchas combinaciones de atención y proveedores. Ninguna de esas necesidades establece que un marco sea mejor para cada organización.

Evidencia: DeepEval: introducción [1]Documentación Giskard OSS [2]Ragas: Empezar [3]Aviso: Introducción [4]

Realizar una prueba compartida con casos inspeccionables.

Utilice la hoja de trabajo RAG de cuatro casos vinculada como un pequeño accesorio inicial. Contiene políticas de reembolso actuales y archivadas, pasajes de envío y cancelación, y una pregunta que el corpus no puede responder. Son visibles las entradas, la evidencia de referencia, las instantáneas de respuestas escritas y las etiquetas binarias. Es intencionalmente lo suficientemente pequeño como para inspeccionarlo a mano; no es un punto de referencia representativo ni evidencia del desempeño del modelo.

Primero importe las instantáneas de las respuestas creadas en cada candidato sin generar respuestas nuevas. Adapte el formato del caso conservando las identificaciones, los pasajes recuperados y las reglas de aceptación. Pregunte si el marco puede retener el motivo de una falla y distinguir la evidencia actual faltante de una afirmación sin fundamento. Cuando una métrica requiera un modelo de juez, registre su proveedor, identificador de modelo, solicitud y parámetros. No vuelva a etiquetar una métrica del marco como nuestra medida de hoja de cálculo binaria.

Luego conecte el mismo adaptador de aplicación y genere nuevas respuestas en un conjunto separado. Mantenga el corpus, las preguntas, los mensajes del sistema, la configuración del modelo y la configuración de recuperación fijos entre las herramientas. Guarde los resultados sin procesar antes de calificar. De lo contrario, no se podrá saber si la diferencia se debe a la aplicación, al muestreo, a un adaptador o al propio evaluador. Repita juicios no deterministas e inspeccione los desacuerdos con una rúbrica de propiedad humana.

• Descargue la hoja de trabajo RAG sintética compartida (JSON)

Utilice puertas de aceptación explícitas para la prueba.

Acuerde puertas no negociables antes de explorar la interfaz. Un marco útil debe identificar exactamente el caso fallido, preservar evidencia suficiente para reproducirlo y adaptarse a los requisitos de manejo de datos del equipo. Luego compare el esfuerzo necesario para mantener un adaptador, comprenda una puntuación y transmita una falla a un ingeniero. Registre el esfuerzo observado durante su prueba en lugar de inventar una clasificación de tiempo de preparación.

Exporte ID de casos, entradas, pasajes recuperados o seguimientos de herramientas, respuestas sin procesar, comportamiento esperado, puntuaciones, motivos de puntuación y configuración de ejecución. Compruebe si puede inspeccionar esa exportación sin la interfaz alojada y volver a ejecutar un caso desde ella. Una captura de pantalla de una puntuación agregada no es un registro de evaluación portátil. Trate las exportaciones faltantes como un hallazgo de prueba en lugar de asumir que cada herramienta admite un formato idéntico.

Verifique la ruta de datos real y el costo de evaluación

Una herramienta de evaluación ejecutada localmente aún puede llamar a una aplicación, modelo o juez remoto. Los informes alojados opcionales pueden introducir otro destino. Inspeccione la configuración elegida, utilice datos sintéticos en la prueba inicial y decida qué campos pueden abandonar su entorno. No infiera garantías de retención, procesamiento regional o control de acceso de la frase código abierto; verifique los puntos finales y los acuerdos que se aplican a su implementación.

Realice un seguimiento de las llamadas de solicitud y de los evaluadores por separado. Incluya reintentos, casos de prueba generados, votos repetidos de los jueces y el almacenamiento necesario para los seguimientos. Utilice sus registros de ejecución observados para estimar el costo por ejecución de evaluación aceptada. La superposición de funciones, los cambios en los planes comerciales y la facturación del proveedor del modelo hacen que una afirmación no calificada de herramienta más barata no sea confiable. Esta guía no publica deliberadamente una tabla de clasificación de precios o rendimiento no probada.

Un ejemplo de decisión de selección.

Para un asistente de soporte de Python cuyo principal error es responder a partir de políticas recuperadas obsoletas, una lista inicial razonable es Ragas y DeepEval. La primera pregunta del ensayo es si se pueden aislar los problemas de evidencia; la segunda es si los mismos fallos se convierten en pruebas de aplicación mantenibles. Este es un ejercicio de selección propuesto, no un hallazgo de que cualquiera de las herramientas gane. Conserve ambos si sirven para trabajos distintos y la carga de mantenimiento está justificada.

Para un equipo que compara combinaciones de aviso/proveedor, comience una prueba de Promptfoo; para un equipo que prioriza escenarios de comportamiento y vulnerabilidad, incluya a Giskard. Aplique las mismas puertas de exportación y datos en cada caso. Elija solo después de registrar lo que estableció la prueba, lo que se desconoce y quién es el propietario de la suite. Si ninguno de los candidatos puede conservar la evidencia requerida, un pequeño corredor personalizado puede ser el próximo experimento correcto. La decisión de construir versus comprar es más amplia que esta lista corta de marcos.

Preguntas comunes