Enrutamiento de modelos: menor costo de IA sin ocultar pérdidas de calidad

Definir rutas con evidencia observable.

Una solicitud que parece breve no es necesariamente fácil. Una pregunta de una sola línea puede requerir una interpretación política difícil, mientras que una tarea de extracción larga puede tener una respuesta simple. Defina rutas utilizando la información disponible antes de que actúe el sistema, como el tipo de tarea, las herramientas permitidas o el formato de salida requerido. Anthropic describe el enrutamiento como un patrón de flujo de trabajo para dirigir diferentes categorías a un manejo especializado. La política operativa y las mediciones a continuación son recomendaciones de Rubrex, no afirmaciones de rendimiento de ese artículo.

Evidencia: Construyendo agentes eficaces [1]

Dar a cada ruta un contrato de aceptación.

Escriba el resultado mínimo que debe producir cada ruta y las condiciones que requieren escalada. Si un modelo más pequeño extrae campos, valide los campos con la fuente y el esquema. Si un modelo más sólido maneja excepciones, registre qué excepción causó la transferencia. No utilice el tono confiado de un modelo como única señal de que es seguro aceptar una respuesta. Comience con una pequeña cantidad de rutas interpretables para que las fallas puedan atribuirse al modelo o a la decisión de ruta.

Calcular ahorros después de escalamientos

Una solicitud puede generar un costo de enrutador, un intento económico fallido y un segundo intento en un modelo más grande. Cuente los tres en la misma tarea. Mida la latencia de cola porque la escalada puede crear una mala experiencia incluso cuando el promedio es aceptable. Se proponen las siguientes definiciones de métricas para su experimento. Informe la fracción de tráfico en cada ruta y compare el sistema con una línea base sin ruta utilizando la misma combinación de tareas, presupuesto de herramientas y criterios de aceptación.

Implementación con decisiones rastreables

Registre la ruta, el motivo, la versión del modelo y el resultado final verificado sin retener contenido innecesario del cliente. Vuelva a reproducir una muestra representativa con respecto a la línea base para detectar desviaciones en el trabajo entrante. Ofrezca a los operadores una manera de desactivar una ruta no confiable sin reconstruir toda la aplicación. Revisar la política después de que un proveedor cambie el precio o el comportamiento del modelo. Una regla de enrutamiento que una vez ahorrado dinero puede volverse innecesaria cuando un nuevo modelo cumple el mismo contrato con operaciones más simples.

Evalúe el enrutador LLM por separado de la puerta de enlace

Un enrutador LLM decide qué modelo o ruta debe manejar una solicitud. Una puerta de enlace LLM puede proporcionar una capa de acceso común para los proveedores; su presencia no establece que las decisiones de enrutamiento preserven la calidad. En el ejercicio de evaluación de Rubrex, registre la ruta seleccionada, la evidencia utilizada para seleccionarla, cualquier alternativa y el resultado final de la tarea.

Compare la política de enrutamiento con una línea base de modelo fijo en los mismos casos. Incluya solicitudes ambiguas y fallas del proveedor, luego inspeccione el costo combinado del primer intento, los reintentos y la escalada. Si el enrutamiento ahorra dinero en el trabajo rutinario pero envía los casos difíciles a una ruta inadecuada, revise la regla de decisión y vuelva a ejecutar esos casos antes de ampliar la implementación.

Preguntas comunes