모델 라우팅: 품질 손실을 숨기지 않고 AI 비용 절감

관찰 가능한 증거로 경로 정의

짧아 보이는 요청이 반드시 쉬운 것은 아닙니다. 한 줄짜리 질문에는 어려운 정책 해석이 필요할 수 있지만, 긴 추출 작업에는 간단한 대답이 필요할 수 있습니다. 작업 유형, 허용된 도구, 필수 출력 형식 등 시스템이 작동하기 전에 사용 가능한 정보를 사용하여 경로를 정의합니다. Anthropic은 라우팅을 다양한 범주를 전문적인 처리로 안내하기 위한 작업 흐름 패턴으로 설명합니다. 아래의 운영 정책 및 측정값은 해당 기사의 성능 주장이 아니라 Rubrex 권장 사항입니다.

증거: 효과적인 에이전트 구축 [1]

모든 루트에 승낙 계약을 하세요

각 경로가 생성해야 하는 최소 결과와 에스컬레이션이 필요한 조건을 기록합니다. 더 작은 모델이 필드를 추출하는 경우 소스 및 스키마에 대해 필드의 유효성을 검사합니다. 더 강력한 모델이 예외를 처리하는 경우 어떤 예외가 핸드오프를 발생시켰는지 기록합니다. 모델의 자신감 있는 어조를 답변을 받아들여도 안전하다는 유일한 신호로 사용하지 마십시오. 실패가 모델이나 라우팅 결정에 기인할 수 있도록 해석 가능한 소수의 경로로 시작하십시오.

에스컬레이션 후 절감액 계산

요청에는 라우터 비용이 발생할 수 있으며, 저렴한 시도가 한 번 실패하고 더 큰 모델에 대한 두 번째 시도가 발생할 수 있습니다. 동일한 작업에 대해 세 가지를 모두 계산합니다. 평균이 허용 가능한 경우에도 에스컬레이션으로 인해 좋지 않은 경험이 발생할 수 있으므로 꼬리 지연 시간을 측정하세요. 실험에 대해 다음 측정항목 정의가 제안됩니다. 각 경로의 트래픽 비율을 보고하고 동일한 작업 혼합, 도구 예산 및 허용 기준을 사용하여 시스템을 라우팅되지 않은 기준선과 비교합니다.

추적 가능한 결정으로 출시

불필요한 고객 콘텐츠를 유지하지 않고 경로, 이유, 모델 버전 및 최종 검증 결과를 기록합니다. 들어오는 작업의 드리프트를 감지하기 위해 기준선에 대해 대표 샘플을 재생합니다. 운영자에게 전체 애플리케이션을 다시 구축하지 않고도 신뢰할 수 없는 경로를 비활성화할 수 있는 방법을 제공합니다. 공급자가 가격 책정이나 모델 동작을 변경한 후 정책을 다시 검토하세요. 새로운 모델이 더 간단한 운영으로 동일한 계약을 충족하면 한때 비용을 절감했던 라우팅 규칙이 불필요해질 수 있습니다.

게이트웨이와 별도로 LLM 라우터를 평가합니다.

LLM 라우터는 요청을 처리해야 하는 모델이나 경로를 결정합니다. LLM 게이트웨이는 공급자에게 공통 액세스 계층을 제공할 수 있습니다. 그것의 존재는 라우팅 결정이 품질을 보존한다는 것을 입증하지 않습니다. Rubrex의 평가 연습에서는 선택한 경로, 이를 선택하는 데 사용된 증거, 대체 및 최종 작업 결과를 기록합니다.

동일한 사례에 대해 라우팅 정책을 고정 모델 기준과 비교합니다. 모호한 요청과 공급자 실패를 포함시킨 다음 첫 번째 시도, 재시도 및 에스컬레이션의 결합된 비용을 검사합니다. 라우팅을 통해 일상적인 작업에서 비용을 절약할 수 있지만 어려운 케이스를 부적절한 경로로 보내는 경우 롤아웃을 확대하기 전에 결정 규칙을 수정하고 해당 케이스를 다시 실행하세요.

일반적인 질문