신속한 캐싱: 적중률뿐만 아니라 절감액도 측정

재사용되는 것이 무엇인지 이해

OpenAI는 프롬프트 캐싱을 일치하는 프롬프트 접두사에 대한 중간 상태의 재사용으로 설명합니다. 모델은 여전히 ​​새로운 입력을 처리하고 응답을 생성합니다. 현재 문서에 따라 가격 책정 및 보존 동작 모델이 달라집니다. 지원을 확인하지 않고 이전 모델의 구성을 복사하지 마십시오. 우리의 권장 사항은 요청 인벤토리부터 시작하는 것입니다. 반복되는 지침과 도구를 식별한 다음 실제 트래픽이 해당 접두사를 얼마나 공유하는지 측정합니다.

증거: OpenAI 프롬프트 캐싱 [1]

현실적인 교통 실험 구축

동일한 모델, 작업 분포 및 출력 기대치를 사용하여 동등한 트래픽을 비교합니다. 반복되는 합성 프롬프트는 다양한 고객 요청에 따라 사라지는 매력적인 캐시 결과를 생성할 수 있습니다. 콜드 스타트와 반복 상호 작용을 모두 포함하고 관찰 창을 기록합니다. 실험에서 프롬프트 레이아웃이 변경되면 답변 품질이 여전히 동일한 기준표를 충족하는지 확인하세요. 유용한 컨텍스트를 제거하여 달성한 비용 개선은 다른 개입이므로 별도의 설명이 필요합니다.

전체 요청에 대한 계정

캐시된 읽기, 캐시되지 않은 입력, 청구된 캐시 쓰기 및 생성된 출력을 별도의 회계 필드에 보관합니다. 작업 총계를 계산할 때 도구 비용과 재시도를 추가합니다. 예시로서, 다른 모든 것이 일정하다고 가정할 때 총 비용의 5분의 1을 나타내는 입력 구성 요소를 절반으로 줄이면 전체 비용이 10분의 1로 줄어듭니다. 청구서를 절반으로 줄이지는 않습니다. 간단한 예를 예측으로 대체할 때 실제 사용 기록과 현재 공급자 요금을 사용하세요.

캐시 변경을 운영 변경으로 처리

선택한 보존 동작이 애플리케이션의 데이터 처리 약속에 맞는지 확인하세요. 캐싱과 별도로 테넌트 권한을 유지하고 단순히 적중률을 높이기 위해 중요한 자료를 저장하지 마십시오. 빈번한 프롬프트 편집이나 매우 가변적인 도구 정의와 같이 접두사 재사용을 줄이는 트래픽 변경 사항을 감시하십시오. 배포 후 예측을 관찰된 비용 및 품질과 비교합니다. 절감액이 사라지면 공급자가 요금을 변경했다고 가정하기 전에 사용량 구성을 조사하십시오.

일반적인 질문