プロンプト キャッシュ: ヒット率だけでなく、節約量を測定します

何が再利用されているかを理解する

OpenAI は、プロンプト キャッシュを、一致するプロンプト プレフィックスの中間状態の再利用として説明しています。モデルは引き続き新しい入力を処理し、応答を生成します。現在のドキュメントでは、価格設定と保持動作モデルに依存しています。サポートを確認せずに古いモデルから構成をコピーすることは避けてください。私たちの推奨事項は、リクエストのインベントリから始めることです。繰り返される命令とツールを特定し、実際のトラフィックのどれだけがそれらのプレフィックスを共有しているかを測定します。

証拠: OpenAI プロンプトのキャッシュ [1]

現実的な交通実験を構築する

同じモデル、タスク分散、および出力の期待値を使用して、同等のトラフィックを比較します。合成プロンプトを繰り返すと、さまざまな顧客の要求に応じて消えてしまう魅力的なキャッシュ結果が生成されることがあります。コールド スタートと反復インタラクションの両方を含めて、観察ウィンドウを記録します。実験によってプロンプトのレイアウトが変更された場合は、回答の品質が依然として同じルーブリックを満たしていることを確認します。有用なコンテキストを削除することによって達成されるコストの改善は、別の介入であり、別個の説明に値します。

リクエスト全体のアカウント

キャッシュされた読み取り、キャッシュされていない入力、課金対象のキャッシュ書き込み、および生成された出力を別の会計フィールドに保持します。タスクの合計を計算するときに、ツールのコストと再試行を追加します。例示的な例として、他のすべてが一定のままであると仮定すると、総コストの 5 分の 1 に相当する入力コンポーネントを半分にすると、合計が 10 分の 1 に減ります。請求額が半額になるわけではありません。この単純な例を予測に置き換える場合は、実際の使用記録と現在のプロバイダー料金を使用してください。

キャッシュの変更を操作上の変更として扱う

選択した保持動作がアプリケーションのデータ処理コミットメントに適合するかどうかを確認します。テナントの認証をキャッシュから独立させ、ヒット率を上げるためだけに機密データを保存しないようにします。頻繁なプロンプト編集や非常に変わりやすいツール定義など、プレフィックスの再利用を減らすトラフィックの変更に注意してください。導入後、予測を観察されたコストおよび品質と比較します。節約がなくなった場合は、プロバイダーが料金を変更したと考える前に、使用構成を調査してください。

よくある質問