इस पेज पर
संक्षिप्त उत्तर
जब अनुरोध पुन: प्रयोज्य उपसर्ग साझा करते हैं तो शीघ्र कैशिंग बार-बार इनपुट प्रोसेसिंग को कम कर सकती है। इसका मतलब यह नहीं है कि एप्लिकेशन पुराना उत्तर लौटा रहा है। वास्तविक बिल किए गए इनपुट को मापें, जहां लागू हो, आउटपुट, विलंबता और स्वीकृत परिणाम लिखें; अकेले उच्च हिट दर कम कुल परिचालन लागत स्थापित नहीं करती है।
क्या ले जाना है
- जहां व्यावहारिक हो वहां पुन: प्रयोज्य निर्देशों को स्थिर रखें।
- त्वरित कैशिंग को एप्लिकेशन प्रतिक्रिया कैशिंग से अलग करें।
- सटीक मॉडल के लिए प्रतिधारण और बिलिंग नियमों की जाँच करें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
समझें कि किस चीज़ का पुन: उपयोग किया जा रहा है
OpenAI प्रॉम्प्ट कैशिंग को मिलान प्रॉम्प्ट उपसर्ग के लिए मध्यवर्ती स्थिति के पुन: उपयोग के रूप में वर्णित करता है। मॉडल अभी भी नए इनपुट को संसाधित करता है और प्रतिक्रिया उत्पन्न करता है। इसका वर्तमान दस्तावेज़ीकरण मूल्य निर्धारण और प्रतिधारण व्यवहार मॉडल को निर्भर बनाता है। समर्थन की जाँच किए बिना किसी पुराने मॉडल से कॉन्फ़िगरेशन की प्रतिलिपि बनाने से बचें। हमारी अनुशंसा अनुरोध सूची से शुरू करने की है: दोहराए गए निर्देशों और टूल की पहचान करें, फिर मापें कि वास्तविक ट्रैफ़िक का कितना हिस्सा उन उपसर्गों को साझा करता है।
साक्ष्य: OpenAI प्रॉम्प्ट कैशिंग [1]
एक यथार्थवादी ट्रैफ़िक प्रयोग बनाएँ
समान मॉडल, कार्य वितरण और आउटपुट अपेक्षाओं के साथ समतुल्य ट्रैफ़िक की तुलना करें। दोहराया गया सिंथेटिक प्रॉम्प्ट एक आकर्षक कैश परिणाम उत्पन्न कर सकता है जो विभिन्न ग्राहक अनुरोधों के तहत गायब हो जाता है। कोल्ड स्टार्ट और रिपीट इंटरैक्शन दोनों को शामिल करें, और अवलोकन विंडो रिकॉर्ड करें। यदि प्रयोग प्रॉम्प्ट लेआउट बदलता है, तो पुष्टि करें कि उत्तर गुणवत्ता अभी भी उसी रूब्रिक से मेल खाती है। उपयोगी संदर्भ को हटाकर हासिल किया गया लागत सुधार एक अलग हस्तक्षेप है और एक अलग स्पष्टीकरण के योग्य है।
संपूर्ण अनुरोध का लेखा-जोखा रखें
कैश्ड रीड्स, अनकैच्ड इनपुट, कैश राइट्स जहां बिल किया गया है, और अलग-अलग अकाउंटिंग फ़ील्ड में जेनरेट किए गए आउटपुट रखें। कुल कार्य की गणना करते समय टूल लागत और पुनः प्रयास जोड़ें। उदाहरण के तौर पर, कुल लागत का पांचवां हिस्सा दर्शाने वाले इनपुट घटक को आधा करने से कुल लागत का दसवां हिस्सा कम हो जाता है, यह मानते हुए कि बाकी सब कुछ स्थिर रहता है। इससे बिल आधा नहीं होता. उस सरल उदाहरण को पूर्वानुमान से प्रतिस्थापित करते समय वास्तविक उपयोग रिकॉर्ड और वर्तमान प्रदाता दरों का उपयोग करें।
| मीट्रिक | गणना या जांच कैसे करें | यह जिस निर्णय का समर्थन करता है |
|---|---|---|
| कैश्ड-इनपुट शेयर | कैश्ड इनपुट टोकन / कुल रिपोर्ट किए गए इनपुट टोकन | पुन: उपयोग से इनपुट को कितना लाभ होता है? |
| देखी गई अनुरोध लागत | बिल किए गए इनपुट, राइट, आउटपुट और टूल घटकों का योग | क्या चालान पूर्वानुमान के अनुरूप हैं? |
| पहले टोकन p95 का समय | अनुरोध प्रारंभ से प्रथम आउटपुट टोकन तक 95वां प्रतिशतक | क्या पुन: उपयोग से कथित देरी में सुधार होता है? |
| प्रति स्वीकृत कार्य लागत | कुल प्रयास और समीक्षा लागत/स्वीकृत कार्य | क्या कैशिंग से व्यावसायिक परिणाम में सुधार होता है? |
कैश परिवर्तनों को परिचालन परिवर्तन के रूप में मानें
जांचें कि क्या चयनित प्रतिधारण व्यवहार एप्लिकेशन के लिए डेटा-हैंडलिंग प्रतिबद्धताओं के अनुरूप है। किरायेदार प्राधिकरण को कैशिंग से स्वतंत्र रखें, और केवल हिट दर बढ़ाने के लिए संवेदनशील सामग्री को संग्रहीत करने से बचें। ट्रैफ़िक परिवर्तनों पर नज़र रखें जो उपसर्ग के पुन: उपयोग को कम करते हैं, जैसे बार-बार शीघ्र संपादन या अत्यधिक परिवर्तनीय टूल परिभाषाएँ। तैनाती के बाद, पूर्वानुमान की तुलना देखी गई लागत और गुणवत्ता से करें। यदि बचत गायब हो जाती है, तो यह मानने से पहले उपयोग संरचना की जांच करें कि प्रदाता ने अपनी दरें बदल दी हैं।
साक्ष्य की सीमाएँ
कैशिंग व्यवहार, लेखांकन फ़ील्ड और अवधारण विकल्प प्रदाता और मॉडल के अनुसार भिन्न होते हैं। गणना उदाहरणात्मक है; यह आलेख रूब्रेक्स विलंबता या बचत को मापने की कोई रिपोर्ट नहीं करता है और किसी विशेष छूट का वादा नहीं करता है।
सामान्य प्रश्न
क्या त्वरित कैशिंग प्रतिक्रियाओं को सहेजने के समान है?
नहीं, प्रॉम्प्ट कैशिंग इनपुट प्रोसेसिंग का पुन: उपयोग करता है; एप्लिकेशन रिस्पांस कैशिंग पहले से संग्रहीत उत्तर लौटा सकता है और उसे अपनी स्वयं की ताजगी नीति की आवश्यकता होती है।
क्या उच्च कैश हिट दर हमेशा बेहतर होती है?
नहीं, कुल लागत, गुणवत्ता, अवधारण आवश्यकताएँ, और विलंबता मामला। एक कैश्ड अनुरोध अभी भी महंगा या अनुपयोगी उत्तर दे सकता है।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- OpenAI प्रॉम्प्ट कैशिंग OpenAI · जीवित संदर्भ · दस्तावेज़ बनाए रखासमीक्षित: उपसर्ग पुन: उपयोग, कैश लेखांकन, और मॉडल-विशिष्ट अवधारण मार्गदर्शन. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.