इस पेज पर
संक्षिप्त उत्तर
एक संदर्भ विंडो टोकनयुक्त जानकारी की वह मात्रा है जिस पर एक मॉडल अपने एपीआई नियमों के अधीन अनुरोध में विचार कर सकता है। यह एक क्षमता सीमा है, पूर्ण रिकॉल का वादा नहीं। बजट निर्देश, दस्तावेज़, वार्तालाप इतिहास, टूल परिणाम और आउटपुट अलग से, फिर परीक्षण करें कि मॉडल सही साक्ष्य का उपयोग करता है या नहीं।
क्या ले जाना है
- टोकन शब्दों की एक निश्चित संख्या नहीं है।
- अधिकतम संदर्भ और प्रयोग करने योग्य साक्ष्य अलग-अलग माप हैं।
- उत्तर और उपकरण गतिविधि के लिए आरक्षित कक्ष।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
वास्तविक पेलोड की गणना करें
उपयोगकर्ता द्वारा टाइप किया गया टेक्स्ट कई AI अनुरोधों का केवल एक हिस्सा है। निर्देश, टूल परिभाषाएँ, पुनर्प्राप्त मार्ग, पिछले संदेश और उत्पन्न टूल प्रतिक्रियाएँ सभी स्थान घेर सकते हैं। टोकनाइजेशन मॉडल, भाषाओं और इनपुट प्रकारों में भिन्न होता है। हमारी अनुशंसा प्रत्येक कार्यभार के लिए अंग्रेजी शब्द-गणना अनुमान का उपयोग करने के बजाय प्रतिनिधि अनुरोधों के लिए प्रदाता-रिपोर्ट किए गए उपयोग को रिकॉर्ड करने की है। एक संक्षिप्त समर्थन प्रश्न, एक लंबे अनुबंध और कई टूल टर्न के साथ बातचीत के लिए अलग-अलग रिकॉर्ड रखें।
एपीआई अनुबंध के रूप में सीमाएं पढ़ें
एक मॉडल विनिर्देश विभिन्न इनपुट और आउटपुट सीमाओं को सूचीबद्ध कर सकता है। उदाहरण के लिए, Google जेमिनी 3.8 फ़्लैश के लिए 1,048,576 इनपुट टोकन और 65,536 आउटपुट टोकन दस्तावेज़ित करता है। यह हर लंबाई पर समान प्रदर्शन स्थापित नहीं करता है। विंडो भरने से पहले जांचें कि समापन बिंदु निर्देशों, तर्क और मल्टीमॉडल इनपुट को कैसे ध्यान में रखता है। एक अनुरोध जो फिट बैठता है, फिर भी आवश्यक स्रोत को छोड़ दिया जा सकता है या इसमें विरोधाभासी सामग्री हो सकती है जिससे उत्तर को सत्यापित करना मुश्किल हो जाता है।
साक्ष्य: जेमिनी 3.8 फ़्लैश मॉडल विशिष्टता [1]
विभिन्न लंबाई में साक्ष्य के उपयोग को मापें
आवश्यक उत्तर और साक्ष्य को अपरिवर्तित रखते हुए अप्रासंगिक सामग्री की बढ़ती मात्रा के साथ कार्य के संस्करण बनाएं। सहायक मार्ग को इनपुट के आरंभ, मध्य और अंत के बीच ले जाएँ। अनुरोध स्वीकार किया गया या नहीं, इसकी शुद्धता और स्रोत समर्थन को अलग से ट्रैक करें। ये प्रस्तावित नैदानिक परीक्षण हैं, प्रदाता बेंचमार्क के बारे में दावे नहीं। प्रत्येक संस्करण में समान स्रोत अनुमतियों का उपयोग करें ताकि लंबे संदर्भ में गलती से ऐसी जानकारी प्रकट न हो जो उपयोगकर्ता को नहीं देखनी चाहिए।
| मीट्रिक | गणना या जांच कैसे करें | यह जिस निर्णय का समर्थन करता है |
|---|---|---|
| इनपुट उपयोग | रिपोर्ट किए गए इनपुट टोकन/दस्तावेज़ इनपुट सीमा | अनुरोध क्षमता के कितना करीब है? |
| साक्ष्य-समर्थित सटीकता | दिए गए साक्ष्य/आकलित प्रश्नों द्वारा समर्थित सही उत्तर | क्या अतिरिक्त संदर्भ उपयोगी है? |
| ट्रंकेशन दर | आवश्यक जानकारी खोने वाले अनुरोध/अवलोकित अनुरोध | क्या इतिहास प्रबंधन कुछ महत्वपूर्ण हटा देता है? |
| प्रति सत्यापित उत्तर लागत | कुल अनुरोध लागत/सत्यापित उत्तर | क्या लंबा संदर्भ इसकी कीमत के लायक है? |
एक स्पष्ट इतिहास नीति चुनें
तय करें कि सिस्टम कौन सी जानकारी बरकरार रखता है, सारांशित करता है, फिर से पुनर्प्राप्त करता है, या बातचीत बढ़ने पर छोड़ देता है। उपयोगकर्ता के महत्वपूर्ण निर्णयों को ऐसे रूप में सुरक्षित रखें जिसका निरीक्षण और सुधार किया जा सके। ऐसे कार्य का परीक्षण करें जो कई असंबद्ध मोड़ों के बाद पहले के निर्देश को संदर्भित करता है। यदि सिस्टम आवश्यक विवरण पुनर्प्राप्त नहीं कर सकता है, तो उसे मेमोरी का आविष्कार करने के बजाय स्पष्टीकरण का अनुरोध करना चाहिए। मॉडल बदलते समय नीति पर दोबारा गौर करें, क्योंकि एक बड़ी विंडो अंतर्निहित सूचना-चयन समस्या का समाधान किए बिना लागत बदल सकती है।
साक्ष्य की सीमाएँ
टोकन लेखांकन और सीमाएँ समापन बिंदु के अनुसार भिन्न होती हैं और बदल सकती हैं। जेमिनी आंकड़े एक दिनांकित प्रदाता विनिर्देश हैं, अधिकतम लंबाई पर विश्वसनीय रिकॉल का प्रमाण नहीं; प्रस्तावित परीक्षणों के लिए आपके स्वयं के दस्तावेज़ों और निर्णयों की आवश्यकता होती है।
सामान्य प्रश्न
क्या मिलियन-टोकन संदर्भ पुनर्प्राप्ति की जगह लेता है?
जरूरी नहीं. पुनर्प्राप्ति अभी भी प्रासंगिक, वर्तमान, अनुमति प्राप्त साक्ष्य और नियंत्रण लागत का चयन करने में मदद कर सकती है। अपने कार्य पर दोनों दृष्टिकोणों की तुलना करें।
क्या हमें हमेशा पूरी बातचीत शामिल करनी चाहिए?
एक स्पष्ट नीति का उपयोग करें और उसका परीक्षण करें। अनावश्यक इतिहास बजट की खपत करता है और पुराने या परस्पर विरोधी निर्देश प्रस्तुत कर सकता है।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- जेमिनी 3.8 फ़्लैश मॉडल विशिष्टता गूगल · जीवित संदर्भ · दस्तावेज़ बनाए रखासमीक्षित: मॉडल आईडी, इनपुट/आउटपुट सीमाएं, तौर-तरीके और तर्क सेटिंग्स. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.