अप्रासंगिक संदर्भ को पुरस्कृत किए बिना पुनर्प्राप्ति स्मरण का परीक्षण कैसे करें

प्रश्न की ग्रैन्युलैरिटी एक बेंचमार्क परीक्षण में परिवर्तन लाती है

HieraRAG अध्ययन करता है कि सिंथेटिक प्रश्न ग्रैन्युलैरिटी RAG कॉन्फ़िगरेशन के बीच भेदभाव को कैसे प्रभावित करती है। राग अलग से संदर्भ स्मरण और संदर्भ परिशुद्धता को मूल्यांकन आयामों के रूप में पहचानते हैं। साथ में वे साक्ष्य कवरेज और लौटाई गई सामग्री की उपयोगिता दोनों की जांच करने का एक कारण प्रदान करते हैं।

साक्ष्य: RAG बेंचमार्क कितना बढ़िया होना चाहिए? सिंथेटिक प्रश्न निर्माण के लिए एक पदानुक्रमित रूपरेखा [1]उपलब्ध मेट्रिक्स की सूची [2]

प्रत्येक प्रश्न के लिए एक साक्ष्य आवश्यकता बनाएँ

प्रत्येक मामले के लिए, उन तथ्यों को लिखें जिन्हें पुनर्प्राप्त संदर्भ से पुनर्प्राप्त किया जाना चाहिए। प्रत्येक तथ्य को एक या अधिक स्वीकार्य अनुच्छेदों में मानचित्रित करें। जहां कई स्रोत एक ही तथ्य का समर्थन कर सकते हैं, वहां एक मनमाने दस्तावेज़ पहचानकर्ता की आवश्यकता नहीं होती है। जहां किसी निष्कर्ष के लिए दो दस्तावेजों की आवश्यकता होती है, वहां दोनों निर्भरताएं रिकॉर्ड करें।

ऐसे साक्ष्य के लिए स्पष्ट लेबल का उपयोग करें जो आवश्यक, सहायक लेकिन वैकल्पिक, विरोधाभासी या अप्रासंगिक हो। यह समीक्षकों को यह समझाने का एक तरीका देता है कि पुनर्प्राप्ति परिणाम विफल क्यों होता है। एक सामान्य अर्थ-समानता स्कोर एक उपयोगी निदान हो सकता है, लेकिन यह स्थापित नहीं करता है कि आवश्यक अपवाद या योग्यता स्थिति पाई गई थी।

नियंत्रित बजट के तहत पुनर्प्राप्ति की तुलना करें

रुब्रेक्स रिट्रीवर परिवर्तन की जांच करते समय प्रश्न सेट, कॉर्पस स्नैपशॉट, एक्सेस पॉलिसी और जनरेटर स्थिरांक रखने की अनुशंसा करता है। मार्ग सीमा, टोकन बजट, पुन: रैंकिंग कॉन्फ़िगरेशन और किसी भी कटौती को रिकॉर्ड करें। दस छोटे अनुच्छेदों और दस संपूर्ण दस्तावेज़ों के बीच तुलना समान संसाधन को नियंत्रित नहीं करती है।

श्रेणी के आधार पर पुनर्प्राप्ति चूक का निरीक्षण करें: गलत शब्दावली, अनुपलब्ध स्रोत, खराब विभाजन, अनुमतियाँ, पुरानी अनुक्रमणिका, या रैंकिंग। कुछ रिट्रीवर-मॉडल समस्याएँ नहीं हैं। यदि आवश्यक नीति कभी भी सूचकांक में दर्ज नहीं हुई है, तो एम्बेडिंग बदलने से वह पुनर्प्राप्त नहीं होगी।

• कॉर्पस कवरेज को कॉर्पस के भीतर पुनर्प्राप्ति सफलता से अलग करें।
• लेबलिंग नियम के दस्तावेजीकरण के साथ आवश्यक साक्ष्य इकाइयों की गणना करें।
• केवल खोज परिणाम ही नहीं, बल्कि डाउनस्ट्रीम में भेजे गए वास्तविक संदर्भ को भी बनाए रखें।
• किसी भी स्मरण-उन्मुख परिवर्तन के बाद उत्तर व्यवहार को मापें।

उदाहरणात्मक उदाहरण: अपवाद कहीं और रहता है

एक ग्राहक पूछता है कि क्या नवीनीकरण के बाद वार्षिक योजना रद्द की जा सकती है। सामान्य रद्दीकरण नीति पुनर्प्राप्त की जाती है, लेकिन एक खाता-विशिष्ट अपवाद एक अलग अधिकृत दस्तावेज़ में रहता है। एक विषय-प्रासंगिक ग्रेडर परिणाम को उच्च अंक दे सकता है जबकि उत्तर के लिए आवश्यक साक्ष्य अधूरा रहता है।

संदर्भ में सामान्य नियम और लागू अपवाद दोनों निर्दिष्ट होने चाहिए। यदि अपवाद दस्तावेज़ इस उपयोगकर्ता के लिए पहुंच योग्य नहीं है, तो अपेक्षित उत्तर को भी उस बाधा का सम्मान करना चाहिए। पुनर्प्राप्ति मूल्यांकन को कभी भी ऐसे दस्तावेज़ को उजागर करने के लिए पुरस्कृत नहीं किया जाना चाहिए जिसे अनुरोध करने वाला उपयोगकर्ता देखने का हकदार नहीं है।

चूक को पुनर्प्राप्ति प्रयोग में बदलें

देखी गई विफलता से जुड़े एक हस्तक्षेप का चयन करें: अनुक्रमण कवरेज में सुधार करें, खंड सीमाओं को समायोजित करें, शीर्षकों को संरक्षित करें, मेटाडेटा फ़िल्टर जोड़ें, या पुन: रैंकिंग बदलें। युग्मित परिणाम को मापें और नई प्रस्तुत विफलताओं की जांच करें। तत्काल चूक ठीक होने के बाद भी मूल उदाहरणों को रिग्रेशन सुइट में रखें।

सामान्य प्रश्न