आरएजी मूल्यांकन मेट्रिक्स: पुनर्प्राप्ति और उत्तरों को अलग से मापें

वर्तमान मीट्रिक ढाँचे क्या कवर करते हैं

रागस संदर्भ परिशुद्धता, संदर्भ स्मरण, विश्वसनीयता, उत्तर प्रासंगिकता और शोर संवेदनशीलता के लिए अलग-अलग मेट्रिक्स दस्तावेज करता है। एंटरप्राइजआरएजी, एक अगस्त 2026 प्रीप्रिंट, अतिरिक्त रूप से शोर साक्ष्य, ज्ञान अंतराल, परस्पर विरोधी तथ्यों और कई निर्देशों की जांच करता है। उत्तरार्द्ध उन स्थितियों पर प्रकाश डालता है जिन्हें एक स्वच्छ प्रश्न-उत्तर बेंचमार्क छोड़ सकता है।

साक्ष्य: उपलब्ध मेट्रिक्स की सूची [1]एंटरप्राइजआरएजी: गैर-आदर्श एंटरप्राइज पुनर्प्राप्ति के तहत बेंचमार्किंग एलएलएम निर्देश पालन और मजबूती [2]

जिस विफलता का आपको पता लगाना है उसमें से मेट्रिक्स चुनें

संदर्भ परिशुद्धता पूछती है कि चुनी गई प्रासंगिकता नियम के तहत कितनी पुनर्प्राप्त सामग्री उपयोगी है। कॉन्टेक्स्ट रिकॉल पूछता है कि क्या आवश्यक साक्ष्य बरामद कर लिए गए थे। विश्वसनीयता आपूर्ति किए गए संदर्भ में उत्पन्न दावों के समर्थन से संबंधित है। उत्तर की शुद्धता के लिए कार्य-विशिष्ट संदर्भ या किसी अन्य बचाव योग्य निर्णय प्रक्रिया की आवश्यकता होती है। ये विनिमेय प्रश्न नहीं हैं.

स्कोरिंग पुनर्प्राप्ति से पहले परिभाषित करें कि प्रासंगिक मार्ग के रूप में क्या गिना जाता है। एक अनुच्छेद में प्रश्न का उत्तर देने के लिए आवश्यक अपवाद शामिल किए बिना सही विषय का उल्लेख हो सकता है। इसी तरह, कोई उत्तर पुराने संदर्भ द्वारा समर्थित हो सकता है और फिर भी उपयोगकर्ता के वर्तमान अनुरोध के लिए गलत हो सकता है। स्रोत की ताजगी और अधिकार को दृश्यमान रखें।

एक नैदानिक मूल्यांकन मैट्रिक्स बनाएं

रूब्रेक्स एक कॉर्पस स्नैपशॉट को फ़्रीज़ करने और पर्याप्त साक्ष्य, गुम साक्ष्य, विरोधाभासी साक्ष्य और अप्रासंगिक परिवर्धन के लिए मामले बनाने की अनुशंसा करता है। इन स्थितियों में भी वही प्रश्न चलाएँ जहाँ परिवर्तन यथार्थवादी रहता है। रिकॉर्ड पुनर्प्राप्ति कॉन्फ़िगरेशन और जनरेटर को आपूर्ति किया गया अंतिम संदर्भ।

उत्तर का मूल्यांकन पुनर्प्राप्तिकर्ता से अलग से करें। एक प्रयोग जो दोनों घटकों को बदलता है वह उत्पाद निर्णय के लिए उपयोगी हो सकता है लेकिन निदान करना मुश्किल है। पहले अंत-से-अंत प्रभाव को मापें; फिर यह समझने के लिए घटकों को अलग करें कि परिवर्तन कहां से आया।

उदाहरणात्मक उदाहरण: स्मरण बढ़ता है, उपयोगिता गिरती है

एक रिट्रीवर अधिक मार्ग लौटाना शुरू कर देता है। अब इसमें अक्सर सही नीति शामिल होती है, लेकिन समान शब्दों के साथ पुराने संस्करण भी उपलब्ध कराए जाते हैं। पुनर्प्राप्ति कवरेज में सुधार होता है जबकि उत्तर तेजी से पुराने नियमों को लागू करता है। एक डैशबोर्ड जो केवल रिकॉल की रिपोर्ट करता है, वह रिग्रेशन को मिस कर देगा।

दस्तावेज़ संस्करण और प्राधिकरण का निरीक्षण करें, फिर फ़िल्टरिंग या पुन: रैंकिंग परिवर्तन का परीक्षण करें। प्रश्न सेट को स्थिर रखें और पुनर्प्राप्ति और अंतिम-उत्तर व्यवहार दोनों की तुलना करें। यह मत मानें कि अनुच्छेदों की संख्या कम करना ही हमेशा समाधान है; यह बहु-दस्तावेज़ प्रश्नों के लिए आवश्यक साक्ष्य हटा सकता है।

रिपोर्ट में ट्रेडऑफ़ की व्याख्या करें

वर्तमान प्रति-स्लाइस परिणाम, प्रतिनिधि विफलताएं, उपयोग किया गया कॉन्फ़िगरेशन, और निर्धारित स्कोर में अनिश्चितता। औसत के अलावा गंभीर बाधा उल्लंघनों को भी शामिल करें। एक उपयोगी रीडआउट बताता है कि अगले परीक्षण में कौन सा परिवर्तन किया जाएगा और कौन सा परिणाम परिकल्पना का समर्थन या अस्वीकार करेगा। यह रंग-कोडित मीट्रिक पैनल पर नहीं रुकता।

प्रश्न से साक्ष्य तक आरएजी मूल्यांकन चलाएँ

पहले आरएजी मूल्यांकन के लिए, प्रश्न, कॉर्पस संस्करण, सहायक अंश, पुनर्प्राप्त अंश, अंतिम उत्तर और अपेक्षित व्यवहार वाला एक रिकॉर्ड बनाएं। उन प्रश्नों को चिह्नित करें जो उत्तर देने योग्य होने चाहिए और जिनके लिए सिस्टम को स्पष्टीकरण मांगना चाहिए या बचना चाहिए। इससे एक समीक्षक को एक लापता स्रोत को उस उत्तर से अलग करने में मदद मिलती है जो पहले से मौजूद स्रोत को अनदेखा करता है।

रूब्रेक्स पुनर्प्राप्ति गहराई, चंकिंग, या उत्तर संकेत को बदलने से पहले जमे हुए प्रश्न सेट के साथ आरएजी इवेल्स चलाने की सिफारिश करता है। बेसलाइन और उम्मीदवार के रिकॉर्ड की तुलना रिकॉर्ड से करें। उदाहरण के लिए, यदि कोई उम्मीदवार सही नीति प्राप्त करता है लेकिन एक अप्रचलित अपवाद का हवाला देता है, तो पुनर्प्राप्ति सफलता और उत्तर विफलता दोनों को बनाए रखें। सहमत हों कि कौन सी विफलताएं स्कोर एकत्र करने से पहले निर्णय को रोकती हैं।

एक चार-केस आरएजी उदाहरण जिसका आप निरीक्षण कर सकते हैं

डाउनलोड करने योग्य वर्कशीट में चार छोटे, आविष्कृत अनुच्छेद और चार प्रश्न हैं। बेसलाइन और उम्मीदवार दोनों उत्तर लिखित स्नैपशॉट हैं; किसी एलएलएम ने उन्हें उत्पन्न नहीं किया। वे बताते हैं कि विफलताओं का निदान कैसे किया जाए, न कि किसी उत्पादन प्रणाली में देखे गए सुधार का। स्वीकृति अनुबंध स्पष्ट है: वर्तमान साक्ष्य का उपयोग करें, उसका हवाला दें, और जब कॉर्पस उत्तर नहीं दे सके तो अनुपस्थित रहें।

कॉर्पस में जानबूझकर विरोधाभासी धनवापसी नीतियां शामिल हैं। रिफंड-करंट 14 दिनों के भीतर अप्रयुक्त सदस्यता पर रिफंड की अनुमति देता है; रिफंड-पुराना 30 दिन कहता है और संग्रहीत के रूप में चिह्नित है। शिपिंग-वर्तमान स्थिति 3 से 5 कार्यदिवस। कैंसलेशन-करंट सेटिंग्स> बिलिंग में रद्द करने और भुगतान अवधि समाप्त होने तक पहुंच बनाए रखने के लिए कहता है। किसी भी अनुच्छेद में टेलीफोन सहायता नंबर नहीं है। वर्तमान नीति अनुबंध के तहत अयोग्य होते हुए भी एक अनुच्छेद एक उत्तर का समर्थन कर सकता है।

• अनुच्छेद, प्रश्न, उत्तर और लेबल डाउनलोड करें (JSON)

कोई फिक्स चुनने से पहले अलग-अलग स्कोर की गणना करें

साक्ष्य कवरेज प्रत्येक आवश्यक वर्तमान मार्ग को पुनः प्राप्त करने वाले जवाबदेह मामलों की गणना करता है: बेसलाइन 2/3 और उम्मीदवार 3/3। इस हर से उत्तर न देने योग्य फ़ोन केस को बाहर निकालें क्योंकि इसमें कोई आवश्यक अनुच्छेद नहीं है। यह एक केस-स्तरीय कवरेज जांच है, न कि चंक-स्तरीय संदर्भ रिकॉल। यह अप्रासंगिक अतिरिक्त खंडों या पुनर्प्राप्ति परिशुद्धता के बारे में कुछ नहीं कहता है।

संदर्भ समर्थन तथ्यात्मक उत्तरों की गणना करता है जिनके सभी दावे उनके पुनर्प्राप्त अंशों द्वारा समर्थित हैं: आधार रेखा 2/4 और उम्मीदवार 3/3। उम्मीदवार के परहेज को तथ्यात्मक-उत्तर स्कोरिंग से बाहर रखा गया है और इसके बजाय कार्य स्वीकृति के तहत आंका गया है। पुराने रिफंड उत्तर को बेसलाइन में समर्थित के रूप में गिना जाता है, जो यह उजागर करता है कि अकेले समर्थन अपर्याप्त क्यों है। ये स्पष्ट मानव-लिखित बाइनरी लेबल हैं, राग स्कोर या स्वचालित अर्थ संबंधी निर्णय नहीं।

कार्य स्वीकृति में अनुबंध को पूरा करने वाले पूर्ण उत्तरों की गणना की जाती है, जिसमें सही परहेज भी शामिल है: बेसलाइन 1/4 और उम्मीदवार 4/4। समर्थन प्रतिशत की तुलना उनके बदलते भाजक के बिना न करें। वर्कशीट प्रत्येक लेबल प्रदान करती है ताकि दूसरा समीक्षक किसी अस्पष्टीकृत औसत पर बहस करने के बजाय किसी व्यक्तिगत निर्णय से असहमत हो सके।

प्रस्तावित सुधारों में रिफंड के लिए संस्करण फ़िल्टरिंग, रद्दीकरण के लिए सख्त दावा-दर-पास जाँच, और गुम जानकारी के लिए साक्ष्य-पर्याप्तता नियम शामिल हैं। प्रत्येक परिवर्तन को संयोजित करने से पहले एक बड़े हेल्ड-आउट सेट पर स्वतंत्र रूप से परीक्षण करें। जानबूझकर बनाए गए चार मामले वास्तविक त्रुटि दर का अनुमान नहीं लगा सकते, सांख्यिकीय महत्व स्थापित नहीं कर सकते, या किसी रिलीज़ को उचित नहीं ठहरा सकते। कठिन प्रति-उदाहरण रखें, समीक्षक की असहमतियों को रिकॉर्ड करें और प्रत्येक हस्तक्षेप के बाद अपरिवर्तित शिपिंग नियंत्रण को फिर से चलाएँ।

सामान्य प्रश्न