इस पेज पर
संक्षिप्त उत्तर
एक प्रभावी एलएलएम मूल्यांकन रूब्रिक अवलोकन योग्य आवश्यकताओं, निर्धारित स्कोरिंग स्तरों और प्रत्येक निर्णय के लिए आवश्यक साक्ष्य को परिभाषित करता है। अलग-अलग मानदंड जो विभिन्न विफलताओं को मापते हैं, और महत्वपूर्ण उल्लंघनों को औसत से बाहर रखते हैं जो उन्हें छिपा सकते हैं।
क्या ले जाना है
- अस्पष्ट गुणवत्ता वाले विशेषणों को अवलोकन योग्य व्यवहार से बदलें।
- एक ही दोष को कई ओवरलैपिंग मानदंडों के तहत स्कोर करने से बचें।
- समीक्षा को स्केल करने से पहले असहमति के मामलों पर रूब्रिक का परीक्षण करें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
अस्पष्टता एक माप समस्या हो सकती है
एक हालिया एनोटेशन प्रीप्रिंट साझा कोडबुक का उपयोग करके पाठ-वर्गीकरण कार्यों का अध्ययन करता है और रिपोर्ट करता है कि अस्पष्टता मानव और मॉडल एनोटेटर्स के बीच और भीतर असहमति को समझाने में मदद करती है। इसका डोमेन सीमित है, लेकिन यह असहमति को समीक्षक की अक्षमता मानने से पहले कोडिंग नियमों का निरीक्षण करने का एक उपयोगी कारण प्रदान करता है।
साक्ष्य: एलएलएम और मानव एनोटेशन की अवलोकन संबंधी तुल्यता [1]
उस निर्णय से प्रारंभ करें जिसका आउटपुट को समर्थन करना चाहिए
रुब्रेक्स स्कोर स्केल चुनने से पहले आवश्यक तथ्यों या व्यवहारों को सूचीबद्ध करने की अनुशंसा करता है। समर्थन उत्तर के लिए, उपयोगी मानदंड में तथ्यात्मक समर्थन, कार्य पूर्णता और उचित अनिश्चितता शामिल हो सकते हैं। विनम्रता मायने रख सकती है, लेकिन इसे किसी अधिकार का आविष्कार करने के लिए क्षतिपूर्ति नहीं करनी चाहिए।
समीक्षक के लिए उपलब्ध साक्ष्य को परिभाषित करें। यदि तथ्यात्मक निर्णय के लिए नीति दस्तावेज़ की आवश्यकता होती है, तो लागू संस्करण प्रदान करें। एक समीक्षक जो केवल प्रतिक्रिया देखता है वह विश्वसनीय रूप से यह तय नहीं कर सकता है कि उसके दावे निजी स्रोत सामग्री द्वारा समर्थित हैं या नहीं। जहां आवश्यक हो वहां एक गैर-आकलन योग्य परिणाम शामिल करें।
ऐसे एंकर का उपयोग करें जो अवलोकनीय अंतरों का वर्णन करें
निम्नलिखित टेम्पलेट स्रोत-आधारित उत्तर के लिए एक प्रारंभिक बिंदु है। इसे वास्तविक उत्पाद के अनुरूप ढालें और उदाहरणों के साथ इसकी पुष्टि करें। अविभाज्य सीमाओं के साथ बारीक विभाजित पैमाने की तुलना में तीन-स्तरीय पैमाने को कैलिब्रेट करना आसान हो सकता है। स्तरों की संख्या स्वयं कठोरता का माप नहीं है।
| मानदंड | पास | संशोधन की आवश्यकता है | असफल |
|---|---|---|---|
| साक्ष्य समर्थन | वास्तविक दावे लागू स्रोतों से प्राप्त होते हैं | एक छोटे से दावे में स्पष्ट समर्थन का अभाव है | एक भौतिक दावे का आविष्कार या खंडन किया गया है |
| कार्य पूर्णता | अनुरोध को संबोधित करता है और अगले चरण की आवश्यकता है | एक उपयोगी विवरण गायब है | मुख्य अनुरोध अनुत्तरित या गलत निर्देशित है |
| अनिश्चितता | साक्ष्य अपर्याप्त होने पर स्पष्टीकरण देता है या अनुपस्थित रहता है | अनिश्चितता मौजूद है लेकिन अस्पष्ट है | असमर्थित निश्चितता उपयोगकर्ता के निर्णय को बदल देती है |
उदाहरणात्मक उदाहरण: एक दोष, अनेक लेबल
एक उत्तर अनुपलब्ध धन-वापसी का वादा करता है। यह तथ्यात्मक-समर्थन विफलता और नीति-सीमा का उल्लंघन हो सकता है। यदि समग्र रूब्रिक तथ्यात्मकता, सटीकता, शुद्धता और सत्यता के लिए अंक घटाता है, तो यह उपयोगी जानकारी जोड़े बिना एक ही मुद्दे को चार बार गिन सकता है।
एक प्राथमिक अवलोकन योग्य विफलता रखें और यदि रिलीज़ निर्णय की आवश्यकता हो तो एक अलग महत्वपूर्ण-नियम उल्लंघन रिकॉर्ड करें। फिर दूसरे उत्तर का परीक्षण करें जो तथ्यात्मक रूप से सही है लेकिन उपयोगकर्ता को यह नहीं बताता कि आगे कैसे बढ़ना है। रूब्रिक को उन मामलों को अलग करना चाहिए क्योंकि उनके समाधान अलग-अलग हैं।
बड़े पैमाने पर स्कोरिंग से पहले रूब्रिक ट्रायल चलाएँ
समीक्षकों से समान विविध उदाहरणों को स्वतंत्र रूप से स्कोर करने के लिए कहें। असहमति के पीछे के सबूतों पर चर्चा करें, अस्पष्ट एंकरों को संशोधित करें, और निर्णयित उदाहरणों का एक छोटा सा सेट संरक्षित करें। संशोधन के बाद एक नया उपसमुच्चय पुनः स्कोर करें। रूब्रिक संस्करण रिकॉर्ड करें ताकि नई परिभाषा के कारण होने वाले स्कोर परिवर्तन को मॉडल सुधार के रूप में न समझा जाए।
- आवश्यक साक्ष्य और स्वीकार्य भिन्नता निर्दिष्ट करें।
- प्रत्येक महत्वपूर्ण सीमा पर सकारात्मक और नकारात्मक उदाहरण जोड़ें।
- महत्वपूर्ण उल्लंघनों को भारित गुणवत्ता स्कोर से अलग करें।
- अस्पष्ट या संदेहास्पद मामलों के लिए एक स्पष्ट मार्ग रखें।
किसी नए कार्य के लिए मूल्यांकन रूब्रिक को अनुकूलित करें
एक मूल्यांकन रूब्रिक में स्वीकार्य, अपूर्ण और अस्वीकार्य कार्य के बीच देखने योग्य अंतर का वर्णन होना चाहिए। इस टेम्पलेट को अनुकूलित करने के लिए, स्कोर स्केल बदलने से पहले उदाहरण कार्य और साक्ष्य आवश्यकताओं को बदलें। प्रत्येक मानदंड के लिए एक स्पष्ट पास, एक सीमा मामला और एक स्पष्ट विफलता लिखें, फिर समीक्षकों से अपने निर्णयों को स्वतंत्र रूप से समझाने के लिए कहें।
सभी कार्यों में मूल्यांकन रुब्रिक्स की तुलना करते समय, यह मानने के बजाय कि संख्यात्मक पैमाने का मिलान स्कोर को तुलनीय बनाता है, प्रत्येक मानदंड के अर्थ को संरक्षित करें। रूब्रेक्स नए रूब्रिक को रिलीज़ गेट के रूप में उपयोग करने से पहले एंकरों को संस्करणबद्ध करने और असहमति की समीक्षा करने की अनुशंसा करता है। यदि समीक्षकों को अघोषित संदर्भ की आवश्यकता है, तो उस संदर्भ को जोड़ें या मामले को अप्राप्य के रूप में चिह्नित करें।
साक्ष्य की सीमाएँ
यह एक उदाहरणात्मक रूब्रिक है, कोई मान्य उपकरण या ग्राहक वितरण योग्य नहीं है। उद्धृत एनोटेशन अध्ययन विशेष पाठ-वर्गीकरण कार्यों से संबंधित है। कार्य और इसे लागू करने वाले लोगों या मॉडलों के आधार पर रूब्रिक गुणवत्ता की जाँच की जानी चाहिए।
सामान्य प्रश्न
क्या प्रत्येक मानदंड का महत्व समान होना चाहिए?
केवल तभी जब वह निर्णय को प्रतिबिंबित करता हो। कुछ आवश्यकताओं में भारित आयामों के बजाय अनिवार्य द्वार होने चाहिए।
क्या कोई मॉडल रूब्रिक लिख सकता है?
यह एक मसौदा तैयार करने में मदद कर सकता है, लेकिन कार्य स्वामी को आवश्यकताओं को सत्यापित करना होगा, ओवरलैप को हटाना होगा और उदाहरणों के विरुद्ध एंकरों को कैलिब्रेट करना होगा।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- एलएलएम और मानव एनोटेशन की अवलोकन संबंधी तुल्यता arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.