इस पेज पर
संक्षिप्त उत्तर
किसी एलएलएम जज के निर्णयों की उसके द्वारा स्कोर किए जाने वाले कार्य से स्वतंत्र रूप से समीक्षा किए गए उदाहरणों के साथ तुलना करके कैलिब्रेट करें। श्रेणी के आधार पर गलत पास, गलत विफलताओं और असहमति की जांच करें। रूब्रिक और जज कॉन्फ़िगरेशन को फ़्रीज़ करें, फिर आउटपुट या मॉडल बदलने पर कैलिब्रेशन दोबारा जांचें।
क्या ले जाना है
- एक डेटासेट पर समझौता सार्वभौमिक न्यायाधीश विश्वसनीयता स्थापित नहीं करता है।
- झूठे पास और झूठी विफलताओं के अलग-अलग परिणाम होते हैं।
- एक जज संस्करण मूल्यांकन कॉन्फ़िगरेशन का हिस्सा है।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
हाल के कार्य प्रश्नों में अंशांकन धारणाएँ साझा की गईं
मई 2026 का प्रीप्रिंट जज-आधारित अनुमानों में पूर्वाग्रह और तुलनात्मक मॉडलों में अंशांकन साझा किए जाने पर अस्थिरता की जांच करता है। यह उन स्थितियों का वर्णन करता है जहां तुलना गलत दिशा की ओर इशारा कर सकती है। जजबायसबेंच निर्णय पूर्वाग्रह के कई रूपों का अलग से अध्ययन करता है। ये निष्कर्ष एक मजबूत मॉडल में स्वचालित विश्वास के बजाय कार्य-विशिष्ट जांच को प्रेरित करते हैं।
साक्ष्य: एलएलएम-ए-जज अनुमान में पूर्वाग्रह और अनिश्चितता [1]मजबूत एलएलएम-आधारित न्यायाधीशों की ओर: टैक्सोनोमिक पूर्वाग्रह मूल्यांकन और डिबियासिंग अनुकूलन [2]
एक स्वतंत्र अंशांकन सेट बनाएँ
रूब्रेक्स प्रतिनिधि आउटपुट का चयन करने की अनुशंसा करता है जिसमें स्पष्ट पास, स्पष्ट विफलताएं और कठिन सीमाएं शामिल हैं। योग्य समीक्षकों से न्यायाधीश का परिणाम देखे बिना लिखित रूब्रिक लागू करने को कहें। प्रत्येक मानव लेबल को असंदिग्ध मानने के बजाय असहमति और निर्णय को रिकॉर्ड करें।
अंतिम जज का आकलन करने के लिए उपयोग किए गए उदाहरणों से ग्रेडर प्रॉम्प्ट को परिष्कृत करने के लिए विभाजित उदाहरणों का उपयोग किया जाता है। एक ही अंशांकन सेट पर बार-बार ट्यूनिंग करने से स्थानांतरण प्रदर्शित किए बिना समझौते को बेहतर बनाया जा सकता है। उदाहरणों और उनके लेबल इतिहास को सुरक्षित रखें ताकि भविष्य में होने वाले परिवर्तनों की निष्पक्ष तुलना की जा सके।
असहमति के स्वरूप का निरीक्षण करें
बाइनरी मानदंड के लिए, झूठे पासों को झूठी विफलताओं से अलग करें। क्रमिक अंकों के लिए, केवल सहसंबंध के बजाय बड़ी त्रुटियों और श्रेणी-विशिष्ट भ्रम का निरीक्षण करें। एक न्यायाधीश व्यवस्थित रूप से अत्यधिक उदार स्कोर प्रदान करते हुए आउटपुट को समीक्षकों के समान रैंक कर सकता है।
संभावित उपद्रव परिवर्तनों का परीक्षण करें: उत्तर क्रम, शब्दाडंबर, स्वरूपण, या प्रदाता पहचानकर्ता जब उन्हें गुणवत्ता को प्रभावित नहीं करना चाहिए। किसी जोड़ी को उलटना उपयोगी है, लेकिन यह हर पूर्वाग्रह का निदान नहीं करता है। सभी आउटपुट शैलियों में समान रूब्रिक की तुलना करें जो वास्तविक उम्मीदवारों से मिलते जुलते हों।
| अवलोकन | यह क्यों मायने रखता है |
|---|---|
| असमर्थित दावों को गलत तरीके से पारित करना | रिलीज़ गेट के माध्यम से विफलताओं को स्वीकार कर सकते हैं |
| संक्षिप्त सही उत्तरों पर गलत विफलता | अनावश्यक वाचालता को पुरस्कृत कर सकता है |
| फ़ॉर्मेटिंग में बदलाव के बाद बड़े स्कोर में बदलाव होता है | मानदंड से असंबद्ध संवेदनशीलता का सुझाव देता है |
| उम्मीदवार मॉडल द्वारा विभिन्न त्रुटियाँ | मॉडल तुलना को विकृत कर सकता है |
उदाहरणात्मक उदाहरण: सही लेकिन संक्षिप्त
एक न्यायाधीश बार-बार विस्तृत उत्तरों को प्राथमिकता देता है, भले ही दोनों उम्मीदवारों के पास आवश्यक तथ्य हों और कार्य संक्षिप्तता का अनुरोध करता हो। लंबाई के लिए निहित पुरस्कारों के लिए रूब्रिक की समीक्षा करें। संक्षिप्त सही उदाहरण और वर्बोज़ गलत उदाहरण जोड़ें, फिर संशोधित ग्रेडर को एक आयोजित सेट पर परीक्षण करें।
न्यायाधीश को केवल निष्पक्ष रहने का निर्देश न दें और मान लें कि समस्या का समाधान हो गया है। असहमति से पहले और बाद के रिकॉर्ड को बनाए रखें और निरीक्षण करें कि क्या सुधार ने आवश्यक विवरण के विरुद्ध एक नई प्राथमिकता पेश की है।
कार्य बदलने पर पुन: अंशांकन करें
मॉडल पहचानकर्ता, प्रॉम्प्ट, स्कीमा, संदर्भ सामग्री और स्कोरिंग नियम को एक साथ संस्करणित करें। जज अपग्रेड, नए उम्मीदवार मॉडल परिवार, एक प्रमुख त्वरित परिवर्तन, या एक अलग कार्य वितरण के बाद दोबारा जाँच करें। जब कोई स्कोर परिणामी हो या साक्ष्य अपर्याप्त हो तो मानवीय समीक्षा के लिए एक रास्ता रखें।
एलएलएम मूल्यांकनकर्ता: एक मूल्यांकनकर्ता मॉडल चुनना और जांचना
जज के रूप में एक एलएलएम किसी अन्य सिस्टम के आउटपुट पर मानदंड लागू करने के लिए एक मॉडल का उपयोग करता है। इस वर्कफ़्लो में, मूल्यांकनकर्ता मॉडल, प्रॉम्प्ट, संदर्भ सामग्री और स्कोरिंग नियम एक संस्करण निर्भरता बनाते हैं। सबसे सक्षम या सबसे महंगे मॉडल को सर्वश्रेष्ठ निर्णायक मानने के बजाय, अपने कार्य से समीक्षा किए गए उदाहरणों पर उसके प्रदर्शन के आधार पर उस निर्भरता को चुनें।
न्यायाधीश की विश्वसनीयता का आकलन करने के लिए, एक त्रुटि खाता रखें: अपेक्षित लेबल, मूल्यांकनकर्ता लेबल, स्पष्टीकरण, प्रभावित आवश्यकता और असहमति का परिणाम। समान लंबित मामलों पर उम्मीदवार मूल्यांकनकर्ताओं की तुलना करें। रूब्रेक्स सटीक आवश्यकताओं के लिए एक नियतात्मक जांच और अनसुलझे निर्णयों के लिए एक मानवीय वृद्धि पथ रखने की सलाह देता है। जब एप्लिकेशन एक नए प्रकार का उत्तर उत्पन्न करना शुरू कर दे तो बहीखाता पर दोबारा जाएँ।
साक्ष्य की सीमाएँ
मानव लेबल में त्रुटियां और अस्पष्टता हो सकती है। अंशांकन अनुमान नमूना कार्य और आउटपुट वितरण पर लागू होते हैं। उद्धृत अध्ययन पूर्वमुद्रण हैं; यह आलेख उनके अनुमानकों को पुन: प्रस्तुत नहीं करता है या यह दावा नहीं करता है कि अंशांकन उपसमुच्चय सभी पूर्वाग्रहों को दूर कर देता है।
सामान्य प्रश्न
क्या मूल्यांकित मॉडल स्वयं का मूल्यांकन कर सकता है?
यह एक संकेत प्रदान कर सकता है, लेकिन इसे स्वतंत्र रूप से सत्यापित कर सकता है। साझा प्राथमिकताएँ या विफलता मोड स्व-मूल्यांकन को भ्रामक बना सकते हैं।
क्या उच्च सहमति पर्याप्त है?
अपने आप नहीं. निरीक्षण करें कि कौन से मामले असहमत हैं, उन त्रुटियों के परिणाम क्या हैं, और क्या लेबल वितरण समझौते को आसान बनाता है।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- एलएलएम-ए-जज अनुमान में पूर्वाग्रह और अनिश्चितता arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
- मजबूत एलएलएम-आधारित न्यायाधीशों की ओर: टैक्सोनोमिक पूर्वाग्रह मूल्यांकन और डिबियासिंग अनुकूलन arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.