रूब्रिक लिखने वाली प्रणाली का मूल्यांकन करना।

01समस्या

जेनरेट किए गए स्कोरकार्ड को अपने स्वयं के चेक की आवश्यकता होती है।

रूब्रेक्स का आंतरिक जनरेटर संभावित संदर्भ को मूल्यांकन रूब्रिक्स में बदल देता है। एक परिष्कृत स्कोरकार्ड केवल तभी उपयोगी होता है जब इसके मानदंड उत्पाद को प्रतिबिंबित करते हैं, विभिन्न प्रकार की विफलताओं को अलग करते हैं, और समीक्षकों को बताते हैं कि लगातार स्कोर कैसे किया जाए।

हम मूल्यांकन में उत्पन्न रूब्रिक का उपयोग करने से पहले यह पता लगाना चाहते थे कि वह कहां टूटा। व्यावहारिक प्रश्न यह था: क्या कोई समीक्षक इस स्कोरकार्ड को लागू कर सकता है और परिणामी निर्णय की व्याख्या कर सकता है?

02विधि

रूब्रिक की समीक्षा करें, न कि केवल प्रतिक्रिया की।

हमने छह प्रतिनिधि संभावना प्रोफाइलों के विरुद्ध जनरेटर चलाया। एक 12-भाग मेटा-रूब्रिक ने एक सामान्य समीक्षा रूपरेखा प्रदान की, और तीन समीक्षक लेंसों ने विभिन्न दृष्टिकोणों से उत्पन्न स्कोरकार्ड की जांच की। इसने आलोचना को इतना ठोस बना दिया कि वह तुरंत बदलाव में बदल गई।

हमने संरचनात्मक सत्यापन को सिमेंटिक समीक्षा से अलग कर दिया है। नियतात्मक जाँच स्कीमा, वज़न और स्कोरिंग-एंकर संरचना को कवर करती है। मानव समीक्षा पूछती है कि क्या मानदंड वास्तव में उत्पाद के लिए उपयुक्त हैं और क्या एंकर गुणवत्ता में सार्थक अंतर बताते हैं। रिलीज से पहले दोनों की जरूरत होती है.

03निष्कर्ष और परिवर्तन

विफलताएँ ठीक करने के लिए पर्याप्त विशिष्ट थीं।

समीक्षा में चार बार-बार आने वाली समस्याएँ सामने आईं जिन्हें केवल एक सुव्यवस्थित प्रतिक्रिया से ही उजागर नहीं किया जा सकता:

• सामान्य टेम्पलेट. कुछ रूब्रिक्स कंपनी-नाम स्वैप की तरह थे, जिनका उत्पाद के वास्तविक उपयोग के मामले से बहुत कम संबंध था।
• ओवरलैपिंग मानदंड। अलग-अलग आयाम एक ही मुद्दे को दो बार गिन सकते हैं, जिससे अंतिम निर्णय विकृत हो सकता है।
• अस्पष्ट स्कोरिंग एंकर। विवरण ने समीक्षकों को एक अंक को दूसरे पर चुनने के लिए स्पष्ट आधार के बिना छोड़ दिया।
• आविष्कृत उत्पाद विवरण। जब उपलब्ध साक्ष्य कम थे, तो जनरेटर असमर्थित मान्यताओं के साथ अंतराल भर सकता था।

इन निष्कर्षों से सात त्वरित सुधार उत्पन्न हुए। उन्होंने पुनरीक्षण कार्य को स्पष्ट लक्ष्य दिए: दिए गए संदर्भ का उपयोग करें, मानदंडों को अलग करें, स्कोरिंग निर्णयों को स्पष्ट करें, और लापता जानकारी का आविष्कार करने के बजाय उसे उजागर करें।

04यह क्या दर्शाता है

आलोचना को परीक्षण योग्य अगले परिवर्तन में बदलें।

प्रतिनिधि इनपुट से शुरू करें, परिभाषित करें कि अच्छे आउटपुट के लिए क्या आवश्यक है, और प्रत्येक आलोचना को एक विशिष्ट विफलता से जोड़कर रखें। इससे आपकी टीम को व्यक्तिपरक त्वरित बदलाव के एक और दौर के बजाय परीक्षण के लिए एक ठोस बदलाव मिलता है।

विश्वसनीयता स्प्रिंट में हम इस प्रकार का कार्य करते हैं: एक मूल्यांकन सेट, एक आधार रेखा, एक विफलता विश्लेषण और एक लक्षित प्रयोग। यह आंतरिक अध्ययन विधि को प्रदर्शित करता है; यह किसी बाहरी ग्राहक के लिए मापी गई सटीकता में वृद्धि या परिणाम स्थापित नहीं करता है।