इस पेज पर
संक्षिप्त उत्तर
कोई सार्वभौमिक मूल्यांकन नमूना आकार नहीं है। आपको जिस परिशुद्धता की आवश्यकता है, जिस प्रकार की विफलताओं को आपको कवर करना है, और जिस अंतर का आप पता लगाना चाहते हैं, उसके आधार पर स्वतंत्र मामलों की संख्या चुनें। बार-बार आने वाली पीढ़ियाँ परिवर्तनशीलता को मापती हैं लेकिन विविध कार्यों को प्रतिस्थापित नहीं करती हैं।
क्या ले जाना है
- कवरेज और सांख्यिकीय परिशुद्धता विभिन्न प्रश्नों का उत्तर देती है।
- एक ही कार्य से बार-बार आने वाले आउटपुट को संबंधित अवलोकनों के रूप में मानें।
- स्कोर के साथ अनिश्चितता और नमूना निर्माण प्रक्रिया की रिपोर्ट करें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
शोध सीमित नमूनों के बारे में क्या कहता है
जब नमूने सीमित होते हैं तो 2025 प्रीप्रिंट बायेसियन क्षमता मूल्यांकन का अध्ययन करता है। 2026 सक्रिय-मूल्यांकन पेपर अध्ययन करता है कि मूल्यांकन करने के लिए किन कार्यों का चयन करना रैंकिंग दक्षता को प्रभावित करता है। ये विभिन्न सेटिंग्स को संबोधित करते हैं; न ही व्यावसायिक अनुप्रयोग के लिए सार्वभौमिक संख्या में उदाहरण उपलब्ध कराता है।
साक्ष्य: बड़े भाषा मॉडल मूल्यांकन में विश्वास: सीमित-नमूना चुनौतियों के लिए एक बायेसियन दृष्टिकोण [1]सामान्य एजेंटों का सक्रिय मूल्यांकन: समस्या की परिभाषा और बेसलाइन एल्गोरिदम की तुलना [2]
कवरेज को परिशुद्धता से अलग करें
कवरेज पूछता है कि क्या महत्वपूर्ण स्थितियों का प्रतिनिधित्व किया गया है। प्रिसिजन पूछता है कि नमूना मॉडल के तहत अनुमानित दर कितनी अनिश्चित है। लगभग समान आसान प्रश्नों का एक बड़ा सेट एक अप्रभावी आबादी के लिए एक संकीर्ण अंतराल उत्पन्न कर सकता है। एक छोटा, जानबूझकर विविध सेट सटीक उत्पादन विफलता दर का समर्थन किए बिना डिजाइन समस्याओं को प्रकट कर सकता है।
कार्यों और विफलता के परिणामों के मानचित्र से शुरुआत करें। दस्तावेज़ सहायक के लिए, इसमें उत्तर देने योग्य प्रश्न, गुम साक्ष्य, परस्पर विरोधी संस्करण, प्रतिबंधित दस्तावेज़ और लंबे इनपुट शामिल हो सकते हैं। लक्षित चुनौती मामलों को बेतरतीब ढंग से सैंपल किए गए ट्रैफ़िक से अलग लेबल करें। प्रकटीकरण के बिना उन्हें संयोजित करने से समग्र प्रतिशत की व्याख्या करना कठिन हो जाता है।
एक योजना गणना, मान्यताओं के साथ
एक स्थिर आबादी से नमूना किए गए एक स्वतंत्र बाइनरी परिणाम के लिए, मार्जिन ई के साथ 95% अंतराल के लिए एक सामान्य सामान्य-अनुमान योजना सूत्र एन ≈ 1.96² × पी × (1 - पी) / ई² है। p = 0.5 और e = 0.05 का उपयोग करने से लगभग 385 स्वतंत्र मामले मिलते हैं। यह अंकगणित एक उदाहरण है, अनुशंसित डिफ़ॉल्ट नहीं।
वास्तविक मूल्यांकन सेट अक्सर इन धारणाओं का उल्लंघन करते हैं। एक दस्तावेज़ से एकाधिक प्रश्न, बार-बार एजेंट परीक्षण और सिंथेटिक विविधताओं को सहसंबद्ध किया जा सकता है। दुर्लभ गंभीर विफलताओं के लिए सामान्य सफलता दर के आकलन से भिन्न डिज़ाइन की आवश्यकता होती है। छोटी गिनती या अत्यधिक दरों के लिए, इस अनुमान पर भरोसा करने के बजाय उचित अंतराल का उपयोग करें। मॉडल तुलनाओं के लिए भी युग्मित विश्लेषण की आवश्यकता होती है, न कि दो असंबंधित मार्जिन की।
उदाहरणात्मक उदाहरण: दस पुनर्प्रयास दस ग्राहक नहीं हैं
40 समर्थन परिदृश्यों की कल्पना करें, प्रत्येक दस बार उत्पन्न हुआ। 400 आउटपुट हैं, लेकिन केवल 40 अलग-अलग परिदृश्य हैं। पुनर्प्रयासों से पता चलता है कि मॉडल उन कार्यों पर लगातार व्यवहार करता है या नहीं। वे 360 नई ग्राहक स्थितियों का कवरेज नहीं जोड़ते हैं।
एक परिदृश्य-स्तरीय सारांश और एक परीक्षण-स्तरीय सारांश रखें। यदि रिलीज़ निर्णय नए अनुरोधों के सामान्यीकरण से संबंधित है, तो स्वतंत्र परिदृश्य जोड़ें। यदि यह किसी ज्ञात महत्वपूर्ण अनुरोध पर अस्थिर व्यवहार से संबंधित है, तो वहां अधिक बार-बार परीक्षण आवंटित करें। दस्तावेज़ जो अतिरिक्त खर्च की अनिश्चितता को कम करने का इरादा रखता है।
विजेता को देखने से पहले रुकने का नियम निर्धारित करें
पहले से तय कर लें कि कौन सा सुधार मायने रखेगा, कौन सा प्रतिगमन रिलीज को रोकता है, और कौन सी अनिश्चितता स्वीकार्य है। एक पायलट विफलता की व्यापकता और असहमति का अनुमान लगाने में मदद करता है, जिसके बाद एक बड़े अध्ययन का दायरा बढ़ाया जा सकता है। बार-बार परिणामों की जांच करने से बचें और केवल तभी रुकें जब उम्मीदवार बेहतर दिखे; जो स्पष्ट विश्वास को भ्रामक बनाता है।
- स्वतंत्र कार्य गणना और कुल पीढ़ी गणना को अलग से रिकॉर्ड करें।
- चुनौती-निर्धारित स्कोर को ट्रैफ़िक-भारित अनुमानों से अलग रखें।
- प्रतिशत के साथ-साथ प्रति-स्लाइस गिनती भी शामिल करें।
- परिणामी सांख्यिकीय निर्णयों को किसी उपयुक्त विशेषज्ञ के पास भेजें।
साक्ष्य की सीमाएँ
संख्यात्मक उदाहरण स्वतंत्र बाइनरी अवलोकनों को मानता है और केवल एक योजना चित्रण है। उद्धृत शोध अपने स्वयं के मॉडल, मान्यताओं और मूल्यांकन आबादी का उपयोग करता है। यह आपके परिनियोजन के लिए किसी विशेष नमूना आकार को मान्य नहीं करता है।
सामान्य प्रश्न
क्या 50 उदाहरण पर्याप्त हैं?
वे विनिर्देशन अंतराल और स्पष्ट विफलताओं को उजागर कर सकते हैं। वे आम तौर पर मजबूत धारणाओं और अतिरिक्त सबूतों के बिना दुर्लभ उत्पादन त्रुटियों के बारे में सटीक दावे को उचित नहीं ठहरा सकते।
क्या प्रत्येक श्रेणी का नमूना आकार समान होना चाहिए?
जरूरी नहीं. किसी भी समग्र अनुमान को कैसे महत्व दिया जाता है, यह समझाते हुए जोखिम, अनिश्चितता और परिणामों के अनुसार मामलों को आवंटित करें।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- बड़े भाषा मॉडल मूल्यांकन में विश्वास: सीमित-नमूना चुनौतियों के लिए एक बायेसियन दृष्टिकोण arXiv · 2025 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
- सामान्य एजेंटों का सक्रिय मूल्यांकन: समस्या की परिभाषा और बेसलाइन एल्गोरिदम की तुलना arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.