इस पेज पर
संक्षिप्त उत्तर
बेंचमार्क संदूषण तब होता है जब परीक्षण मामलों के बारे में जानकारी सिस्टम को इस तरह से प्रभावित करती है कि इच्छित माप को कमजोर कर देती है। एक निजी सेट कुछ रिसाव को कम करता है, लेकिन बार-बार ट्यूनिंग, साझा उदाहरण और मूल्यांकन के दौरान प्राप्त जानकारी अभी भी परिणाम से समझौता कर सकती है।
क्या ले जाना है
- विकास फीडबैक को अंतिम निर्णय साक्ष्य से अलग करें।
- प्रत्येक रन के दौरान उपलब्ध टूल एक्सेस और जानकारी रिकॉर्ड करें।
- सबूत के बिना स्वच्छ परीक्षण की घोषणा करने के बजाय संदूषण के बारे में अनिश्चितता का खुलासा करें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
एक हालिया वर्गीकरण प्रश्न को विस्तृत करता है
अगस्त 2026 का प्रीप्रिंट मूल्यांकन के दौरान प्राप्त जोखिम सहित, इसे कम करने वाले उपायों के आसपास संदूषण का आयोजन करता है। यह अपने प्रकटीकरण उपकरण के कुछ हिस्सों की विश्वसनीयता में सीमाओं की भी रिपोर्ट करता है। इसका योगदान तीखे सवाल पूछने का एक तरीका है, न कि एक डिटेक्टर जो यह साबित करता है कि कोई भी बेंचमार्क असंदूषित है।
साक्ष्य: बेंचमार्क संदूषण: पराजित शमन द्वारा आयोजित एक वर्गीकरण [1]
पता लगाएं कि मूल्यांकन की जानकारी सिस्टम तक कैसे पहुंच सकती है
उन स्थानों की सूची बनाएं जहां परीक्षण सामग्री दिखाई दे सकती है: संकेत, पुनर्प्राप्त दस्तावेज़, कुछ-शॉट उदाहरण, डेवलपर नोट्स, फ़ाइन-ट्यूनिंग डेटा, साझा वार्तालाप और उपकरण। कोई मामला मॉडल प्रशिक्षण के बाहर रह सकता है फिर भी बार-बार डिबगिंग के बाद भी एप्लिकेशन के प्रॉम्प्ट में शामिल किया जा सकता है। इससे मामले में सफलता के मायने बदल जाते हैं।
वेब-सक्षम सिस्टम के लिए, इस पर भी विचार करें कि क्या कोई परीक्षण प्रश्न सीधे उसके प्रकाशित उत्तर की ओर ले जाता है। यह पुनर्प्राप्ति कार्य के लिए वैध हो सकता है और बंद-पुस्तक क्षमता दावे के लिए अमान्य हो सकता है। मूल्यांकन अनुबंध के आधार पर वही व्यवहार स्वीकार्य या दूषित हो सकता है।
ऐसे नियंत्रणों का उपयोग करें जो इच्छित दावे से मेल खाते हों
रूब्रेक्स अलग-अलग विकास, प्रतिगमन और निर्णय सेट बनाए रखने की सिफारिश करता है। प्रतिगमन परीक्षण में एक ज्ञात विफलता इंजीनियरों द्वारा देखे जाने के बाद भी होती है। एक होल्ड-आउट सेट एक अलग उद्देश्य को पूरा करता है: उन सुधारों से परे स्थानांतरण को मापना। प्रतिगमन मान को केवल इसलिए न मिटाएं क्योंकि कोई मामला अब गुप्त नहीं है।
निर्णय सेट तक पहुंच सीमित करें, जब यह उजागर हो तो रिकॉर्ड करें, और अंतिम तुलना चलाने से पहले स्कोरिंग नियमों को फ्रीज करें। यदि उपकरणों की अनुमति है, तो उनकी पहुंच सीमाएं रिकॉर्ड करें। पिछले उदाहरणों की समानता और पहचानकर्ताओं या संदर्भ दस्तावेजों में आकस्मिक सुरागों के लिए नए प्रश्नों की समीक्षा की जानी चाहिए।
उदाहरणात्मक उदाहरण: स्मरणीय वृद्धि
एक टीम समर्थन वृद्धि के बाद एक सहायक को ठीक करती है और उदाहरण के तौर पर उसके प्रॉम्प्ट में सटीक इंटरैक्शन जोड़ती है। अगला मूल्यांकन उस इंटरैक्शन से गुजरता है। यह एक उपयोगी प्रतिगमन परिणाम है, लेकिन कमजोर सबूत है कि सहायक उसी तरह के अपरिचित मामलों को संभालता है।
अलग-अलग मामले बनाएं जो अलग-अलग साक्ष्य, वाक्यांश और सीमा शर्तों के साथ समान अंतर्निहित नियम का पालन करें। मूल वृद्धि को बनाए रखें, उसके प्रदर्शन को लेबल करें और सामान्यीकरण के मामलों की अलग से रिपोर्ट करें। एक बड़े सफलता प्रतिशत की तुलना में एक पारदर्शी अंतर अधिक उपयोगी है।
स्कोर के बगल में एक एक्सपोज़र रिकॉर्ड शामिल करें
एक कॉम्पैक्ट रिकॉर्ड में डेटासेट की उत्पत्ति का वर्णन होना चाहिए, मामलों को किसने देखा, एप्लिकेशन को कैसे ट्यून किया गया था, क्या उपकरण संबंधित सामग्री को पुनः प्राप्त कर सकते हैं, और क्या अज्ञात है। इसे रन के साथ संलग्न करें, क्योंकि निष्पादन के बीच एक्सपोज़र बदल सकता है। अकेले बेंचमार्क लेबल उन स्थितियों का वर्णन नहीं करता है जिनके तहत स्कोर प्राप्त किया गया था।
- उस क्षमता या वर्कफ़्लो दावे का नाम बताएं जिसका परीक्षण समर्थन करना है।
- जहां उपलब्ध हो वहां ज्ञात प्रशिक्षण या ट्यूनिंग एक्सपोज़र रिकॉर्ड करें।
- मूल्यांकन के दौरान पुनर्प्राप्ति और नेटवर्क अनुमतियों को समझाएं।
- अंतिम निर्णय सेट को नियमित डिबगिंग फीडबैक से अलग रखें।
साक्ष्य की सीमाएँ
संदूषण अक्सर आंशिक रूप से ही देखने योग्य होता है। नवीन शब्दांकन स्वतंत्रता को साबित नहीं करता है, और निजी भंडारण यह साबित नहीं करता है कि जानकारी ने कभी भी किसी सिस्टम को प्रभावित नहीं किया है। उद्धृत वर्गीकरण रिपोर्ट की गई माप सीमाओं के साथ एक प्रीप्रिंट है।
सामान्य प्रश्न
क्या उजागर मामलों को हटा दिया जाना चाहिए?
स्वचालित रूप से नहीं. यदि उनके प्रदर्शन का दस्तावेजीकरण किया जाता है और उनके स्कोर को स्वतंत्र सामान्यीकरण साक्ष्य के रूप में प्रस्तुत नहीं किया जाता है, तो वे मूल्यवान प्रतिगमन परीक्षण बने रह सकते हैं।
क्या नया बेंचमार्क लीकेज को ख़त्म करता है?
नहीं, रिलीज टाइमिंग कुछ मार्गों को संबोधित करती है लेकिन व्युत्पन्न उदाहरणों, शीघ्र ट्यूनिंग, या रन के दौरान प्राप्त जानकारी को खारिज नहीं करती है।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- बेंचमार्क संदूषण: पराजित शमन द्वारा आयोजित एक वर्गीकरण arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.