इस पेज पर
संक्षिप्त उत्तर
एक उपयोगी मूल्यांकन डेटासेट प्रत्येक मामले के लिए इनपुट, प्रासंगिक संदर्भ, अपेक्षित व्यवहार, उत्पत्ति और विफलता श्रेणी को रिकॉर्ड करता है। सावधानीपूर्वक समीक्षा किए गए सिंथेटिक मामलों के साथ अधिकृत वास्तविक उदाहरणों को संयोजित करें, और उन निर्णयों के लिए एक आयोजित-आउट सेट को संरक्षित करें जो ट्यूनिंग को प्रभावित नहीं करना चाहिए।
क्या ले जाना है
- यह भी संग्रहित करें कि कोई मामला क्यों मौजूद है, न कि केवल उसका संकेत और उत्तर।
- सिंथेटिक उदाहरण कवरेज का विस्तार करते हैं लेकिन स्वतंत्र सत्यापन की आवश्यकता है।
- डेटासेट परिवर्तनों को संस्करणबद्ध और समीक्षा योग्य रखें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
हालिया कार्य डेटासेट संरचना को एक डिज़ाइन विकल्प बनाता है
HieraRAG, जून 2026 प्रीप्रिंट, RAG बेंचमार्क में सिंथेटिक प्रश्नों की ग्रैन्युलैरिटी की जांच करता है। यह एक विशिष्ट पुनर्प्राप्ति कॉन्फ़िगरेशन के भीतर आकलन करने के लिए ग्रैन्युलैरिटी को फ्रेम करता है। यह यह पूछने का समर्थन करता है कि डेटासेट कौन से भेद उजागर करता है बजाय यह मानने के कि अधिक प्रश्न स्वचालित रूप से एक बेहतर बेंचमार्क बनाते हैं।
साक्ष्य: RAG बेंचमार्क कितना बढ़िया होना चाहिए? सिंथेटिक प्रश्न निर्माण के लिए एक पदानुक्रमित रूपरेखा [1]
मूल्यांकन डेटा और प्रशिक्षण डेटा अलग-अलग निर्णय लेते हैं
प्रशिक्षण के उदाहरण किसी मॉडल के व्यवहार को बदलने में मदद करते हैं। एक मूल्यांकन डेटासेट संदर्भ साक्ष्य या स्कोरिंग मानदंड के विरुद्ध एक परिभाषित व्यवहार का परीक्षण करता है। रूब्रेक्स संकेतों या मॉडलों को ट्यून करने के लिए उपयोग किए जाने वाले मामलों को एक आयोजित निर्णय सेट से अलग रखने की सलाह देता है। यदि टीम किसी असफल परीक्षण का अध्ययन करती है और उसे पास करने के लिए सिस्टम में बदलाव करती है, तो उस मामले को प्रतिगमन जांच के रूप में बनाए रखें, लेकिन यह आकलन करने के लिए कि परिवर्तन सामान्य है या नहीं, नए रुके हुए मामलों का उपयोग करें।
सिंथेटिक उदाहरण असामान्य इनपुट, गुम साक्ष्य या अनुमति सीमाओं को कवर करने में मदद कर सकते हैं। प्रत्येक प्रश्न को स्वीकार करने से पहले स्रोत सामग्री के आधार पर उसके अपेक्षित परिणाम की जाँच करें। रिकॉर्ड करें कि उदाहरण कैसे बनाया गया और यह किस विफलता को दर्शाता है। एक बड़ा प्रशिक्षण कोष या स्वचालित रूप से उत्पन्न प्रश्न-उत्तर युग्मों का संग्रह, अपने आप में, एक मान्य मूल्यांकन सेट नहीं है।
उदाहरण एकत्र करने से पहले रिकॉर्ड को परिभाषित करें
रूब्रेक्स एक अपरिवर्तनीय पहचानकर्ता, इनपुट, अनुमत संदर्भ, अपेक्षित व्यवहार, स्रोत श्रेणी, संग्रह तिथि और समीक्षक स्थिति के साथ एक केस रिकॉर्ड की सिफारिश करता है। टूल-उपयोग वाले वर्कफ़्लो के लिए, प्रारंभिक स्थिति और अधिकृत अंतिम स्थिति शामिल करें। ओपन-एंडेड लेखन के लिए, एक सटीक वाक्य की आवश्यकता के बजाय एक निश्चित रूब्रिक का उपयोग करें।
रिकॉर्ड करें कि क्या मामला उत्पादन, समर्थन वृद्धि, डोमेन विशेषज्ञ या सिंथेटिक पीढ़ी से आया है। इसके मूल का सार्वजनिक-सुरक्षित विवरण सुरक्षित रखें, तब भी जब कच्ची बातचीत को बरकरार नहीं रखा जा सकता हो। किसी डेटासेट को केवल इसलिए चुपचाप संवेदनशील जानकारी प्राप्त नहीं करनी चाहिए क्योंकि लॉग निर्यात सुविधाजनक है।
जानबूझकर कवरेज बनाएं
संकेत लिखने से पहले उत्पाद को सार्थक स्लाइस में मैप करें। उदाहरणों में कार्य प्रकार, दस्तावेज़ की आयु, इनपुट लंबाई, साक्ष्य उपलब्धता, भाषा और उपयोगकर्ता की अनुमति शामिल हैं। पूर्ण कार्टेशियन उत्पाद से बचें जब यह ऐसे संयोजन उत्पन्न करता है जो घटित नहीं हो सकते। वास्तविक प्रदर्शन या विशिष्ट विफलता परिकल्पना के साथ संयोजनों को प्राथमिकता दें।
सिंथेटिक मामलों के लिए, तनावग्रस्त व्यवहार को निर्दिष्ट करें और एक अलग समीक्षा चरण रखें, यह सत्यापित करें कि इनपुट प्रशंसनीय है और संदर्भ समर्थित है। एक मॉडल एक त्रुटिपूर्ण प्रश्न और एक मेल खाता त्रुटिपूर्ण उत्तर दोनों उत्पन्न कर सकता है। उन दो कलाकृतियों के बीच समझौता स्वतंत्र सत्यापन नहीं है।
| फ़ील्ड | उद्देश्य |
|---|---|
| केस_आईडी | रन और संशोधनों में स्थिर पहचान |
| अपेक्षित_व्यवहार | स्वीकार्य अनिश्चितता सहित अवलोकन योग्य आवश्यकता |
| उद्गम | उत्पत्ति, उपयोग की अनुमति, और संग्रह संदर्भ |
| स्लाइस_टैग | कार्य और विफलता की स्थितियों का प्रतिनिधित्व किया गया |
| समीक्षा_स्थिति | संदर्भ को किसने या किसने मान्य किया और क्या अस्पष्टता बनी हुई है |
उदाहरणात्मक उदाहरण: संस्करणित नीति प्रश्न
एक लाभ सहायक को वर्तमान नीति और संग्रहीत नीति के बारे में प्रश्न प्राप्त होते हैं। वर्तमान प्रश्नों, स्पष्ट रूप से ऐतिहासिक प्रश्नों और बिना तारीख वाले प्रश्नों के लिए अलग-अलग मामले बनाएं। अपेक्षित व्यवहार भिन्न है: वर्तमान नियम का उपयोग करें, ऐतिहासिक रूप से उत्तर दें, या लागू तिथि स्पष्ट करें। केवल एक आसान उदाहरण में नाम बदलने से यह अंतर छूट जाएगा।
इन मामलों को नीति संस्करणों से जोड़कर रखें ताकि वास्तविक नीति अद्यतन एक मॉडल प्रतिगमन न प्रतीत हो। डेटासेट से कठिन मामलों को हटाने के बजाय, स्पष्टीकरण के साथ समीक्षा के माध्यम से अमान्य अपेक्षाओं को दूर करें।
डेटासेट को एक अनुरक्षित उत्पाद आर्टिफैक्ट के रूप में मानें
विकास सेट को निर्णय सेट से अलग करें और प्रत्येक तक पहुंच रिकॉर्ड करें। हल्की समीक्षा कतार के माध्यम से नए विफलता मामले जोड़ें। स्कोर की रिपोर्ट करते समय, डेटासेट संस्करण की पहचान करें और महत्वपूर्ण परिवर्तनों की व्याख्या करें। कार्यों के एक मिश्रण पर पिछले महीने के परिणाम की तुलना दूसरे पर इस महीने के परिणाम के साथ करने से मॉडल सुधार के साथ ट्रैफ़िक परिवर्तन को भ्रमित किया जा सकता है।
साक्ष्य की सीमाएँ
डेटासेट एक निर्मित नमूना है, भविष्य के ट्रैफ़िक का संपूर्ण मॉडल नहीं। HieraRAG के निष्कर्ष एक विशेष शोध सेटअप से संबंधित हैं। यहां रिकॉर्ड डिज़ाइन और नीति उदाहरण रूब्रेक्स अनुशंसाएं हैं, न कि उस अध्ययन का पुनरुत्पादन।
सामान्य प्रश्न
क्या डेटासेट पूरी तरह सिंथेटिक हो सकता है?
यह प्रारंभिक डिज़ाइन के दौरान उपयोगी हो सकता है, लेकिन इसकी यथार्थता और कवरेज को सत्यापन की आवश्यकता है। इसके सिंथेटिक मूल को स्पष्ट रखें और उपलब्ध होने पर इसकी तुलना अधिकृत वास्तविक उपयोग से करें।
क्या संदर्भ सटीक उत्तर होने चाहिए?
सटीक कार्यों के लिए सटीक उत्तरों का उपयोग करें। ओपन-एंडेड आउटपुट के लिए, आवश्यक तथ्यों, अस्वीकार्य व्यवहार और स्वीकार्य विविधताओं को परिभाषित करें।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- RAG बेंचमार्क कितना बढ़िया होना चाहिए? सिंथेटिक प्रश्न निर्माण के लिए एक पदानुक्रमित रूपरेखा arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.