इस पेज पर
संक्षिप्त उत्तर
एलएलएम प्रतिगमन परीक्षण सिस्टम में परिवर्तन के बाद ज्ञात आवश्यकताओं और विफलता के मामलों को फिर से चलाता है। यांत्रिक अनुबंधों के लिए सटीक जांच, अर्थ के लिए अंशांकित समीक्षा और जहां परिवर्तनशीलता मायने रखती है वहां बार-बार परीक्षण का उपयोग करें। उम्मीदवार के परिणाम देखने से पहले रिलीज़-ब्लॉकिंग शर्तों को परिभाषित करें।
क्या ले जाना है
- एक प्रतिगमन सुइट ज्ञात व्यवहार की सुरक्षा करता है, भविष्य के प्रत्येक मामले की नहीं।
- शोर-शराबे वाले निर्णय को नियतात्मक सत्यापन से अलग रखें।
- उपकरण और पुनर्प्राप्ति सहित संपूर्ण सिस्टम का संस्करण।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
वर्तमान टूलिंग उत्पादन विफलताओं को ऑफ़लाइन परीक्षणों से जोड़ती है
लैंगस्मिथ के बनाए रखा गया मूल्यांकन दस्तावेज़ ऑफ़लाइन तुलना, ऑनलाइन मूल्यांकन और डेटासेट में असफल उत्पादन निशान जोड़ने का वर्णन करता है। एंथ्रोपिक का 2026 मार्गदर्शन व्यापक मूल्यांकन अभ्यास के भीतर प्रतिगमन सुइट्स पर भी चर्चा करता है। ये समर्थित वर्कफ़्लो हैं, न कि इस बात का सबूत कि एक पासिंग स्वचालित सुइट ही रिलीज़ के लिए पर्याप्त है।
साक्ष्य: लैंगस्मिथ मूल्यांकन [1]एआई एजेंटों के लिए रहस्यों को उजागर करना [2]
एक स्तरित परीक्षण सूट बनाएँ
रूब्रेक्स तेजी से नियतात्मक जांच के साथ शुरुआत करने की सलाह देता है: आउटपुट आकार, आवश्यक फ़ील्ड, अनुमत पहचानकर्ता, अनुमति प्रवर्तन और सटीक गणना। साक्ष्य समर्थन या कार्य पूर्णता जैसी आवश्यकताओं के लिए अर्थ संबंधी जाँच जोड़ें। एकीकरण व्यवहार के लिए संपूर्ण वर्कफ़्लो परीक्षणों का एक छोटा सेट रखें।
ग्रेडर को एक निर्भरता के रूप में समझें। इसके प्रॉम्प्ट या मॉडल में बदलाव से एप्लिकेशन के अपरिवर्तित रहने पर भी स्कोर में बदलाव हो सकता है। उम्मीदवार और बेसलाइन के साथ-साथ ग्रेडर कॉन्फ़िगरेशन को स्टोर करें। जहां सिमेंटिक जांच अस्थिर है, उसे स्वचालित रिलीज अवरोधक बनाने से पहले उसकी विश्वसनीयता की जांच करें।
उन विफलताओं को परिभाषित करें जिन्हें कोई औसत व्यक्ति माफ नहीं कर सकता
स्पष्ट रूप से अस्वीकार्य परिणामों के लिए हार्ड गेट चुनें और उन्हें गुणवत्ता रुझानों से अलग करें। उदाहरण के लिए, एक विकृत प्रतिक्रिया गद्य की गुणवत्ता की परवाह किए बिना एक एकीकरण अनुबंध को विफल कर सकती है। एक छोटे औसत सुधार से अनधिकृत राज्य परिवर्तन की भरपाई नहीं होनी चाहिए।
अनिर्णायक परिणामों के लिए एक प्रक्रिया रखें। एक छोटे, शोर वाले नमूने पर मामूली अंतर जबरन पास या असफल होने के बजाय अधिक साक्ष्य को उचित ठहरा सकता है। मालिक, निर्णय और अनुवर्ती कार्य को रिकॉर्ड करें। एक रिलीज़ प्रक्रिया को मनमानी सीमा को निश्चितता के रूप में एन्कोड करने के बजाय अनिश्चितता को दृश्यमान बनाना चाहिए।
उदाहरणात्मक उदाहरण: एक स्कीमा परिवर्तन एक पुराने कार्य को तोड़ देता है
एक टीम जेनरेट किए गए आउटपुट में एक आवश्यक फ़ील्ड जोड़ती है। नए उदाहरण पास हो जाते हैं, लेकिन पुराने कार्य संस्करण इसे भरने के लिए आवश्यक जानकारी को छोड़ देते हैं। मॉडल स्कीमा को संतुष्ट करने के लिए एक मान का आविष्कार करता है। एक संरचनात्मक परीक्षण उत्तीर्ण हो जाता है जबकि एक अर्थ संबंधी आवश्यकता विफल हो जाती है।
ऐसा मामला जोड़ें जो उत्पाद अनुबंध के अनुसार अज्ञात या अनुपलब्ध जानकारी को स्पष्ट रूप से अनुमति देता हो। स्कीमा और अर्थ का एक साथ परीक्षण करें। पिछले कार्य वेरिएंट को सुरक्षित रखें ताकि अगला स्कीमा परिवर्तन चुपचाप समर्थित उपयोग के मामलों को सीमित न कर सके।
रन को पुनरुत्पादन योग्य और विफलताओं को कार्रवाई योग्य बनाए रखें
उचित डेटा नियंत्रण के साथ डेटासेट संस्करण, मॉडल पहचानकर्ता, प्रॉम्प्ट, पुनर्प्राप्ति स्नैपशॉट, टूल कॉन्फ़िगरेशन, आउटपुट, जज निर्णय और त्रुटि लॉग सहेजें। पुनरावृत्ति के दौरान सबसे छोटा उपयोगी सुइट चलाएँ और रिलीज़ से पहले एक व्यापक निर्णय सेट चलाएँ। किसी घटना के बाद, एक समीक्षा किए गए प्रतिगमन मामले को जोड़ें और परीक्षण करें कि प्रस्तावित समाधान सामान्यीकृत है।
- ज्ञात विफलताओं और प्रतिनिधि नियमित मामलों को रखें।
- पर्यावरण विफलताओं को कार्य विफलताओं से अलग किए बिना अलग करें।
- असफल परीक्षण को अद्यतन करने या हटाने के लिए साक्ष्य की आवश्यकता है।
- ज्ञात प्रतिगमन से परे दावों के लिए एक होल्ड-आउट सेट बनाए रखें।
जहाज बदलने से पहले एलएलएम परीक्षण और त्वरित मूल्यांकन
एलएलएम का परीक्षण उन आवश्यकताओं से शुरू होता है जो शब्दों में बदलाव से बचे रहते हैं। त्वरित मूल्यांकन में, पुराने और नए संकेतों को समान इनपुट के विरुद्ध चलाएँ और जहाँ संभव हो मॉडल, टूल और पुनर्प्राप्ति सेटिंग्स को ठीक रखें। पहले सटीक आवश्यकताओं को स्कोर करें, फिर कैलिब्रेटेड रूब्रिक के साथ अर्थ संबंधी अंतरों का निरीक्षण करें। यदि सिस्टम के कई हिस्से बदल गए हैं, तो परिणाम को केवल संकेत के लिए जिम्मेदार ठहराने के बजाय अंत-से-अंत तुलना के रूप में लेबल करें।
एलएलएम परीक्षण चेकलिस्ट के लिए, रूब्रेक्स एक नियमित मामले, एक ज्ञात विफलता, एक अपूर्ण इनपुट, एक निर्भरता विफलता और एक मामले की सिफारिश करता है जिसे अस्वीकार कर दिया जाना चाहिए या सौंप दिया जाना चाहिए। रिकॉर्ड करें कि कौन सी जाँचें हुईं, कौन सी अनिर्णायक थीं, और कौन से सबूत रिहाई को उचित ठहराते हैं। एक पुष्ट उत्पादन विफलता को अपेक्षित परिणाम के साथ एक समीक्षा किए गए प्रतिगमन मामले में परिवर्तित करें।
साक्ष्य की सीमाएँ
एक स्वचालित सुइट अधूरा हो सकता है, ट्यूनिंग से दूषित हो सकता है, या बाहरी निर्भरता से प्रभावित हो सकता है। प्रस्तावित गेटों को वास्तविक उत्पाद के अनुरूप बनाया जाना चाहिए। प्रतिगमन परीक्षण पास करना परीक्षण किए गए व्यवहार के बारे में सबूत है, सामान्य विश्वसनीयता की गारंटी नहीं।
सामान्य प्रश्न
क्या प्रत्येक शीघ्र परिवर्तन से मूल्यांकन चलना चाहिए?
रिलीज़ निर्णयों के लिए व्यापक सत्यापन के साथ, इसके संभावित प्रभावों के लिए प्रासंगिक जाँच चलाएँ। शब्दों में छोटे परिवर्तन अभी भी व्यवहार को बदल सकते हैं।
क्या परतदार सिमेंटिक परीक्षणों को नजरअंदाज किया जा सकता है?
जांच करें कि परिवर्तनशीलता एप्लिकेशन, ग्रेडर या पर्यावरण से आती है या नहीं। इन्हें बार-बार नजरअंदाज करने से समाधान होने की बजाय अनिश्चितता छिप जाती है।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- लैंगस्मिथ मूल्यांकन लैंगचेन · जीवित संदर्भ · दस्तावेज़ बनाए रखासमीक्षित: मूल्यांकन सिंहावलोकन. पहुँच गया 25 सित॰ 2026.
- एआई एजेंटों के लिए रहस्यों को उजागर करना मानवशास्त्रीय · 2026 · इंजीनियरिंग मार्गदर्शनसमीक्षित: तकनीकी लेख. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.