इस पेज पर
संक्षिप्त उत्तर
किसी एआई एजेंट का मूल्यांकन उसके द्वारा उत्पन्न परिणाम, उसके द्वारा की गई कार्रवाइयों और बार-बार किए गए परीक्षणों में वह कितना सुसंगत व्यवहार करता है, इसकी जांच करके करें। एक सफल अंतिम संदेश अपर्याप्त है जब एजेंट रिकॉर्ड बदल सकता है, टूल कॉल कर सकता है, या वर्कफ़्लो को आंशिक रूप से पूरा छोड़ सकता है।
क्या ले जाना है
- अंतिम प्रतिक्रिया और अंतिम सिस्टम स्थिति असहमत हो सकती है।
- एक ही कार्य पर अस्थिरता उजागर करने के लिए परीक्षण दोहराएँ।
- परिणाम स्कोरिंग को प्रक्रिया और अनुमति जांच से अलग रखें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
विश्वसनीयता कार्य की सफलता से अधिक व्यापक है
फरवरी 2026 का प्रीप्रिंट स्थिरता, मजबूती, पूर्वानुमेयता और सुरक्षा सहित विश्वसनीयता आयामों का प्रस्ताव करता है। एंथ्रोपिक का एजेंट-मूल्यांकन मार्गदर्शन भी परिणाम जांच को ट्रांसक्रिप्ट ग्रेडिंग से अलग करता है। ये एक परीक्षण सूट को डिजाइन करने के लिए उपयोगी लेंस हैं, यह गारंटी नहीं है कि एक सूट हर तैनाती जोखिम को कवर करता है।
साक्ष्य: एआई एजेंट विश्वसनीयता के विज्ञान की ओर [1]एआई एजेंटों के लिए रहस्यों को उजागर करना [2]
अधिकृत अंतिम स्थिति को परिभाषित करें
वर्णन करें कि क्या बदल सकता है, क्या अपरिवर्तित रहना चाहिए, और क्या पूर्णता का गठन करता है। एक शेड्यूलिंग एजेंट के लिए, इसका मतलब यह हो सकता है कि असंबद्ध घटनाओं को अछूता छोड़ते हुए अनुरोधित उपस्थित लोगों के साथ बिल्कुल एक कार्यक्रम बनाना। एक कोडिंग एजेंट के लिए, इसमें परीक्षण, आर्टिफैक्ट व्यवहार और रिपॉजिटरी बाधाएं शामिल हो सकती हैं।
प्रत्येक परीक्षण को किसी ज्ञात स्थिति से प्रारंभ करें। यदि पिछले रन डेटा को पीछे छोड़ देते हैं, तो बाद के परिणाम एजेंट की गुणवत्ता के बजाय परीक्षण वातावरण के संदूषण को माप सकते हैं। कार्य को पुन: उत्पन्न करने के लिए आवश्यक उपकरण संस्करण, अनुमतियाँ, बाहरी निर्भरता और किसी भी अनुरूपित प्रतिक्रिया को रिकॉर्ड करें।
अलग-अलग परिणाम और प्रक्रिया जांच का उपयोग करें
रूब्रेक्स जहां भी कार्य उन्हें अनुमति देता है, वहां सटीक स्थिति के दावे की सिफारिश करता है। क्या रिकॉर्ड मौजूद था? क्या इसका पहचानकर्ता सही था? क्या ऑपरेशन दोहराया गया था? उन आवश्यकताओं के लिए ट्रेस समीक्षा का उपयोग करें जो अनुक्रम, प्राधिकरण या संचार पर निर्भर करती हैं। जब कई वैध पथ अनुबंध को पूरा करते हैं तो एक सटीक टूल पथ की आवश्यकता से बचें।
मूल्यांकन रिकॉर्ड में अपूर्ण रन, टाइमआउट और पुनः प्रयास को बनाए रखें। असफलताओं को दूर करने वाला हार्नेस स्पष्ट सफलता को बढ़ा सकता है। जब कोई उपयोगकर्ता सिम्युलेटर शामिल होता है, तो सिम्युलेटर के व्यवहार का भी मूल्यांकन करें: यह छिपी हुई जानकारी को प्रकट कर सकता है, गलत परिणाम स्वीकार कर सकता है, या वास्तविक उपयोग की तुलना में कार्य को आसान बना सकता है।
उदाहरणात्मक उदाहरण: एक सफल संदेश, एक अनुपस्थित रिकॉर्ड
एक एजेंट का कहना है कि उसने एक समर्थन टिकट बनाया है। टूल अनुरोध विफल रहा, और कोई टिकट मौजूद नहीं है। एक केवल-भाषा ग्रेडर संक्षिप्त समापन संदेश को पुरस्कृत कर सकता है। राज्य-आधारित जाँच विफल परिणाम की सही पहचान करती है।
अब एक टाइमआउट का परीक्षण करें जहां टिकट बनाया गया था लेकिन प्रतिक्रिया खो गई थी। पुनः प्रयास करने से पहले स्थिति का समाधान करना सही व्यवहार हो सकता है। दोनों मामले आंशिक ट्रेस में समान दिखते हैं, लेकिन उन्हें अलग-अलग पुनर्प्राप्ति क्रियाओं की आवश्यकता होती है। उन्हें अलग-अलग परिदृश्यों के रूप में शामिल करें और निरीक्षण करें कि क्या एजेंट उपलब्ध साक्ष्य को अलग कर सकता है।
विश्वसनीयता प्रोफ़ाइल की रिपोर्ट करें
पूर्णता, अनधिकृत परिवर्तन, डुप्लिकेट कार्रवाइयां, पुनर्प्राप्ति सफलता और परीक्षणों में परिवर्तनशीलता दिखाएं। संसाधन उपयोग और प्रतिनिधि विफलता के निशान शामिल करें। एक उम्मीदवार कम पूर्वानुमानित होते हुए या अधिक गंभीर विफलताओं का कारण बनते हुए अधिक कार्य पूरा कर सकता है; उस ट्रेडऑफ़ की स्पष्ट रूप से रिपोर्ट करें।
- आरंभिक स्थिति को फ़्रीज़ करें और परीक्षणों के बीच इसे रीसेट करें।
- पूर्णता के लिए स्वीकार्य वैकल्पिक रास्तों को परिभाषित करें।
- परीक्षण में रुकावटें और आंशिक उपकरण विफलताएँ।
- औसत में सुधार होने पर भी गंभीर विफलताओं को दृश्यमान रखें।
एक एआई एजेंट मूल्यांकन ढांचा जिसका आप निरीक्षण कर सकते हैं
एक व्यावहारिक एजेंट मूल्यांकन ढांचे को एक कार्य परिभाषा, एक रीसेट करने योग्य वातावरण, बार-बार परीक्षण, परिणाम जांच और एक ट्रेस की आवश्यकता होती है जो कार्यों को परिणामों से जोड़ता है। एक समर्थन एजेंट के लिए, रन से पहले अनुमत रिकॉर्ड परिवर्तनों को परिभाषित करें। इसके बाद, वास्तविक रिकॉर्ड के साथ-साथ बातचीत का भी निरीक्षण करें। विफल और बाधित परीक्षणों को बनाए रखें ताकि रिपोर्ट प्रयास किए गए कार्य को दर्शाए।
एआई एजेंट मूल्यांकन मेट्रिक्स के लिए, रूब्रेक्स अनधिकृत परिवर्तनों, डुप्लिकेट कार्रवाइयों, पुनर्प्राप्ति परिणामों और प्रति पूर्ण कार्य लागत के साथ कार्य पूरा होने की रिपोर्टिंग करने की अनुशंसा करता है। प्रत्येक कार्य के लिए परीक्षण संख्या बताएं और असंगत परिणाम अलग-अलग दिखाएं। एजेंट मूल्यांकन को उपकरण विफलता और अस्पष्ट अनुरोध का भी परीक्षण करना चाहिए: सिस्टम को बलपूर्वक पूरा करने के बजाय रोकने या स्पष्टीकरण मांगने की आवश्यकता हो सकती है।
साक्ष्य की सीमाएँ
एजेंट का मूल्यांकन पर्यावरण और टूल सिमुलेशन पर बहुत अधिक निर्भर करता है। एक बेंचमार्क परिणाम अप्रयुक्त सिस्टम या अनुमतियों पर व्यवहार स्थापित नहीं करता है। प्रस्तावित जांच एक व्यावहारिक प्रारंभिक बिंदु है, व्यापक सुरक्षा मूल्यांकन नहीं।
सामान्य प्रश्न
क्या उपकरण अनुक्रम किसी संदर्भ से बिल्कुल मेल खाना चाहिए?
केवल यदि अनुक्रम स्वयं एक आवश्यकता है। अन्यथा मूल्यांकन करें कि क्या एजेंट बाधाओं का उल्लंघन किए बिना अधिकृत परिणाम तक पहुंचता है।
एक ही कार्य क्यों दोहराएँ?
बार-बार किए गए परीक्षणों से परिवर्तनशीलता का पता चलता है जिसे एक सफल प्रदर्शन नहीं दिखा सकता। वे विविध कार्यों को प्रतिस्थापित करने के बजाय पूरक करते हैं।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- एआई एजेंट विश्वसनीयता के विज्ञान की ओर arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
- एआई एजेंटों के लिए रहस्यों को उजागर करना मानवशास्त्रीय · 2026 · इंजीनियरिंग मार्गदर्शनसमीक्षित: तकनीकी लेख. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.