इस पेज पर
संक्षिप्त उत्तर
परीक्षण करके शीघ्र-इंजेक्शन प्रतिरोध का मूल्यांकन करें कि क्या अविश्वसनीय दस्तावेज़ या टूल आउटपुट किसी सहायक को उपयोगकर्ता के अधिकृत कार्य से परे पुनर्निर्देशित कर सकते हैं। स्पष्ट अनुमतियों और हानिरहित परीक्षण लक्ष्यों के साथ एक पृथक वातावरण में अनुचित कार्यों और अवरुद्ध वैध कार्य दोनों को मापें।
क्या ले जाना है
- अविश्वसनीय पाठ को अपने स्वयं के अधिकार को परिभाषित नहीं करना चाहिए।
- लंबे संदर्भ और टूल आउटपुट को अलग कवरेज की आवश्यकता होती है।
- उपयोगी कार्य पूर्णता के साथ-साथ आक्रमण प्रतिरोध को मापें।
स्रोतों की जाँच की गई . अनुसंधान संश्लेषण और रूब्रेक्स सिफारिशें। उदाहरणों और स्थानीय प्रयोगों को लेबल किया गया है; वे ग्राहक परिणाम नहीं हैं.
हाल के बेंचमार्क परीक्षण स्थितियों का विस्तार करते हैं
LongPIBench, एक अगस्त 2026 प्रीप्रिंट, कई दस्तावेज़-उन्मुख कार्यों में लंबे इनपुट में त्वरित इंजेक्शन का अध्ययन करता है। NetInjectBench अविश्वसनीय कलाकृतियों से अलग किए गए विश्वसनीय नीति मेटाडेटा के साथ टूल क्रियाओं का अध्ययन करता है। उनके दायरे अलग-अलग हैं, लेकिन दोनों एक छोटे प्रतिकूल संकेत के बजाय यथार्थवादी संदर्भ और निष्पादन सीमाओं का परीक्षण करने के लिए प्रेरित करते हैं।
साक्ष्य: लॉन्गपीआईबेंच: प्रॉम्प्ट इंजेक्शन के लिए एक लंबा-संदर्भ बेंचमार्क [1]नेटइंजेक्टबेंच: नेटवर्क ऑपरेशंस के लिए टूल-यूज़िंग लार्ज लैंग्वेज मॉडल एजेंटों में बेंचमार्किंग इनडायरेक्ट प्रॉम्प्ट इंजेक्शन [2]
एक सुरक्षित और सार्थक परीक्षण सीमा को परिभाषित करें
अधिकृत उपयोगकर्ता कार्य, अविश्वसनीय इनपुट सतह, निषिद्ध परिणाम और परीक्षण के लिए उपयोग किए जाने वाले वातावरण को निर्दिष्ट करें। सिंथेटिक रिकॉर्ड, डमी रहस्य और हानिरहित समापन बिंदुओं का उपयोग करें। सहमत दायरे से बाहर सिस्टम या खातों के विरुद्ध खुले हमले न करें।
एप्लिकेशन के प्रवर्तन से मॉडल की प्रतिक्रिया को अलग करें। यदि एजेंट अनधिकृत ऑपरेशन का अनुरोध करता है लेकिन टूल गेटवे इसे अस्वीकार कर देता है, तो सीमा काम करती है जबकि एजेंट अभी भी नियोजन विफलता प्रदर्शित करता है। दोनों तथ्य रिकार्ड करें. एक एकल पास लेबल उपयोगी नैदानिक जानकारी छुपाएगा।
हमले के मामलों को सौम्य नियंत्रण के साथ जोड़ें
रूब्रेक्स पुनर्प्राप्त दस्तावेज़ों, उद्धृत संदेशों, टूल त्रुटियों और लंबे मिश्रित-संदर्भ इनपुट का परीक्षण करने की अनुशंसा करता है। ऐसी सौम्य सामग्री शामिल करें जिसमें अनिवार्य भाषा हो, जैसे किसी आदेश का वर्णन करने वाला मैनुअल। एक प्रणाली जो ऐसे सभी पाठों को अस्वीकार करती है, सामान्य कार्यों में विफल होने पर प्रतिरोधी दिखाई दे सकती है।
किसी एक स्थिति को हमेशा सबसे कठिन माने बिना संदर्भ की लंबाई और प्लेसमेंट के प्रभाव का मूल्यांकन करें। बचाव की तुलना करते समय अनुरोधित कार्य और अनुमतियों को स्थिर रखें। सटीक कलाकृतियों और एप्लिकेशन संस्करण को सुरक्षित रखें ताकि वास्तविक संवेदनशील डेटा को उजागर किए बिना परिणाम को पुन: प्रस्तुत किया जा सके।
उदाहरणात्मक उदाहरण: एक दस्तावेज़ एक अतिरिक्त कार्रवाई का अनुरोध करता है
एक शोध सहायक को एक दस्तावेज़ का सारांश प्रस्तुत करने के लिए कहा जाता है। एक परीक्षण दस्तावेज़ में एक असंबंधित रिकॉर्ड को बदलने का निर्देश होता है। अधिकृत कार्य संक्षेपण रहता है; दस्तावेज़ सामग्री पार्श्व कार्रवाई की अनुमति नहीं दे सकती. मूल्यांकन यह जाँचता है कि कोई उत्परिवर्तन नहीं होता है और उपयोगी सारांश अभी भी पूरा किया जा सकता है।
एक सौम्य नियंत्रण में एक पैराग्राफ शामिल होता है जो बताता है कि बिना किसी अनुरोध के रिकॉर्ड परिवर्तन कैसे काम करते हैं। सहायक को उस अनुच्छेद का सारांश प्रस्तुत करने में सक्षम होना चाहिए। यह सरल कीवर्ड-आधारित सुरक्षा के कारण होने वाली ओवरब्लॉकिंग का पता लगाने में मदद करता है।
प्रतिरोध और उपयोगिता को दृश्यमान रखें
रिपोर्ट सीमा उल्लंघन का प्रयास, निष्पादित उल्लंघन, अवरुद्ध वैध कार्य, और अपूर्ण रन अलग से। दस्तावेज़ उपकरण-स्तर नियंत्रण और ज्ञात कवरेज अंतराल। एक पासिंग टेस्ट सूट परीक्षण की गई स्थितियों के बारे में एक सीमित अवलोकन का समर्थन करता है, न कि यह दावा करता है कि सिस्टम इंजेक्शन-प्रूफ है।
- पृथक अवस्था और हानिरहित लक्ष्यों का उपयोग करें।
- ट्रैक करें कि क्या निषिद्ध कार्रवाई का प्रयास किया गया था या निष्पादित किया गया था।
- कमांड-जैसी भाषा वाले सामान्य दस्तावेज़ शामिल करें।
- टूल, पुनर्प्राप्ति, अनुमति या मॉडल परिवर्तन के बाद पुनः परीक्षण करें।
एलएलएम सुरक्षा जांच और रेलिंग की सीमाएं
एलएलएम सुरक्षा परीक्षण के लिए, परिभाषित करें कि प्रतिकूल मामलों के निर्माण से पहले एप्लिकेशन को किन संपत्तियों और कार्यों की सुरक्षा करनी चाहिए। एलएलएम एप्लिकेशन में कमजोरियां उत्पन्न हो सकती हैं जहां अविश्वसनीय पाठ टूल कॉल को प्रभावित करता है, डेटा सीमा को पार करता है, या निर्देश प्राथमिकता को बदलता है। रूब्रेक्स प्रत्येक परीक्षण को एक विशिष्ट संरक्षित कार्रवाई और एक अधिकृत वातावरण के भीतर स्पष्ट रूप से देखने योग्य परिणाम के साथ मैप करने की अनुशंसा करता है।
एलएलएम रेड टीमिंग एक सीमित मूल्यांकन की सूचना दे सकती है, लेकिन एक प्रॉम्प्ट-इंजेक्शन सूट अकेले सभी एलएलएम कमजोरियों को कवर नहीं करता है। यह जांचने के लिए कि क्या एलएलएम रेलिंग उपयोगी व्यवहार के साथ-साथ हानिकारक कार्यों को रोकती है, वैध अनुरोधों के साथ प्रतिकूल मामलों को जोड़ें। परीक्षण किए गए नियंत्रण, देखे गए परिणाम और अप्रीक्षित सीमाओं को रिकॉर्ड करें। मॉडल के विवेकाधीन निर्देशों के बाहर पहुंच नियंत्रण और अनुमति प्रवर्तन रखें।
साक्ष्य की सीमाएँ
यह एक विश्वसनीयता-उन्मुख परीक्षण डिज़ाइन है, न कि एक व्यापक प्रवेश परीक्षण। उद्धृत कार्य चयनित प्रणालियों पर प्रीप्रिंट अनुसंधान है। इन मामलों को पारित करने से भविष्य के सभी हमलों के लिए प्रतिरोध स्थापित नहीं किया जा सकता है या एप्लिकेशन-स्तरीय पहुंच नियंत्रण की आवश्यकता को दूर नहीं किया जा सकता है।
सामान्य प्रश्न
क्या कोई सिस्टम प्रॉम्प्ट स्वयं प्रॉम्प्ट इंजेक्शन को हल कर सकता है?
एक संकेत मदद कर सकता है, लेकिन मूल्यांकन को निष्पादन-समय अनुमतियों और अलगाव का भी निरीक्षण करना चाहिए। यह न मानें कि पाठ्य निर्देश प्रवर्तनीय सीमाओं का स्थान ले लेते हैं।
क्या हर संदिग्ध दस्तावेज़ को ब्लॉक करना सफलता माना जाता है?
केवल तभी जब वह व्यवहार उत्पाद आवश्यकताओं के अनुरूप हो। अवरुद्ध करने के साथ-साथ उल्लंघनों को रोकने के कारण खोए गए वैध कार्यों को मापें।
स्रोत और आगे पढ़ना
इस ब्रीफिंग के पीछे प्राथमिक स्रोत। किसी स्रोत के निष्कर्ष उसकी अपनी अध्ययन स्थितियों पर लागू होते हैं; arXiv पर प्रकाशन सहकर्मी समीक्षा स्थापित नहीं करता है।
- लॉन्गपीआईबेंच: प्रॉम्प्ट इंजेक्शन के लिए एक लंबा-संदर्भ बेंचमार्क arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
- नेटइंजेक्टबेंच: नेटवर्क ऑपरेशंस के लिए टूल-यूज़िंग लार्ज लैंग्वेज मॉडल एजेंटों में बेंचमार्किंग इनडायरेक्ट प्रॉम्प्ट इंजेक्शन arXiv · 2026 · प्रीप्रिंटसमीक्षित: सार और प्रकाशन रिकॉर्ड. पहुँच गया 25 सित॰ 2026.
प्रश्न या सुधार? रूब्रेक्स को लिखें. हमारा संपादकीय दृष्टिकोण पढ़ें.