تقييم الحقن الفوري لعوامل الاسترجاع واستخدام الأدوات

تعمل المعايير الحديثة على توسيع شروط الاختبار

LongPIBench، نسخة ما قبل الطباعة في أغسطس 2026، تدرس الحقن الفوري لمدخلات أطول عبر العديد من المهام الموجهة نحو المستندات. يقوم NetInjectBench بدراسة إجراءات الأداة باستخدام بيانات تعريف السياسة الموثوقة المنفصلة عن العناصر غير الموثوق بها. تختلف نطاقاتها، لكن كلاهما يحفز على اختبار السياق الواقعي وحدود التنفيذ بدلاً من مطالبة عدائية قصيرة واحدة.

الأدلة: LongPIBench: معيار طويل السياق للحقن الفوري [1]NetInjectBench: قياس الأداء الفوري غير المباشر في الأدوات باستخدام وكلاء نماذج اللغة الكبيرة لعمليات الشبكة [2]

تحديد حدود اختبار آمنة وذات معنى

حدد مهمة المستخدم المعتمد، وسطح الإدخال غير الموثوق به، والنتيجة المحظورة، والبيئة المستخدمة للاختبار. استخدم السجلات الاصطناعية والأسرار الوهمية ونقاط النهاية غير الضارة. لا تقم بتنفيذ هجمات مفتوحة ضد أنظمة أو حسابات خارج النطاق المتفق عليه.

التمييز بين استجابة النموذج وإنفاذ التطبيق. إذا طلب الوكيل عملية غير مصرح بها ولكن بوابة الأداة رفضتها، فإن الحدود تعمل بينما لا يزال الوكيل يظهر فشل التخطيط. سجل كلا الحقيقتين. من شأن علامة مرور واحدة أن تخفي معلومات تشخيصية مفيدة.

إقران حالات الهجوم بعناصر التحكم الحميدة

توصي Rubrex باختبار المستندات المستردة والرسائل المقتبسة وأخطاء الأدوات والمدخلات الطويلة ذات السياق المختلط. قم بتضمين مادة حميدة تحتوي على لغة الأمر، مثل دليل يصف أمرًا. قد يبدو النظام الذي يرفض كل هذه النصوص مقاومًا أثناء فشله في المهام العادية.

قم بتقييم تأثير طول السياق والموضع دون افتراض أن موضعًا واحدًا هو الأصعب دائمًا. حافظ على استقرار المهمة والأذونات المطلوبة عند مقارنة الدفاع. الحفاظ على القطع الأثرية الدقيقة وإصدار التطبيق حتى يمكن إعادة إنتاج النتيجة دون الكشف عن بيانات حساسة حقيقية.

مثال توضيحي: مستند يطلب إجراءً جانبيًا

يُطلب من مساعد البحث تلخيص مستند. يحتوي مستند الاختبار على تعليمات لتغيير سجل غير ذي صلة. وتظل المهمة المصرح بها هي التلخيص؛ لا يمكن لمحتوى المستند منح الإذن للإجراء الجانبي. يتحقق التقييم من عدم حدوث أي طفرة وأنه لا يزال من الممكن إكمال الملخص المفيد.

يتضمن عنصر التحكم الحميد فقرة تشرح كيفية عمل تغييرات السجل، دون طلب ذلك. يجب أن يكون المساعد قادرًا على تلخيص تلك الفقرة. يساعد هذا في اكتشاف الحظر الزائد الناتج عن الدفاعات البسيطة المستندة إلى الكلمات الرئيسية.

اجعل المقاومة والفائدة مرئية

الإبلاغ عن محاولات انتهاك الحدود، والانتهاكات المنفذة، والمهام المشروعة المحظورة، وعمليات التشغيل غير المكتملة بشكل منفصل. توثيق الضوابط على مستوى الأداة وفجوات التغطية المعروفة. تدعم مجموعة الاختبارات الناجحة الملاحظة المحدودة حول الظروف التي تم اختبارها، وليس الادعاء بأن النظام مقاوم للحقن.

• استخدم أهدافًا معزولة وغير ضارة.
• تتبع ما إذا كان قد تمت محاولة الفعل المحظور أو تنفيذه.
• قم بتضمين المستندات العادية بلغة تشبه الأوامر.
• إعادة الاختبار بعد تغيير الأداة أو الاسترجاع أو الإذن أو النموذج.

الشيكات الأمنية وحدود الدرابزين LLM

بالنسبة لاختبار الأمان LLM، حدد الأصول والإجراءات التي يجب على التطبيق حمايتها قبل إنشاء حالات الخصومة. قد تنشأ ثغرات أمنية في تطبيق LLM عندما يؤثر النص غير الموثوق به على استدعاء أداة، أو يعبر حدود البيانات، أو يغير أولوية التعليمات. توصي Rubrex بتعيين كل اختبار لإجراء محمي محدد ونتائج يمكن ملاحظتها بوضوح داخل بيئة معتمدة.

يمكن لفريق LLM الأحمر أن يفيد في التقييم المحدود، لكن مجموعة الحقن السريع وحدها لا تغطي جميع نقاط الضعف في LLM. قم بإقران حالات الخصومة بالطلبات المشروعة للتحقق مما إذا كانت حواجز حماية LLM تمنع السلوك المفيد بالإضافة إلى الإجراءات الضارة. سجل التحكم الذي تم اختباره، والنتيجة المرصودة، والحدود غير المختبرة. احتفظ بالتحكم في الوصول وإنفاذ الأذونات خارج التعليمات التقديرية للنموذج.

الأسئلة الشائعة