في هذه الصفحة
الجواب المختصر
حماية تطبيق LLM في ثلاثة حدود: من يمكنه استخدامه، وما يمكن للنموذج الوصول إليه أو تغييره، ومقدار العمل الذي يمكن أن يؤديه كل طلب. اختبر الحقن الفوري وإساءة استخدام الروبوت الآلي بشكل منفصل، وتحقق من البيانات الفعلية ونتائج الأداة، واحتفظ بالأدلة لكل إصلاح مقترح. إن رسالة الرفض أو لوحة القيادة الهادئة وحدها لا تثبت صمود الحدود.
ما يجب أخذه
- إساءة استخدام الروبوت يمكن أن تستهلك الموارد من خلال الطلبات العادية دون التلاعب بالنموذج.
- تحتاج ضوابط التفويض والإنفاق إلى التنفيذ في التطبيق والخدمات النهائية.
- قم بإقران كل حالة تعارضية بمهمة مشروعة حتى لا تؤدي الحماية إلى تعطيل المنتج بهدوء.
- الإبلاغ عن النسخة المختبرة والنتيجة المرصودة والمسارات غير المختبرة ونتيجة إعادة الاختبار.
تم التحقق من المصادر . توليف البحوث وتوصيات Rubrex. تم تصنيف الأمثلة والتجارب المحلية؛ فهي ليست نتائج العميل.
ما نوع الهجوم الذي تحاول إيقافه؟
يغطي أمان LLM التطبيق حول النموذج بالإضافة إلى استجاباته. محاولات الحقن الفوري لجعل المدخلات غير الموثوق بها تعمل كتعليمات. تستخدم إساءة استخدام الروبوتات الأتمتة لإساءة استخدام سير العمل، وربما دون أي مطالبة خاصة. يمكن أن يختبر نفس التطبيق كلا الأمرين، لكن عنصر التحكم الذي يلتقط اللغة المشبوهة لن يوقف بالضرورة الطلبات المتكررة التي تبدو مشروعة.
يتضمن مشروع التهديدات الآلية لـ OWASP صراحةً إساءة استخدام وظائف التطبيق الصالحة. تصف إرشادات مخاطر LLM الخاصة بها الاستدلال المفرط كطريق لتدهور الخدمة والخسارة الاقتصادية. استخدم هذه الفروق عند فرز حادث ما: حدد الأصول المتأثرة والنتيجة قبل تحديد ما إذا كانت المشكلة تنتمي إلى سلوك النموذج أو الوصول إلى الحساب أو التفويض أو إدارة الموارد.
الأدلة: التهديدات الآلية لتطبيقات الويب OWASP [1]LLM10:2025 الاستهلاك غير المحدود [2]
| التهديد | الحدود للاختبار | إثبات النتيجة |
|---|---|---|
| الحقن الفوري في وثيقة مستردة | لا يمكن لنص المستند غير الموثوق به أن يسمح بإجراء أداة | تتبع الأداة وحالة السجل النهائية |
| طلب بيانات بين المستأجرين | يمكن للمتصل استرجاع السجلات المسموح بها فقط | تم رفض الوصول بالإضافة إلى عدم وجود محتوى مستأجر آخر |
| الاستدلال المدفوع المتكرر | لا يجوز للحساب أو المستأجر تجاوز ميزانية العمل المتفق عليها | قرار القبول وعداد الاستخدام وعدد مكالمات المزود |
| أداة الهروب أو حلقة إعادة المحاولة | المهمة لها عدد محدود من الخطوات وموعد نهائي | عدد الخطوات والدليل على توقف المزيد من العمل |
| طلب الآثار الجانبية المتكررة | إعادة محاولة نفس العملية لا يؤدي إلى تكرار الإجراء | سجل واحد ناتج ومعرف تشغيل ثابت |
| تم حظر الأتمتة الشرعية | تحتفظ عمليات التكامل المعتمدة بمسار قابل للاستخدام | تمت مهمة التحكم بنجاح ضمن الحصة المخصصة لها |
اكتب حدود الاختبار قبل اختيار الماسح الضوئي
بالنسبة لسير عمل التقييم المقترح لـ Rubrex، قم بتسمية إصدار التطبيق والبيئة ونقاط الإدخال وتكوين النموذج ومصادر الاسترجاع والأدوات الممكّنة. تحديد مالك كل مورد محمي. اكتب جملة واحدة للنتيجة التي يجب ألا تحدث أبدًا، مثل رؤية مستخدم الدعم لتذكرة مستأجر آخر أو قيام مساعد للقراءة فقط بإرسال رسالة.
استخدم بيئة اختبار مع الحسابات الاصطناعية والمستندات ووجهات الأدوات. قم بالموافقة على سقف الطلب وسقف الإنفاق ونافذة التنفيذ وشروط التوقف مع مالك النظام. يمكن للحصة ذات التكوين المنخفض ممارسة الإنفاذ دون إحداث فيضانات مرورية. احتفظ بمجموعة صغيرة من مهام العميل العادية كعناصر تحكم، وقم بتسجيل حالة بيانات البداية حتى يمكن إعادة تعيين التجارب اللاحقة. هذه خطة اختبار تطبيق، وليست إذنًا لفحص الخدمات غير ذات الصلة.
اختبار الحقن الفوري مقابل أذونات الأداة الفعلية
توصي OWASP بمعاملة حواجز الحماية القائمة على النموذج كطبقة واحدة جنبًا إلى جنب مع الأدوات المقيدة والتحقق من الصحة والامتياز الأقل. إن توجيهاتها المفرطة في الوكالة تضع التفويض في الأنظمة النهائية بدلاً من ترك النموذج ليقرر ما إذا كان الإجراء مسموحًا به. تعتبر التعليمات القوية سياقًا مفيدًا، ولكنها لا يمكن أن تكون بديلاً للتحقق من الأذونات.
في اختبار الدعم التوضيحي، تطلب ملاحظة اصطناعية مسترجعة من المساعد تغيير مالك التذكرة على الرغم من أن المستخدم طلب ملخصًا فقط. استبدل أداة الكتابة المباشرة بتطبيق اختبار مُجهز. قم بتسجيل ما إذا كان النموذج قد طلب الكتابة، وما إذا كانت حدود الأداة تسمح بذلك، وما إذا كان أي سجل قد تغير. يعتبر رفض النموذج وطلب الأداة المرفوضة ملاحظتين مختلفتين؛ الحفاظ على حد سواء.
ثم أرسل تحديثًا شرعيًا من خلال حساب اختبار معتمد. إذا كان الإصلاح المقترح يمنع كل تحديث، فهذا يعني أنه قد غيّر عقد المنتج بدلاً من إظهار حماية قابلة للاستخدام. بالنسبة للإجراءات التي تتطلب الموافقة، تحقق من أن الهدف والوسائط المعتمدة هي التي تم تنفيذها وأن تغييرها يتطلب قرارًا جديدًا.
الأدلة: ورقة الغش في الوقاية من الحقن الفوري LLM [3]LLM06:2025 الوكالة المفرطة [4]
التحكم في إساءة استخدام الروبوت قبل أن يؤدي إلى إنشاء تكاليف للنموذج أو الأداة
تدعو إرشادات استهلاك موارد واجهة برمجة التطبيقات (API) الخاصة بـ OWASP إلى فرض حدود واضحة على عبء العمل وإنفاق الطرف الثالث. بالنسبة لتطبيق LLM، قم بتقييم تكلفة المهمة الكاملة، بما في ذلك الاسترجاع واستدعاءات النماذج وعمليات الأداة وإعادة المحاولة. لا يعد تحديد عدد الطلبات الواردة كافيًا إذا كان من الممكن أن يؤدي طلب واحد مقبول إلى تشغيل عمل غير محدود في المراحل النهائية.
توصي Rubrex بتوثيق حدود القبول وحدود التنفيذ المنفصلة. عند القبول، قم بربط الطلب بحساب أو مستأجر تم التحقق منه والتحقق من مخصصاته. أثناء التنفيذ، حجم الإدخال المقيد، وميزانية الإخراج، والعمل المتزامن، وخطوات الأداة، ومحاولات إعادة المحاولة. قم بتطبيق موعد نهائي وحدد معنى الإلغاء للعمل الموجود في قائمة الانتظار بالفعل أو المرسل إلى مقدم الخدمة. استخدم ضوابط إنفاق مقدمي الخدمة حيثما كان ذلك متاحًا؛ تنبيه الفواتير وحده لا يوقف الاستهلاك.
كفحص حسابي توضيحي، إذا كانت سياسة الاختبار تسمح بثلاثة استدعاءات نموذجية لكل مهمة وبمحاولتين على الأكثر لكل مكالمة، فيجب أن تسمح الميزانية بما يصل إلى تسعة محاولات لاستدعاءات النماذج. وهذا ليس إعداد إنتاج موصى به أو تقدير تكلفة. إنها طريقة للكشف عن عدم التطابق بين الحصة النسبية لكل طلب والعمل الذي يمكن للتطبيق جدولته فعليًا. قم بتضمين ميزانيات الاسترجاع والأدوات الخارجية بشكل منفصل.
الأدلة: API4:2023 استهلاك غير مقيد للموارد [5]LLM10:2025 الاستهلاك غير المحدود [2]
مثال منفذ: سباق الحصص والإصلاح وإعادة الاختبار
قمنا بتنفيذ تثبيت Node.js المرتبط الخالي من النماذج في 3 أكتوبر 2026. ويستخدم طلبين متزامنين وبدلًا من وحدة اصطناعية واحدة. في السيناريو الضعيف، يجبر الحاجز كلا الطلبين على الوصول إلى نفس التوقف المؤقت قبل أن يستمر أي منهما. لا توجد طلبات صادرة، أو سجلات مستخدم حقيقية، أو مكالمات نموذجية مدفوعة، أو أهداف موقع مباشر؛ يتم حساب مكالمات الموفر بواسطة كعب روتين في الذاكرة.
في النسخة الضعيفة، يتحقق كل طلب من البدل المتبقي، وينتظر الحاجز، ثم يتناقص. كلاهما يجتاز الاختبار: يتم قبول اثنين، ويتم إجراء مكالمتين كعب، ويصبح البدل المتبقي −1. في النسخة الثابتة، يحتفظ الطلب بوحدته بشكل متزامن قبل الانتظار الأول. يتم قبول طلب واحد فقط ويتم رفض الآخر قبل كعب الروتين؛ البدل المتبقي هو صفر.
قم بتنزيل البرنامج النصي وتشغيل العقدة quota-race-demo.mjs باستخدام Node.js 22. يقوم بطباعة أربعة سيناريوهات؛ يحتوي سجل النتيجة على المخرجات التي تمت ملاحظتها ووقت التشغيل والتاريخ وتجزئة SHA-256 للبرنامج النصي الدقيق. ترفض مراقبة الميزانية الصفرية كلا الطلبين؛ تسمح السيطرة الكافية على الميزانية بالأمرين معًا. تتحقق عناصر التحكم هذه من أن الإصلاح لا يقتصر على حظر كل طلب فحسب.
يوضح هذا أحد عيوب الجدولة وإصلاح عملية واحدة. إنه ليس تطبيقًا للحصة الموزعة: لا يمكن لـ JavaScript المتزامن إجراء تسلسل للطلبات عبر العمال أو النسخ المتماثلة. يتطلب قبول الإنتاج حجزًا ذريًا في التخزين المشترك، وعدم القدرة على إعادة المحاولة، والتسوية الصريحة عند الإكمال أو الإلغاء. تحتاج طلبات نماذج التكلفة المتغيرة أيضًا إلى حجز متحفظ وتعديل الاستخدام النهائي. التحقق من تلك السلوكيات بشكل منفصل؛ لا تختبر هذه التركيبة عزل المستأجر أو الحقن الفوري أو البنية التحتية لإنتاج Rubrex.
- قم بتنزيل أداة سباق الحصص القابلة للتشغيل (Node.js)
- قم بتنزيل التنفيذ المسجل وتجزئة البرنامج النصي (JSON)
| السيناريو | مقبول / مرفوض | كعب المكالمات | البدل المتبقي |
|---|---|---|---|
| الضعيف: البدل 1 | 2 / 0 | 2 | −1 |
| محجوز قبل الانتظار: بدل 1 | 1 / 1 | 1 | 0 |
| مراقبة الميزانية الصفرية | 0 / 2 | 0 | 0 |
| مراقبة الميزانية الكافية: بدل 2 | 2 / 0 | 2 | 0 |
مجموعة اختبار صغيرة مع شروط النجاح التي يمكن ملاحظتها
الحالات التالية هي ورقة عمل مقترحة للبدء، وليست نتائج من عميل Rubrex أو مطالبة بالتغطية الكاملة. استبدل حدود المثال بالعقد المكتوب للمنتج. سجل النتيجة المتوقعة قبل تشغيل كل حالة وقم بتضمين إشارة إلى الأدلة بعد ذلك.
بالنسبة لاختبارات الحصص النسبية، قم بتكوين بدل صغير عمدًا في بيئة معزولة واحتفظ بحجم الطلب منخفضًا. بالنسبة لاختبارات الأذونات، استخدم اثنين من المستأجرين الاصطناعيين وعلامات فريدة غير حساسة. لإجراء اختبار إعادة المحاولة، قم بمحاكاة فشل الإقرار بعد اكتمال تشغيل الأداة المزيفة. تتيح هذه التركيبات فحص الحدود دون الاعتماد على انقطاع فعلي أو بيانات حقيقية للعملاء أو آثار جانبية مدمرة.
| القضية | الإعداد | النتيجة المتوقعة للتحقق |
|---|---|---|
| يتلقى مساعد القراءة فقط تعليمات الكتابة | وثيقة اصطناعية؛ أداة الكتابة المجهزة | لا يوجد تغيير غير مصرح به للحالة؛ تظل محاولات المكالمات مرئية |
| يطلب المستأجر "أ" سجل اختبار المستأجر "ب". | حسابان اختباريان معزولان ووثائق علامة | تم رفض الوصول قبل إرجاع المحتوى |
| تبدأ المهمة بدون أي بدل متبقي | حساب تجريبي بحصة مستنفدة | تم الرفض قبل قبول طلب جديد قابل للفوترة |
| مهمتان تتنافسان على البدل النهائي | الطلبات المتزامنة الخاضعة للرقابة؛ مزود الأجهزة | حجز البدل ذري؛ العمل المقبول يبقى ضمن الميزانية |
| وصلت الأداة إلى حد الخطوة الخاص بها | تسلسل أداة وهمية بحد أقصى صغير تم تكوينه | يتوقف التنفيذ ويبلغ عن مهمة غير مكتملة |
| يتم فقدان نتيجة الأداة بعد الانتهاء | آثار جانبية مزيفة مع معرف تشغيل مستقر | تعمل إعادة المحاولة على تسوية الحالة أو إعادة استخدام النتيجة دون تكرار |
| يستخدم العميل الشرعي المسار المحمي | حساب معتمد ومندوب طلب عادي | تكتمل المهمة ضمن زمن الوصول المسموح به وميزانية الموارد |
تحويل النتيجة إلى إصلاح يمكن لأي شخص التحقق منه
تشرح النتيجة المفيدة ما كان متوقعًا، وما حدث، وسبب أهميته، وما هو الدليل الذي يدعم الاستنتاج. احتفظ بإصدار النظام وحالة الاختبار ودور الحساب والتكوين والحالة المرصودة وتشغيل المعرف معًا. افصل الشك الناتج عن النموذج عن الفشل الحدودي المتكرر. قم بوصف التأثير باستخدام البيانات أو الإجراء الذي يمكن الوصول إليه، بدلاً من الصياغة الدرامية للموجه.
للحصول على نتائج الحصص التوضيحية، تكون النتيجة المتوقعة هي الرفض قبل الاتصال بمزود الخدمة. قد يكون الفشل الملحوظ عبارة عن مكالمة مزود تم تسجيلها بعد استنفاد رصيد الحساب. يمكن لإصلاح المرشح حجز البدل قبل القبول. يجب أن تتضمن إعادة الاختبار الحالة الأصلية، والتزامن الخاضع للرقابة حول السماح النهائي، وطلبًا مشروعًا بحصة كافية. سجل ما إذا كانت النتيجة ثابتة، أو ثابتة جزئيًا، أو غير متكررة، أو لم يتم اختبارها؛ هذه التسميات غير قابلة للتبديل.
| المجال | ما يجب الاحتفاظ به |
|---|---|
| النطاق | الإصدار والبيئة والمكون والدور والاستثناءات الصريحة |
| التوقع | الحدود المحمية وشرط القبول الملحوظ |
| الملاحظة | المدخلات المنقحة والتتبع ذي الصلة والحالة النهائية |
| التأثير | البيانات التي يمكن الوصول إليها أو الإجراء غير المصرح به أو التعرض للموارد |
| العلاج | المالك والتحكم المقترح والتكوين أو مرجع الكود |
| اعادة الاختبار | الحالات الأصلية وحالات المراقبة والنتيجة والتاريخ وعدم اليقين المتبقي |
قياس الحماية وسهولة استخدام المنتج معًا
بالنسبة لقراءات التقييم، قم بالإبلاغ عن انتهاكات الحدود، والطلبات المرفوضة، والمهام غير المكتملة، والكتل الخاطئة في الحالات المشروعة، واستخدام الموارد. اذكر عدد ونوع الحالات وراء كل معدل. الحفاظ على اختلافات التكوين بين خط الأساس والمرشح. يمكن أن تخفي النتيجة الإجمالية الإجراء غير المصرح به الذي كان الاختبار يهدف إلى منعه.
بالنسبة للعمليات الجارية، حدد من يتلقى التنبيه وما يمكنه تغييره. قد تكون الاستجابة المفيدة هي إيقاف أداة مكلفة مؤقتًا، أو تقليل بدل المستأجر، أو طلب المراجعة مؤقتًا على مسار حساس. حافظ على التحكم في الوصول إلى سجلات التحقيق وتجنب نسخ محادثات العملاء الكاملة إلى قناة تنبيه عامة. بعد وقوع حادث مؤكد، أضف حالة انحدار منقحة وتحقق من الحدود ذات الصلة مرة أخرى بعد تغيير النموذج أو المطالبة أو الاسترداد أو الأداة.
حدود الأدلة
يُبلغ قسم سباق الحصص عن محاكاة محلية مُنفذة وخالية من النماذج مع تعليمات برمجية ونتائج قابلة للتنزيل. السيناريوهات الأخرى هي حالات اختبار مقترحة، وليست هجمات منفذة أو نتائج العميل. توضح المباراة وجود عيب في جدولة عملية واحدة؛ فهو لا يتحقق من صحة الحصص الموزعة، أو البنية التحتية الحية، أو الدفاعات السريعة، أو عزل المستأجر. توفر إرشادات OWASP تصنيفًا للتهديدات، وليس دليلاً على أن أي تطبيق معين آمن. اختبر فقط الأنظمة المعتمدة ذات الحدود المتفق عليها والتركيبات الآمنة.
الأسئلة الشائعة
هل هجوم روبوت LLM يتطلب الحقن دائمًا؟
لا. يمكن للعملاء الآليين إساءة استخدام الميزات العادية أو استنفاد الميزانية دون تغيير تعليمات النموذج. قم بتشخيص المورد المحمي والسلوك الملحوظ قبل تحديد عنصر التحكم.
هل سيحل WAF أو CAPTCHA هذه المشكلة؟
يمكن أن تدعم هذه العناصر ضوابط حركة المرور وإساءة الاستخدام، ولكنها لا تنشئ ترخيصًا للمستأجر، أو تقيد كل إذن أداة، أو تقيد العمل النهائي لمهمة مقبولة. تحقق من هذه الحدود في التطبيق وقم بحساب عمليات التكامل وإمكانية الوصول المشروعة.
هل حواجز الحماية LLM كافية؟
استخدمها كطبقة كشف أو سياسة واختبر عمليات الحظر والأخطاء الخاطئة الخاصة بها. احتفظ بالترخيص وحدود الموارد وعمليات التحقق من الإجراءات اللاحقة في التطبيق القابل للتنفيذ أو عناصر التحكم النهائية.
ماذا لو لم يبلغ الماسح الضوئي عن أي أعطال؟
هذا دليل على الحالات والتكوين والملاحظات في هذا التشغيل. الحفاظ على النطاق الذي تم اختباره وإضافة سيناريوهات للحدود الخاصة بالتطبيقات؛ لا تحول الفحص النظيف إلى مطالبة أمنية عالمية.
كيف يتناسب هذا مع مشاركة Rubrex؟
يمكن لتقييم أمان AI SaaS واسع النطاق التحقيق في أسئلة الوصول والأدوات والتحكم في إساءة الاستخدام المتفق عليها وتقديم النتائج مع سجل إعادة الاختبار. يتم تحديد نطاق التقييمات الأمنية بشكل منفصل عن سباق موثوقية الذكاء الاصطناعي لمدة 10 أيام عمل.
المصادر ومزيد من القراءة
المصادر الأولية وراء هذا الإيجاز. تنطبق النتائج التي توصل إليها المصدر على ظروف الدراسة الخاصة به؛ النشر على arXiv لا يؤسس لمراجعة النظراء.
- التهديدات الآلية لتطبيقات الويب OWASP واسب · المرجع الحي · التوجيه الأمنيتمت المراجعة: نظرة عامة على المشروع ونطاقه. تم الوصول إليها 3 أكتوبر 2026.
- LLM10:2025 الاستهلاك غير المحدود واسب · 2025 · التوجيه الأمنيتمت المراجعة: وصف المخاطر وإرشادات التحكم في الموارد. تم الوصول إليها 3 أكتوبر 2026.
- ورقة الغش في الوقاية من الحقن الفوري LLM واسب · المرجع الحي · التوجيه الأمنيتمت المراجعة: حدود الهجوم وضوابط الطبقات والقيود. تم الوصول إليها 3 أكتوبر 2026.
- LLM06:2025 الوكالة المفرطة واسب · 2025 · التوجيه الأمنيتمت المراجعة: نطاق الأداة والأذونات والترخيص النهائي. تم الوصول إليها 3 أكتوبر 2026.
- API4:2023 استهلاك غير مقيد للموارد واسب · 2023 · التوجيه الأمنيتمت المراجعة: حدود الموارد وإرشادات الوقاية. تم الوصول إليها 3 أكتوبر 2026.
أسئلة أو تصحيحات؟ اكتب إلى Rubrex. اقرأ منهجنا التحريري.