في هذه الصفحة
الجواب المختصر
ابدأ بالمهمة التي يحتاج المستخدمون لديك إلى إكمالها. اختر حالات اختبار واقعية واكتب معنى النجاح. تحقق من القواعد الدقيقة باستخدام الكود. اطلب من المراجعين الحكم على الإجابات التي تحتاج إلى سياق. اختبر كل تغيير في نفس الحالات، ثم افحص حالات الفشل الخطيرة قبل الإصدار.
ما يجب أخذه
- اختبار سير العمل بالكامل، بدءًا من طلب المستخدم وحتى النتيجة النهائية.
- تتبع حالات الفشل الخطيرة من تلقاء نفسها، حتى عندما يتحسن متوسط الدرجات.
- حفظ حالات الاختبار وإعدادات النظام والإجابات وأسباب كل درجة.
تم التحقق من المصادر . توليف البحوث وتوصيات Rubrex. تم تصنيف الأمثلة والتجارب المحلية؛ فهي ليست نتائج العميل.
ما جاء في الهداية
يقسم دليل Anthropic لشهر يناير 2026 اختبارات الوكيل إلى مهام وعمليات تشغيل متكررة وقواعد تسجيل وبيئة اختبار. كما أنه يفصل ما يقوله الوكيل عما يفعله بالفعل. على سبيل المثال، قد يقول الوكيل أنه قام بحفظ سجل عندما لم يتغير السجل مطلقًا. يسجل النتيجة وكذلك المحادثة. هذه نصيحة من بائع نموذجي، وليست دليلاً على أن طريقة واحدة تناسب كل نظام.
الأدلة: إزالة الغموض عن التقييمات لعملاء الذكاء الاصطناعي [1]
اختر القرار الذي يجب أن يدعمه اختبارك
اكتب سؤال الإصدار في جملة واحدة. على سبيل المثال: هل يستطيع مساعد الدعم لدينا شرح سياسة الحساب دون الوعد باسترداد الأموال التي لا يمكنه الموافقة عليها؟ وهذا يعطي الاختبار مستخدمًا ومهمة ومخاطر واضحة. إن الهدف الغامض مثل "كن أكثر فائدة" يمكن أن يكافئ الإجابة السلسة والخاطئة.
قرر مقدار سير العمل المطلوب اختباره. قد تكون إجابة واحدة كافية لأداة التلخيص. قد يحتاج مساعد الدردشة إلى محادثة كاملة. إذا قام وكيل بتحرير سجل، فتحقق من السجل المحفوظ أيضًا. احفظ إصدار النموذج والموجه وإعدادات البحث وأذونات الأداة. التغيير في أي منها يمكن أن يغير النتيجة.
أنشئ مجموعة اختبار صغيرة يمكنك مراجعتها
توصي Rubrex بثلاث مجموعات من الحالات: المهام الشائعة، وحالات الحافة، وحالات الفشل المعروفة. لكل حالة، اكتب السلوك المتوقع وسبب إدراج الحالة في الاختبار. كبح بعض الحالات أثناء ضبط النظام. استخدم التشغيل التجريبي الأول للعثور على المتطلبات غير الواضحة قبل استخدام النتائج لدعم عملية الإطلاق.
استخدم الكود للتحقق من القواعد الدقيقة، مثل الحقول المطلوبة أو معرفات السجلات المسموح بها. استخدم دليل تسجيل النقاط للمعنى والتفاصيل المفقودة وعدم اليقين الصادق. اطلب من المراجعين تسجيل مجموعة صغيرة مشتركة بأنفسهم. ناقش نقاط الخلاف قبل أن تثق في قاضي آلي للتعامل مع المزيد من القضايا. احتفظ بالحالات التي لا يمكن تسجيلها في التقرير واشرح السبب.
- احفظ النسخة الأصلية وكل إجابة بما في ذلك الطلبات الفاشلة.
- قم بتشغيل الإصدار الذي تم تغييره على نفس المدخلات والحدود.
- فحص الحالات التي تحسنت والحالات التي ساءت.
- قم بإعطاء كل فشل يمنع تحرير مالك مسمى.
مثال: مساعد يشرح السياسة
لنفترض أن أحد المساعدين يجب أن يستشهد بالسياسة الحالية، ويشرح الاستثناءات، ويتجنب الوعد بالموافقة. قد تستوفي القاعدتين الأوليين ولكنها لا تزال تفشل من خلال الوعد باسترداد الأموال. سجل كل قاعدة حتى يتمكن الفريق من العثور على المشكلة. سجل أيضًا ما إذا كانت الإجابة قد اجتازت كل القواعد المطلوبة.
الآن لنفترض أن هناك موجهًا جديدًا يعمل على إصلاح الاستشهادات ولكنه يقدم المزيد من الوعود غير المدعومة. وهذه نتيجة مختلطة. اختبر تغييرًا يستهدف الوعود، ثم أعد تشغيل الحالات السابقة للتحقق من حالات الفشل الجديدة. هذا نموذج لخطة اختبار، وليس نتيجة من عميل Rubrex.
امنح المهندس التالي ما يكفي لإعادة الاختبار
مشاركة الحالات وقواعد التسجيل وإصدارات النظام والإجابات الأصلية. قم بتجميع حالات الفشل حسب السبب وشرح ما لا يزال غير معروف. قم بتضمين خطوات إعادة تشغيل الاختبار وإضافة الفشل الذي تم اكتشافه بعد الإطلاق. يجب أن يكون مهندس آخر قادرًا على التحقق من القرار دون الحاجة إلى مجموعة شرائح المؤلف. عندما يكون الدليل أضعف من أن يتم تحديده، قم بتسمية البيانات المفقودة والاختبار التالي.
سجل ماذا تعني كل درجة
اختر المقاييس التي تجيب على سؤال الإصدار. بالنسبة لمساعد الدعم، توصي Rubrex بتتبع الإجابات الخاطئة والمطالبات غير المدعومة والمهام المكتملة وتكلفة الإجابة المفيدة. اذكر ما يغطيه كل عدد. عشر إجابات فاشلة من أصل 100 إجابة تعني شيئًا مختلفًا عن عشر جلسات فاشلة من أصل 100 جلسة. قم بتضمين الطلبات التي لم تنتج أي إجابة.
اختبار واحد يتحقق من متطلبات واحدة. تتحقق مجموعة الاختبار من العديد من المتطلبات والطرق التي يمكن أن يفشل بها النظام. احتفظ بنتائج طلبك منفصلة عن النتائج المعيارية للنموذج العام. اكتب سجل قرار قصير يتضمن الإصدارات القديمة والجديدة، والحالات التي تم اختبارها، وتعريفات الدرجات، والإخفاقات التي تمنع الإصدار. قم بتسمية الشخص الذي يملك الاختبار التالي.
حدود الأدلة
تغطي مجموعة الاختبار فقط بعض المدخلات التي قد يتلقاها نظامك. إن اجتيازه لا يثبت أن كل إجابة مستقبلية ستكون آمنة أو صحيحة. يعد سير العمل هذا نقطة البداية الموصى بها من Rubrex. إنه مبني على الإرشادات المنشورة، وليس معيار الإصدار العالمي.
الأسئلة الشائعة
هل جميع المخرجات تحتاج إلى مراجعة بشرية؟
لا، يمكن للكود التحقق من القواعد الدقيقة. يجب على الأشخاص مراجعة الإجابات غير الواضحة أو التي لها عواقب وخيمة. تأكد من موافقة المراجعين على قواعد التسجيل قبل التوسع.
هل النتيجة المرجعية الجيدة تجعل الطلب جاهزًا؟
لا. لا يختبر المعيار العام بياناتك، أو سير عمل المستخدم، أو أذونات الأداة، أو قواعد إجابة عابرة.
المصادر ومزيد من القراءة
المصادر الأولية وراء هذا الإيجاز. تنطبق النتائج التي توصل إليها المصدر على ظروف الدراسة الخاصة به؛ النشر على arXiv لا يؤسس لمراجعة النظراء.
- إزالة الغموض عن التقييمات لعملاء الذكاء الاصطناعي أنثروبي · 2026 · الإرشاد الهندسيتمت المراجعة: المادة الفنية. تم الوصول إليها 25 سبتمبر 2026.
أسئلة أو تصحيحات؟ اكتب إلى Rubrex. اقرأ منهجنا التحريري.