كيفية اختبار استدعاء الاسترجاع دون مكافأة السياق غير ذي الصلة

تفاصيل السؤال تغير ما يختبره المعيار

تدرس HieraRAG كيف تؤثر تفاصيل الأسئلة التركيبية على التمييز بين تكوينات RAG. يحدد راجاس بشكل منفصل استدعاء السياق ودقة السياق كأبعاد للتقييم. وهي توفر معًا سببًا لفحص تغطية الأدلة وفائدة المواد التي تم إرجاعها.

الأدلة: ما مدى دقة مقياس RAG؟ إطار هرمي لتوليد الأسئلة الاصطناعية [1]قائمة المقاييس المتاحة [2]

إنشاء شرط الأدلة لكل سؤال

لكل حالة، اكتب الحقائق التي يجب استرجاعها من السياق المسترجع. قم بربط كل حقيقة بواحد أو أكثر من المقاطع المقبولة. عندما يمكن لمصادر متعددة أن تدعم نفس الحقيقة، لا تحتاج إلى معرف مستند عشوائي واحد. عندما يتطلب الاستنتاج وثيقتين، قم بتسجيل كلا التبعيات.

استخدم تسميات صريحة للأدلة الضرورية أو الداعمة ولكن الاختيارية أو المتناقضة أو غير ذات الصلة. وهذا يمنح المراجعين طريقة لشرح سبب فشل نتيجة الاسترداد. قد تكون درجة التشابه الدلالي العامة تشخيصًا مفيدًا، ولكنها لا تثبت أنه تم العثور على الاستثناء المطلوب أو الشرط المؤهل.

قارن الاسترجاع ضمن ميزانية خاضعة للرقابة

توصي Rubrex بالاحتفاظ بمجموعة الأسئلة ولقطات المجموعة وسياسة الوصول وثابت المولد عند التحقق من تغيير المسترد. قم بتسجيل حد المرور وميزانية الرمز المميز وتكوين إعادة الترتيب وأي اقتطاع. إن المقارنة بين عشرة فقرات قصيرة وعشر وثائق كاملة لا تتحكم في نفس المصدر.

افحص أخطاء الاسترجاع حسب الفئة: مفردات خاطئة، أو مصدر مفقود، أو تجزئة سيئة، أو أذونات، أو فهرسة قديمة، أو تصنيف. بعضها ليس مشاكل في نموذج المسترد. إذا لم تدخل السياسة الضرورية إلى الفهرس مطلقًا، فلن يؤدي تغيير التضمينات إلى استردادها.

• تغطية منفصلة للمجموعة عن نجاح الاسترجاع داخل المجموعة.
• عد وحدات الأدلة المطلوبة، مع توثيق قاعدة التصنيف.
• احتفظ بالسياق الفعلي الذي تم إرساله في اتجاه مجرى النهر، وليس فقط نتائج البحث.
• قياس سلوك الإجابة بعد أي تغيير موجه نحو الاستدعاء.

مثال توضيحي: الاستثناء يعيش في مكان آخر

يسأل العميل ما إذا كان من الممكن إلغاء الخطة السنوية بعد التجديد. يتم استرداد سياسة الإلغاء العامة، ولكن يوجد استثناء خاص بالحساب في مستند معتمد منفصل. قد يمنح المصحح ذو الصلة بالموضوع النتيجة درجة عالية بينما تظل الأدلة المطلوبة للإجابة غير مكتملة.

يجب أن يحدد المرجع كلاً من القاعدة العامة والاستثناء المطبق. إذا كان مستند الاستثناء غير قابل للوصول لهذا المستخدم، فيجب أن تحترم الإجابة المتوقعة هذا القيد أيضًا. لا ينبغي أبدًا أن يكافئ تقييم الاسترجاع الكشف عن مستند لا يحق للمستخدم الطالب الاطلاع عليه.

تحويل الأخطاء إلى تجربة استرجاعية

حدد تدخلًا مرتبطًا بالفشل الملحوظ: تحسين تغطية الفهرسة، أو ضبط حدود القطعة، أو الحفاظ على العناوين، أو إضافة مرشحات بيانات التعريف، أو تغيير إعادة الترتيب. قم بقياس النتيجة المقترنة وفحص حالات الفشل التي تم إدخالها حديثًا. احتفظ بالأمثلة الأصلية في مجموعة الانحدار حتى بعد إصلاح الخطأ الفوري.

الأسئلة الشائعة