مقاييس تقييم RAG: قم بقياس الاسترجاع والإجابات بشكل منفصل

ما تغطيه الأطر المترية الحالية

يوثق Ragas مقاييس منفصلة لدقة السياق، واستدعاء السياق، والإخلاص، وملاءمة الإجابة، وحساسية الضوضاء. EnterpriseRAG، نسخة أولية من أغسطس 2026، تفحص أيضًا الأدلة المزعجة والفجوات المعرفية والحقائق المتضاربة والتعليمات المتعددة. ويسلط الأخير الضوء على الشروط التي قد يحذفها معيار الأسئلة والأجوبة النظيف.

الأدلة: قائمة المقاييس المتاحة [1]EnterpriseRAG: قياس مدى الالتزام بتعليمات LLM والمتانة في ظل استرجاع المؤسسة غير المثالي [2]

اختر المقاييس من الفشل الذي تريد اكتشافه

تسأل دقة السياق عن مقدار المواد المستردة المفيدة بموجب قاعدة الصلة المختارة. يستفسر استدعاء السياق عما إذا كان قد تم استرداد الأدلة المطلوبة. يتعلق الإخلاص بدعم المطالبات التي تم إنشاؤها في السياق المقدم. تحتاج صحة الإجابة إلى مرجع خاص بالمهمة أو إلى عملية حكم أخرى يمكن الدفاع عنها. هذه ليست أسئلة قابلة للتبديل.

حدد ما يعتبر فقرة ذات صلة قبل استرجاع النتائج. يجوز أن يذكر المقطع الموضوع الصحيح دون أن يحتوي على الاستثناء المطلوب للإجابة على السؤال. وبالمثل، يمكن دعم الإجابة بسياق قديم وتظل خاطئة لطلب المستخدم الحالي. حافظ على نضارة المصدر وسلطته مرئية.

بناء مصفوفة التقييم التشخيصي

توصي Rubrex بتجميد لقطة المجموعة وإنشاء حالات للأدلة الكافية والأدلة المفقودة والأدلة المتناقضة والإضافات غير ذات الصلة. قم بتشغيل نفس السؤال عبر هذه الظروف حيث يظل التحول واقعيًا. تكوين استرجاع السجل والسياق النهائي المقدم للمولد.

قم بتقييم الإجابة بشكل منفصل عن المسترد. يمكن أن تكون التجربة التي تغير كلا المكونين مفيدة لاتخاذ قرار المنتج ولكن يصعب تشخيصها. قم أولاً بقياس التأثير الشامل؛ ثم قم بعزل المكونات لفهم مصدر التغيير.

مثال توضيحي: التذكر يرتفع، والفائدة تنخفض

يبدأ المسترد بإرجاع المزيد من المقاطع. وهو يتضمن الآن السياسة الصحيحة في كثير من الأحيان، ولكنه يوفر أيضًا الإصدارات القديمة بصيغة مماثلة. تتحسن تغطية الاسترجاع بينما تطبق الإجابة بشكل متزايد قواعد قديمة. لوحة المعلومات التي تبلغ عن الاستدعاء فقط ستفقد الانحدار.

افحص إصدارات الوثيقة وصلاحيتها، ثم اختبر تغيير التصفية أو إعادة الترتيب. أبقِ مجموعة الأسئلة ثابتة وقارن بين سلوك الاسترجاع وسلوك الإجابة النهائية. لا تفترض أن تقليل عدد المقاطع هو العلاج دائمًا؛ قد يزيل الأدلة الضرورية للأسئلة متعددة المستندات.

جعل التقرير يوضح المفاضلات

تقديم النتائج لكل شريحة، والفشل التمثيلي، والتكوين المستخدم، وعدم اليقين في الدرجات التي تم الحكم عليها. قم بتضمين انتهاكات القيود الحرجة بجانب المتوسطات. تشرح القراءة المفيدة التغيير المطلوب اختباره بعد ذلك والنتيجة التي ستدعم الفرضية أو ترفضها. لا يتوقف الأمر عند لوحة مترية مرمزة بالألوان.

قم بإجراء تقييم RAG من السؤال إلى الدليل

بالنسبة لتقييم RAG الأول، قم بإنشاء سجل يحتوي على السؤال وإصدار المجموعة والمقاطع الداعمة والمقاطع المستردة والإجابة النهائية والسلوك المتوقع. ضع علامة على الأسئلة التي يجب أن تكون قابلة للإجابة وتلك التي يجب على النظام أن يطلب التوضيح فيها أو يمتنع عن التصويت. يتيح ذلك للمراجع التمييز بين المصدر المفقود والإجابة التي تتجاهل المصدر الموجود بالفعل.

توصي Rubrex بتشغيل تقييمات RAG مع مجموعة أسئلة مجمدة قبل تغيير عمق الاسترجاع أو التجزئة أو موجه الإجابة. قارن بين سجل الأساس والمرشح حسب السجل. على سبيل المثال، إذا قام أحد المرشحين باسترداد السياسة الصحيحة ولكنه ذكر استثناءً قديمًا، فاحتفظ بكل من نجاح الاسترداد وفشل الإجابة. اتفق على حالات الفشل التي تعيق القرار قبل تجميع الدرجات.

مثال RAG من أربع حالات يمكنك فحصه

تحتوي ورقة العمل القابلة للتحميل على أربعة فقرات قصيرة مخترعة وأربعة أسئلة. كل من الإجابات الأساسية والإجابات المرشحة عبارة عن لقطات مؤلفة؛ لم ينشئهم أي LLM. فهي توضح كيفية تشخيص حالات الفشل، وليس التحسن الملحوظ في نظام الإنتاج. إن عقد القبول صريح: استخدم الأدلة الحالية، واستشهد بها، وامتنع عن التصويت عندما لا تتمكن المجموعة من الإجابة.

تحتوي المجموعة عمدًا على سياسات استرداد متضاربة. يسمح استرداد الأموال الحالي باسترداد أموال الاشتراكات غير المستخدمة خلال 14 يومًا؛ المبلغ المسترد يقول 30 يومًا ويتم وضع علامة عليه كمؤرشف. الشحن-الدول الحالية 3 إلى 5 أيام عمل. يشير خيار الإلغاء الحالي إلى الإلغاء في الإعدادات > الفوترة والاحتفاظ بإمكانية الوصول حتى انتهاء الفترة المدفوعة. لا يوجد مقطع يحتوي على رقم الدعم الهاتفي. يمكن أن يدعم المقطع إجابة بينما لا يزال غير مؤهل بموجب عقد السياسة الحالية.

• تحميل المقاطع والأسئلة والأجوبة والتسميات (JSON)

احسب الدرجات المنفصلة قبل اختيار الإصلاح

تحسب تغطية الأدلة الحالات القابلة للإجابة وتسترجع كل مقطع حالي مطلوب: خط الأساس 2/3 والمرشح 3/3. استبعد حالة الهاتف غير القابلة للرد من هذا القاسم لأنه لا يوجد بها مرور مطلوب. يعد هذا فحصًا للتغطية على مستوى الحالة، وليس استدعاء السياق على مستوى المجموعة. لا يذكر شيئًا عن الأجزاء الإضافية غير ذات الصلة أو دقة الاسترجاع.

يحسب دعم السياق الإجابات الواقعية التي يتم دعم جميع ادعاءاتها من خلال المقاطع المستردة: خط الأساس 2/4 والمرشح 3/3. يتم استبعاد امتناع المرشح عن التصويت من تسجيل الإجابات الواقعية ويتم الحكم عليه بموجب قبول المهمة بدلاً من ذلك. يتم احتساب إجابة استرداد الأموال القديمة على أنها مدعومة في الأساس، مما يكشف سبب عدم كفاية الدعم وحده. هذه تسميات ثنائية صريحة كتبها الإنسان، وليست درجات راجاس أو أحكام دلالية آلية.

قبول المهمة يحسب الإجابات الكاملة المستوفية للعقد، بما في ذلك الامتناع الصحيح عن التصويت: الأساس 1/4 والمرشح 4/4. لا تقارن نسب الدعم دون تغيير مقاماتها. توفر ورقة العمل كل التصنيفات حتى يتمكن المراجع الثاني من عدم الموافقة على قرار فردي بدلاً من مناقشة متوسط ​​غير مبرر.

الإصلاحات المقترحة هي تصفية الإصدارات للمبالغ المستردة، والتحقق الأكثر صرامة من المطالبة بالمرور للإلغاء، وقاعدة كفاية الأدلة للمعلومات المفقودة. اختبر كل تغيير بشكل مستقل على مجموعة أكبر قبل دمجها. لا يمكن لأربع حالات تم إنشاؤها عمدًا تقدير معدل الخطأ الحقيقي، أو تحديد أهمية إحصائية، أو تبرير الإصدار. احتفظ بالأمثلة المضادة الصعبة، وسجل خلافات المراجعين، وأعد تشغيل التحكم في الشحن دون تغيير بعد كل تدخل.

الأسئلة الشائعة