في هذه الصفحة
الجواب المختصر
تسجل مجموعة بيانات التقييم المفيدة المدخلات والسياق ذي الصلة والسلوك المتوقع والمصدر وفئة الفشل لكل حالة. اجمع بين الأمثلة الحقيقية المعتمدة والحالات الاصطناعية التي تمت مراجعتها بعناية، واحتفظ بمجموعة محتجزة للقرارات التي لا ينبغي أن يؤثر الضبط عليها.
ما يجب أخذه
- قم بتخزين سبب وجود الحالة، وليس فقط موجهها وإجابتها.
- تعمل الأمثلة الاصطناعية على توسيع التغطية ولكنها تحتاج إلى التحقق المستقل.
- احتفظ بتغييرات مجموعة البيانات بنسخة وقابلة للمراجعة.
تم التحقق من المصادر . توليف البحوث وتوصيات Rubrex. تم تصنيف الأمثلة والتجارب المحلية؛ فهي ليست نتائج العميل.
العمل الأخير يجعل بنية مجموعة البيانات خيارًا للتصميم
HieraRAG، نسخة ما قبل الطباعة في يونيو 2026، تبحث في دقة الأسئلة التركيبية في معايير RAG. إنه يضع التفاصيل كشيء يجب تقييمه ضمن تكوين استرجاع محدد. وهذا يدعم التساؤل عن الفروق التي تكشفها مجموعة البيانات بدلاً من افتراض أن المزيد من الأسئلة تؤدي تلقائيًا إلى إنشاء معيار أفضل.
الأدلة: ما مدى دقة مقياس RAG؟ إطار هرمي لتوليد الأسئلة الاصطناعية [1]
تخدم بيانات التقييم وبيانات التدريب قرارات مختلفة
تساعد الأمثلة التدريبية في تغيير سلوك النموذج. تقوم مجموعة بيانات التقييم باختبار سلوك محدد مقابل الأدلة المرجعية أو معايير التسجيل. توصي Rubrex بإبقاء الحالات المستخدمة لضبط المطالبات أو النماذج منفصلة عن مجموعة القرارات المعلقة. إذا قام الفريق بدراسة اختبار فاشل وقام بتغيير النظام لاجتيازه، فاحتفظ بهذه الحالة كفحص انحدار، ولكن استخدم حالات جديدة معلقة لتقييم ما إذا كان التغيير معممًا أم لا.
يمكن أن تساعد الأمثلة الاصطناعية في تغطية المدخلات غير العادية أو الأدلة المفقودة أو حدود الأذونات. تحقق من كل سؤال والنتيجة المتوقعة مقابل المادة المصدر قبل قبولها. سجل كيفية إنشاء المثال والفشل الذي يمثله. إن مجموعة التدريب الكبيرة أو مجموعة أزواج الأسئلة والأجوبة التي يتم إنشاؤها تلقائيًا لا تعد في حد ذاتها مجموعة تقييم تم التحقق من صحتها.
قم بتحديد السجل قبل جمع الأمثلة
توصي Rubrex بسجل حالة بمعرف غير قابل للتغيير، ومدخلات، وسياق مسموح به، وسلوك متوقع، وفئة المصدر، وتاريخ التجميع، وحالة المراجع. بالنسبة لسير العمل الذي يستخدم الأداة، قم بتضمين الحالة الأولية والحالة النهائية المعتمدة. بالنسبة للكتابة ذات النهاية المفتوحة، استخدم عنوانًا ثابتًا بدلاً من المطالبة بجملة واحدة محددة.
سجل ما إذا كانت الحالة جاءت من الإنتاج أو تصعيد الدعم أو متخصص المجال أو الجيل الاصطناعي. احتفظ بالوصف الآمن العام لأصله حتى عندما لا يمكن الاحتفاظ بالتفاعل الأولي. يجب ألا تحصل مجموعة البيانات على معلومات حساسة بهدوء لمجرد أن تصدير السجل مناسب.
بناء التغطية عمدا
قم بتقسيم المنتج إلى شرائح ذات معنى قبل كتابة المطالبات. تتضمن الأمثلة نوع المهمة، وعمر المستند، وطول الإدخال، وتوافر الأدلة، واللغة، وإذن المستخدم. تجنب المنتج الديكارتي الكامل عندما ينتج تركيبات لا يمكن حدوثها. قم بإعطاء الأولوية للمجموعات ذات التعرض الحقيقي أو فرضية فشل محددة.
بالنسبة للحالات الاصطناعية، حدد السلوك الذي يتم التأكيد عليه واحصل على خطوة مراجعة منفصلة للتحقق من أن الإدخال معقول وأن المرجع مدعوم. يمكن للنموذج إنشاء سؤال معيب وإجابة معيبة مطابقة. الاتفاق بين هاتين القطعتين الأثريتين ليس بمثابة التحقق المستقل.
| المجال | الغرض |
|---|---|
| case_id | هوية مستقرة عبر عمليات التشغيل والمراجعات |
| expect_behavior | المتطلبات القابلة للملاحظة، بما في ذلك عدم اليقين المقبول |
| المصدر | الأصل وإذن الاستخدام وسياق المجموعة |
| slice_tags | تمثل شروط المهمة والفشل |
| review_status | من أو ما الذي أثبت صحة المرجع وهل يبقى الغموض |
مثال توضيحي: أسئلة السياسة الصادرة
يتلقى مساعد المزايا أسئلة حول السياسة الحالية والسياسة المؤرشفة. قم بإنشاء حالات مميزة للأسئلة الحالية، والأسئلة التاريخية بوضوح، والأسئلة التي ليس لها تاريخ. يختلف السلوك المتوقع: استخدم القاعدة الحالية، أو قم بالإجابة تاريخيًا، أو قم بتوضيح التاريخ المطبق. إن مجرد تغيير الأسماء في مثال واحد سهل من شأنه أن يغيب عن هذا التمييز.
احتفظ بهذه الحالات مرتبطة بإصدارات السياسة حتى لا يبدو تحديث السياسة الحقيقي بمثابة تراجع نموذجي. قم بإلغاء التوقعات غير الصحيحة من خلال المراجعة، مع التوضيح، بدلاً من حذف الحالات الصعبة من مجموعة البيانات.
تعامل مع مجموعة البيانات باعتبارها قطعة أثرية للمنتج تمت صيانتها
افصل مجموعة التطوير عن مجموعة القرار وسجل الوصول إلى كل منها. أضف حالات فشل جديدة من خلال قائمة انتظار مراجعة خفيفة. عند الإبلاغ عن النتيجة، حدد إصدار مجموعة البيانات واشرح التغييرات المادية. يمكن أن تؤدي مقارنة نتيجة الشهر الماضي في مجموعة واحدة من المهام بنتيجة هذا الشهر في مجموعة أخرى إلى الخلط بين تغييرات حركة المرور وتحسين النموذج.
حدود الأدلة
مجموعة البيانات عبارة عن عينة مبنية، وليست نموذجًا كاملاً لحركة المرور المستقبلية. تتعلق نتائج HieraRAG بإعداد بحثي معين. تصميم السجل ومثال السياسة هنا هما توصيات Rubrex، وليس نسخة من تلك الدراسة.
الأسئلة الشائعة
هل يمكن أن تكون مجموعة البيانات اصطناعية بالكامل؟
يمكن أن يكون مفيدًا أثناء التصميم المبكر، لكن واقعيته وتغطيته بحاجة إلى التحقق من الصحة. احتفظ بأصله الاصطناعي واضحًا وقارنه بالاستخدام الحقيقي المصرح به عندما يكون ذلك متاحًا.
هل يجب أن تكون المراجع إجابات دقيقة؟
استخدم الإجابات الدقيقة للمهام المحددة. بالنسبة للمخرجات المفتوحة، حدد الحقائق المطلوبة، والسلوك غير المقبول، والتغيرات المقبولة.
المصادر ومزيد من القراءة
المصادر الأولية وراء هذا الإيجاز. تنطبق النتائج التي توصل إليها المصدر على ظروف الدراسة الخاصة به؛ النشر على arXiv لا يؤسس لمراجعة النظراء.
- ما مدى دقة مقياس RAG؟ إطار هرمي لتوليد الأسئلة الاصطناعية arXiv · 2026 · ما قبل الطباعةتمت المراجعة: سجل الملخصات والنشر. تم الوصول إليها 25 سبتمبر 2026.
أسئلة أو تصحيحات؟ اكتب إلى Rubrex. اقرأ منهجنا التحريري.