في هذه الصفحة
الجواب المختصر
لا يوجد حجم عينة تقييم عالمي. اختر عدد الحالات المستقلة من الدقة التي تحتاجها، وأنواع الإخفاقات التي يجب أن تغطيها، والفرق الذي تريد اكتشافه. تقيس الأجيال المتكررة التباين ولكنها لا تحل محل المهام المتنوعة.
ما يجب أخذه
- التغطية والدقة الإحصائية تجيب على أسئلة مختلفة.
- تعامل مع المخرجات المتكررة من نفس المهمة مثل الملاحظات ذات الصلة.
- الإبلاغ عن عدم اليقين وعملية بناء العينة مع النتيجة.
تم التحقق من المصادر . توليف البحوث وتوصيات Rubrex. تم تصنيف الأمثلة والتجارب المحلية؛ فهي ليست نتائج العميل.
ما يقوله البحث عن عينات محدودة
دراسة ما قبل الطباعة لعام 2025 تدرس تقييم القدرة الافتراضية عندما تكون العينات محدودة. تدرس ورقة التقييم النشط لعام 2026 كيف يؤثر اختيار المهام المراد تقييمها على كفاءة التصنيف. تتناول هذه الإعدادات المختلفة؛ ولا يقدم أي منهما عددًا عالميًا من الأمثلة لتطبيق الأعمال.
الأدلة: الثقة في تقييم نموذج اللغة الكبيرة: نهج بايزي للتحديات محدودة العينة [1]التقييم النشط للوكلاء العامين: تعريف المشكلة ومقارنة الخوارزميات الأساسية [2]
تغطية منفصلة عن الدقة
تسأل التغطية عما إذا كانت المواقف المهمة ممثلة أم لا. تتساءل الدقة عن مدى عدم اليقين بشأن المعدل المقدر في ظل نموذج أخذ العينات. يمكن لمجموعة كبيرة من الأسئلة السهلة المتطابقة تقريبًا أن تنتج فاصلًا زمنيًا ضيقًا لمجموعة سكانية غير مفيدة. يمكن لمجموعة أصغر ومتنوعة عمدًا أن تكشف عن مشكلات التصميم دون دعم معدل فشل الإنتاج الدقيق.
ابدأ بخريطة المهام وعواقب الفشل. بالنسبة لمساعد المستندات، قد يتضمن ذلك أسئلة قابلة للإجابة، وأدلة مفقودة، وإصدارات متضاربة، ومستندات مقيدة، ومدخلات طويلة. قم بتسمية حالات التحدي المستهدفة بشكل منفصل عن عينات الزيارات العشوائية. والجمع بينهما دون الكشف عنها يجعل من الصعب تفسير النسبة الإجمالية.
حساب تخطيطي مع الافتراضات
للحصول على نتائج ثنائية مستقلة تم أخذ عينات منها من مجموعة سكانية مستقرة، تكون صيغة تخطيط التقريب الطبيعي التقريبية هي n ≈ 1.96² × p × (1 - p) / e² لفاصل زمني 95٪ مع الهامش e. باستخدام p = 0.5 و e = 0.05 يعطي حوالي 385 حالة مستقلة. هذه العملية الحسابية عبارة عن رسم توضيحي، وليست افتراضية موصى بها.
غالبًا ما تنتهك مجموعات التقييم الحقيقية هذه الافتراضات. يمكن ربط أسئلة متعددة من مستند واحد، وتجارب الوكيل المتكررة، والاختلافات التركيبية. تتطلب حالات الفشل الشديدة النادرة تصميمًا مختلفًا عن تقدير معدل النجاح المشترك. بالنسبة للأعداد الصغيرة أو المعدلات القصوى، استخدم فاصلًا زمنيًا مناسبًا بدلاً من الثقة في هذا التقريب. تحتاج مقارنات النماذج أيضًا إلى تحليل مقترن، وليس إلى هامشين غير مرتبطين.
مثال توضيحي: عشر محاولات لا تعني عشرة عملاء
تخيل 40 سيناريو دعم، تم إنشاء كل منها عشر مرات. هناك 400 نتيجة، ولكن هناك 40 سيناريو مختلف فقط. تُظهر عمليات إعادة المحاولة ما إذا كان النموذج يتصرف بشكل متسق في تلك المهام. ولا يضيفون تغطية لـ 360 موقفًا للعملاء الجدد.
احتفظ بملخص على مستوى السيناريو وملخص على مستوى التجربة. إذا كان قرار الإصدار يتعلق بالتعميم على الطلبات الجديدة، فقم بإضافة سيناريوهات مستقلة. إذا كان الأمر يتعلق بسلوك غير مستقر بناءً على طلب مهم معروف، فخصص المزيد من التجارب المتكررة هناك. قم بتوثيق حالة عدم اليقين التي يهدف الإنفاق الإضافي إلى تقليلها.
اضبط قاعدة الإيقاف قبل النظر إلى الفائز
قرر مقدمًا ما هو التحسين المهم، وما هي الانحدارات التي تمنع الإطلاق، وما هي حالات عدم اليقين المقبولة. يساعد البرنامج التجريبي في تقدير مدى انتشار الفشل والخلاف، وبعد ذلك يمكن إجراء دراسة أكبر. تجنب التحقق من النتائج بشكل متكرر والتوقف فقط عندما يبدو المرشح أفضل؛ مما يجعل الثقة الظاهرة مضللة.
- قم بتسجيل عدد المهام المستقلة وعدد الإنشاءات الإجمالي بشكل منفصل.
- احتفظ بدرجات مجموعة التحدي منفصلة عن التقديرات المرجحة لحركة المرور.
- قم بتضمين أعداد كل شريحة بجانب النسب المئوية.
- تصعيد القرارات الإحصائية المترتبة على ذلك إلى المختص المناسب.
حدود الأدلة
يفترض المثال العددي ملاحظات ثنائية مستقلة وهو مجرد رسم تخطيطي. يستخدم البحث المذكور نماذجه وافتراضاته ومجموعات التقييم الخاصة به. ولا يتحقق من صحة حجم عينة معين للنشر الخاص بك.
الأسئلة الشائعة
هل الخمسين مثال كافية؟
يمكنهم الكشف عن فجوات المواصفات والإخفاقات الواضحة. وهم عمومًا لا يستطيعون تبرير ادعاء دقيق بشأن أخطاء الإنتاج النادرة دون افتراضات أقوى وأدلة إضافية.
هل يجب أن يكون لكل فئة نفس حجم العينة؟
ليس بالضرورة. قم بتخصيص الحالات وفقًا للتعرض وعدم اليقين والعواقب، مع شرح كيفية ترجيح أي تقدير إجمالي.
المصادر ومزيد من القراءة
المصادر الأولية وراء هذا الإيجاز. تنطبق النتائج التي توصل إليها المصدر على ظروف الدراسة الخاصة به؛ النشر على arXiv لا يؤسس لمراجعة النظراء.
- الثقة في تقييم نموذج اللغة الكبيرة: نهج بايزي للتحديات محدودة العينة arXiv · 2025 · ما قبل الطباعةتمت المراجعة: سجل الملخصات والنشر. تم الوصول إليها 25 سبتمبر 2026.
- التقييم النشط للوكلاء العامين: تعريف المشكلة ومقارنة الخوارزميات الأساسية arXiv · 2026 · ما قبل الطباعةتمت المراجعة: سجل الملخصات والنشر. تم الوصول إليها 25 سبتمبر 2026.
أسئلة أو تصحيحات؟ اكتب إلى Rubrex. اقرأ منهجنا التحريري.