نموذج تقييم LLM مع نقاط تثبيت

يمكن أن يكون الغموض مشكلة في القياس

تدرس النسخة الأولية للتعليقات التوضيحية مؤخرًا مهام تصنيف النص باستخدام كتب الشفرات المشتركة والتقارير التي تفيد بأن الغموض يساعد في تفسير الخلاف بين المفسرين البشريين والنموذجيين وداخلهم. مجاله محدود، لكنه يوفر سببًا مفيدًا لفحص قواعد الترميز قبل التعامل مع الخلاف على أنه عدم كفاءة المراجع.

الأدلة: المعادلة الرصدية لماجستير القانون والشرح البشري [1]

ابدأ بالقرار الذي يجب أن يدعمه المخرج

توصي Rubrex بإدراج الحقائق أو السلوكيات المطلوبة قبل اختيار مقياس الدرجات. للحصول على إجابة الدعم، قد تتضمن المعايير المفيدة الدعم الواقعي، وإكمال المهمة، وعدم اليقين المناسب. قد تكون الكياسة مهمة، لكنها لا ينبغي أن تعوض عن اختراع استحقاق.

تحديد الأدلة المتاحة للمراجع. إذا كان الحكم الواقعي يتطلب وثيقة سياسة، فقم بتوفير النسخة المعمول بها. لا يمكن للمراجع الذي يرى الرد فقط أن يقرر بشكل موثوق ما إذا كانت ادعاءاته مدعومة بمواد مصدر خاصة. قم بتضمين نتيجة غير قابلة للتقييم عند الضرورة.

استخدم نقاط الارتساء التي تصف الاختلافات التي يمكن ملاحظتها

القالب التالي هو نقطة بداية للإجابة المستندة إلى المصدر. قم بتكييفه مع المنتج الفعلي والتحقق من صحته بالأمثلة. يمكن أن يكون المقياس المكون من ثلاثة مستويات أسهل في المعايرة من المقياس المقسم بدقة والذي لا يمكن تمييز حدوده. عدد المستويات ليس في حد ذاته مقياسًا للدقة.

مثال توضيحي: عيب واحد، عدة تسميات

الإجابة تعد باسترداد أموال غير متوفرة. قد يكون هذا بمثابة فشل في الدعم الواقعي وانتهاك لحدود السياسة. إذا طرح عنوان التقييم العام نقاطًا للواقعية والدقة والصحة والصدق، فقد يحسب نفس المشكلة أربع مرات دون إضافة معلومات مفيدة.

احتفظ بالفشل الأساسي الملحوظ وقم بتسجيل انتهاك منفصل للقواعد الحرجة إذا كان قرار الإصدار يتطلب ذلك. ثم اختبر إجابة أخرى صحيحة من الناحية الواقعية ولكنها لا تخبر المستخدم بكيفية المتابعة. يجب أن يميز عنوان التقييم تلك الحالات لأن إصلاحاتها تختلف.

قم بإجراء تجربة لقواعد التقييم قبل التسجيل على نطاق واسع

اطلب من المراجعين تسجيل نفس الأمثلة المتنوعة بشكل مستقل. ناقش الأدلة الكامنة وراء الخلافات، وقم بمراجعة المرتكزات غير الواضحة، واحتفظ بمجموعة صغيرة من الأمثلة التي تم الفصل فيها. إعادة تسجيل مجموعة فرعية جديدة بعد المراجعة. قم بتسجيل إصدارات قواعد التقييم حتى لا يتم الخلط بين تغيير النتيجة الناتج عن تعريف جديد وبين تحسين النموذج.

• تحديد الأدلة المطلوبة والتباين المقبول.
• أضف أمثلة إيجابية وسلبية عند كل حد مهم.
• افصل الانتهاكات الجسيمة عن درجات الجودة الموزونة.
• احتفظ بمسار واضح للحالات الغامضة أو التي لا يمكن تسجيلها.

قم بتكييف عنوان تقييم لمهمة جديدة

يجب أن يصف عنوان التقييم الاختلافات الملحوظة بين العمل المقبول وغير المكتمل وغير المقبول. لتكييف هذا القالب، استبدل مهمة المثال ومتطلبات الأدلة قبل تغيير مقياس الدرجات. اكتب تمريرة واضحة واحدة، وحالة حدودية واحدة، وفشلًا واضحًا واحدًا لكل معيار، ثم اطلب من المراجعين شرح قراراتهم بشكل مستقل.

عند مقارنة عناوين التقييم عبر المهام، احتفظ بمعنى كل معيار بدلاً من افتراض أن مطابقة المقاييس الرقمية تجعل الدرجات قابلة للمقارنة. توصي Rubrex بإصدار نقاط الارتساء ومراجعة الخلافات قبل استخدام نموذج التقييم الجديد كبوابة للإصدار. إذا كان المراجعون بحاجة إلى سياق غير محدد، فقم بإضافة هذا السياق أو وضع علامة على الحالة بأنها غير قابلة للتسجيل.

الأسئلة الشائعة