المناورة البشرية في منتجات الذكاء الاصطناعي: تصميم وقياس الميل الأخير

تصميم للشخص المتلقي

نادرًا ما يكون تفريغ النص عملية تسليم كاملة. يحتاج المراجع إلى معرفة ما يريده المستخدم، وما هي الحقائق التي تم التحقق منها، وما إذا كان أي إجراء قد أدى إلى تغيير النظام بالفعل. توصيتنا هي إنشاء سجل تسليم مدمج يحتوي على روابط للأدلة المعتمدة وسؤال واضح لم يتم حله. ملاحظات منفصلة عن فرضيات المساعد. إذا كان الإجراء قد نجح جزئيًا، فاذكر حالة عدم اليقين حتى لا يكررها المراجع بشكل أعمى.

تحديد حدود التصعيد

تتضمن المشغلات الشائعة التفويض المفقود، أو المواد المصدرية المتضاربة، أو حالات الفشل المتكررة للأداة، أو طلب خارج النطاق المدعوم. قم بتعيين مالك لكل فئة وحدد ما يحدث عندما يكون هذا المالك غير متاح. يوفر إطار المخاطر التطوعية الخاص بـ NIST سياقًا واسعًا لإدارة مخاطر الذكاء الاصطناعي، لكنه لا يصف تصميم التسليم المحدد هنا. اختبر الحدود بحالات واقعية وتحقق من إمكانية توقف النظام مؤقتًا دون التظاهر بأن هدف المستخدم قد اكتمل.

الأدلة: NIST AI إطار عمل إدارة المخاطر [1]

قياس طرفي القرار

قم بتسمية عينة تمت مراجعتها لمعرفة ما إذا كانت المشاركة البشرية مطلوبة. ثم قم بالتمييز بين عمليات التصعيد الفائتة وتلك غير الضرورية. قد يبدو معدل التصعيد المنخفض فعالاً أثناء إخفاء الإجابات غير المدعومة. يمكن أن يؤدي معدل التصعيد المفرط إلى تحريك عبء العمل بدلاً من تقليله. يقترح الجدول تدابير تشغيلية للاقتران بجودة النتائج. قم بتضمين الحالات التي يغادر فيها المستخدم أثناء الانتظار، وسجل ما إذا كان المراجع يتلقى معلومات كافية للمتابعة دون طرح نفس الأسئلة مرة أخرى.

جعل تجربة المستخدم صادقة

أخبر المستخدم بما يحدث وما هي المعلومات التي ستصاحب عملية التسليم. تجنب القول بأن أحد المتخصصين يقوم بمراجعة الحالة ما لم تكن هناك قائمة انتظار أو مهمة حقيقية. احتفظ بمرجع يسمح للمستخدم بالعودة دون إعادة التشغيل، مع مراعاة سياسة الاحتفاظ بالتطبيق. بعد الحل، استخدم فئة الفشل لتحسين سير العمل ومجموعة التقييم. احتفظ بملاحظات المراجع السرية خارج الملخصات المرئية للمستخدم ما لم يكن هناك سبب متعمد وتفويض لمشاركتها.

الأسئلة الشائعة