إنشاء أو شراء منتج للذكاء الاصطناعي: قائمة مرجعية للأدلة أولاً

تحديد ما يجب أن يحققه الشراء

اكتب عقد قبول قصير قبل تقييم المنتجات: من يستخدم النظام، وما هي المهام التي يتعامل معها، وما هي الأدلة التي تدعم النتيجة الصحيحة، وما هي عمليات التكامل الضرورية. فصل المتطلبات الإلزامية عن وسائل الراحة المرغوبة. توصيتنا هي إعطاء البائعين أمثلة تركيبية تمثيلية وتطبيق نفس المبدأ على النموذج الأولي الداخلي. يمكن للواجهة المصقولة أن تخفي نتيجة ضعيفة، في حين أن النموذج الأولي يمكن أن يخفي العمل التشغيلي اللازم لجعله يمكن الاعتماد عليه.

فحص الأدلة ومراقبة التشغيل

اطلب معلومات محددة حول تغييرات النموذج ووجهات البيانات وضوابط الوصول ومعالجة الفشل والصادرات المتاحة. اسأل كيف يتم إبلاغ العميل عندما يتغير السلوك وكيف يتم التحقيق في الحادث. يوفر إطار مخاطر الذكاء الاصطناعي التطوعي التابع لـ NIST مرجعًا تنظيميًا واسعًا، وليس شهادة بائع. ترجمة المخاوف ذات الصلة إلى طلبات أدلة تناسب طلبك. قم بوضع علامة على الإجابة المفقودة على أنها غير معروفة بدلاً من افتراض أن البائع أو الفريق الداخلي قد قام بحل المشكلة بالفعل.

الأدلة: NIST AI إطار عمل إدارة المخاطر [1]

قارن إجمالي جهد التشغيل

قم بتضمين أعمال المراجعة والصيانة المتكررة في كلا الخيارين. يحتاج النظام الداخلي إلى شخص ما لامتلاك التقييمات وتغييرات مقدمي الخدمة والمراقبة والدعم. قد يظل النظام الذي تم شراؤه يتطلب التكامل والتكوين والتصحيح البشري. وتقترح بطاقة الأداء الواردة أدناه مقاييس قابلة للمقارنة بدلاً من العتبات العالمية. استخدم فترة مراقبة مشتركة وتوزيع المهام. أبقِ جهد التنفيذ لمرة واحدة منفصلاً عن التكاليف المتكررة حتى لا يهيمن السعر التمهيدي المنخفض على القرار بشأن منتج طويل الأمد.

قم بتشغيل تمرين الخروج والتغيير

قم بتصدير مجموعة بيانات تركيبية صغيرة، وانقل سير عمل تمثيلي إلى بديل، وقم بتوثيق ما لا يمكن نقله. اختبر كيفية تصرف النظام بعد تغيير تكوين المستند أو النموذج المصدر. تكشف هذه التمارين عن التبعيات التي تفتقدها قائمة التحقق من الميزات. قرر ما هي القيود المقبولة ومن يملكها. إعادة النظر في القرار عندما يتغير الاستخدام أو المخاطر أو متطلبات المنتج؛ قد يختلف الخيار الأفضل للطيار المبكر عن أفضل نموذج تشغيل على نطاق واسع.

اختيار إطار أو أداة تقييم LLM

عند مقارنة أدوات تقييم الذكاء الاصطناعي، اطلب من كل مرشح تشغيل نفس مجموعة البيانات الصغيرة والمراجعة. قم بتضمين تمرير واضح، وفشل واضح، وحالة غامضة، وطلب فاشل. تحقق مما إذا كان بإمكان المهندس فحص المدخلات وقاعدة التسجيل وإصدار مصنف الصف والمخرجات الأولية وراء كل نتيجة. لا يكون الملخص المصقول مفيدًا إلا إذا كان من الممكن التحقيق في القرار الأساسي.

إطار تقييم LLM هو آلية تشغيل الحالات وجمع الدرجات؛ لا يزال فريقك يمتلك معايير الجودة. بالنسبة إلى تمرين اختيار Rubrex، قم بتصدير مجموعة البيانات والنتائج، وأعد تشغيل حالة واحدة، وقم بتغيير عنوان التقييم، واشرح تغيير النتيجة. قارن بين جهود الإعداد، وعناصر التحكم في الوصول، والاحتفاظ، ومراجعة سير العمل، وتكلفة عمليات التشغيل المتكررة. قد يكون الإطار الذي يناسب المكدس الحالي أفضل من تبديل الأدوات قبل أن يحصل الفريق على شريط جودة متفق عليه.

الأسئلة الشائعة