توجيه النموذج: انخفاض تكلفة الذكاء الاصطناعي دون إخفاء خسائر الجودة

تحديد الطرق بأدلة يمكن ملاحظتها

الطلب الذي يبدو قصيرًا ليس بالضرورة سهلاً. قد يتطلب السؤال المكون من سطر واحد تفسيرًا صعبًا للسياسة، في حين أن مهمة الاستخراج الطويلة قد يكون لها إجابة بسيطة. حدد المسارات باستخدام المعلومات المتاحة قبل أن يعمل النظام، مثل نوع المهمة، أو الأدوات المسموح بها، أو تنسيق الإخراج المطلوب. يصف Anthropic التوجيه بأنه نمط سير عمل لتوجيه الفئات المختلفة إلى معالجة متخصصة. إن سياسة التشغيل والقياسات الواردة أدناه هي توصيات Rubrex، وليست مطالبات الأداء من تلك المقالة.

الأدلة: بناء العوامل الفعالة [1]

أعط كل طريق عقد قبول

قم بتدوين الحد الأدنى من النتائج التي يجب أن ينتجها كل مسار والشروط التي تتطلب التصعيد. إذا قام نموذج أصغر باستخراج الحقول، فقم بالتحقق من صحة الحقول مقابل المصدر والمخطط. إذا كان النموذج الأقوى يتعامل مع الاستثناءات، فقم بتسجيل الاستثناء الذي تسبب في عملية التسليم. لا تستخدم نبرة النموذج الواثقة باعتبارها الإشارة الوحيدة التي تؤكد أن قبول الإجابة أمر آمن. ابدأ بعدد صغير من المسارات القابلة للتفسير بحيث يمكن إرجاع حالات الفشل إلى النموذج أو قرار التوجيه.

حساب التوفير بعد التصعيد

قد يؤدي الطلب إلى تكلفة جهاز التوجيه، ومحاولة واحدة رخيصة فاشلة، ومحاولة ثانية على طراز أكبر. عد الثلاثة في نفس المهمة. قم بقياس زمن الاستجابة لأن التصعيد قد يؤدي إلى تجربة سيئة حتى عندما يكون المتوسط ​​مقبولاً. تم اقتراح تعريفات المقاييس التالية لتجربتك. قم بالإبلاغ عن جزء من حركة المرور على كل مسار وقارن النظام بخط أساس غير موجه باستخدام نفس مزيج المهام وميزانية الأداة ومعايير القبول.

طرح قرارات يمكن تتبعها

قم بتسجيل المسار والسبب وإصدار النموذج والنتيجة النهائية التي تم التحقق منها دون الاحتفاظ بمحتوى العميل غير الضروري. إعادة تشغيل عينة تمثيلية مقابل خط الأساس للكشف عن الانجراف في العمل الوارد. امنح المشغلين طريقة لتعطيل المسار غير الموثوق به دون إعادة بناء التطبيق بأكمله. قم بإعادة النظر في السياسة بعد أن يقوم مقدم الخدمة بتغيير التسعير أو سلوك النموذج. قد تصبح قاعدة التوجيه التي كانت توفر المال في السابق غير ضرورية عندما يلبي النموذج الجديد نفس العقد مع عمليات أبسط.

قم بتقييم جهاز التوجيه LLM بشكل منفصل عن البوابة

يقرر جهاز توجيه LLM النموذج أو المسار الذي يجب أن يتعامل مع الطلب. يمكن لبوابة LLM توفير طبقة وصول مشتركة لمقدمي الخدمات؛ وجودها لا يثبت أن قرارات التوجيه تحافظ على الجودة. في تمرين تقييم Rubrex، قم بتسجيل المسار المحدد، والأدلة المستخدمة لتحديده، وأي إجراء احتياطي، والنتيجة النهائية للمهمة.

قارن سياسة التوجيه بخط أساس النموذج الثابت في نفس الحالات. قم بتضمين الطلبات الغامضة وحالات فشل الموفر، ثم افحص التكلفة المجمعة للمحاولة الأولى، وإعادة المحاولة، والتصعيد. إذا كان التوجيه يوفر المال في العمل الروتيني ولكنه يرسل الحالات الصعبة إلى مسار غير مناسب، فقم بمراجعة قاعدة القرار وأعد تشغيل تلك الحالات قبل توسيع نطاق الطرح.

الأسئلة الشائعة