RAG बनाम फ़ाइन-ट्यूनिंग: पहले समस्या का निदान करें

आप जो विफलता देख सकते हैं उसे पहचानें

असफल उदाहरणों से शुरुआत करें और पूछें कि क्या सिस्टम के पास उत्तर देने के लिए आवश्यक सबूत थे। यदि नीति दस्तावेज़ अनुपस्थित था, तो मॉडल बदलने से पुनर्प्राप्ति समस्या हल होने के बजाय छिप सकती है। यदि साक्ष्य मौजूद था लेकिन आउटपुट ने बार-बार एक आवश्यक प्रारूप को नजरअंदाज कर दिया, तो निर्देशों और व्यवहार की जांच करें। हमारी अनुशंसा इन विफलता वर्गों को अलग रखने की है। वे अलग-अलग प्रयोगों की ओर ले जाते हैं और किसी भी सुधार का श्रेय उस बदलाव को देना आसान बनाते हैं जिसने उसे जन्म दिया।

एक व्यावहारिक आधार रेखा स्थापित करें

प्रशिक्षण पाइपलाइन जोड़ने से पहले स्पष्ट निर्देश, प्रतिनिधि उदाहरण और प्रासंगिक संदर्भ आज़माएँ। OpenAI एक पुनरावृत्तीय मूल्यांकन और अनुकूलन प्रक्रिया का वर्णन करता है, लेकिन इसका वर्तमान दस्तावेज़ यह भी चेतावनी देता है कि इसका फाइन-ट्यूनिंग प्लेटफ़ॉर्म बंद हो रहा है और नए उपयोगकर्ताओं के लिए उपलब्ध नहीं है। फ़ाइन-ट्यूनिंग को एक वास्तुशिल्प विकल्प के रूप में मानें जिसकी उपलब्धता प्रदाता और मॉडल पर निर्भर करती है। समर्थित सतह और उसके बेस मॉडल के जीवनचक्र की जांच किए बिना किसी पुराने ट्यूटोरियल के आसपास एक प्रोजेक्ट डिज़ाइन न करें।

साक्ष्य: OpenAI मॉडल अनुकूलन [1]

सही मेट्रिक्स की तुलना करें

साक्ष्य उपलब्धता और उत्तर समर्थन पर परीक्षण पुनर्प्राप्ति परिवर्तन। आपके द्वारा देखी गई सटीक स्थिरता समस्या पर व्यवहार परिवर्तन का परीक्षण करें। एक साझा होल्ड-आउट सेट अंतिम एप्लिकेशन की तुलना करने में मदद करता है, जबकि घटक माप दिखाते हैं कि प्रदर्शन क्यों बदला गया। प्रशिक्षण के उदाहरणों को अंतिम मूल्यांकन से दूर रखें और दस्तावेज़ करें कि लगभग डुप्लिकेट को कैसे संभाला जाता है। तालिका माप परिभाषाएँ प्रस्तावित करती है; यह दावा नहीं करता है कि एक तकनीक एक विशेष सटीकता प्राप्त करती है या प्रत्येक उत्पाद पर कोई एक सीमा लागू होती है।

एक अद्यतन प्रयोग चलाएँ

एक नियंत्रित स्रोत परिवर्तन चुनें, जैसे संशोधित उत्पाद सीमा, और सिस्टम के माध्यम से इसका पालन करें। जांचें कि कौन से दस्तावेज़, अनुक्रमणिका, संकेत, उदाहरण और कैश को अद्यतन करने की आवश्यकता है। पुष्टि करें कि पुरानी नीति अब नई नीति को ओवरराइड नहीं करती है और बिना पहुंच वाले उपयोगकर्ता इसे पुनः प्राप्त नहीं कर सकते हैं। इस प्रयोग से परिचालन कार्य का पता चलता है जो एक स्थैतिक बेंचमार्क से छूट जाता है। उस दृष्टिकोण का चयन करें जिसकी रखरखाव आवश्यकताओं को टीम अपना सकती है, फिर प्रत्येक सामग्री स्रोत या मॉडल परिवर्तन के बाद मूल्यांकन दोहराएं।

AI में RAG का क्या अर्थ है?

RAG का मतलब पुनर्प्राप्ति-संवर्धित पीढ़ी है: एप्लिकेशन जानकारी पुनर्प्राप्त करता है और इसे उत्तर उत्पन्न करने के लिए संदर्भ के रूप में प्रदान करता है। पुनर्प्राप्ति मॉडल को अतिरिक्त साक्ष्य देती है; इससे यह स्थापित नहीं होता कि उत्तर सही है। आरएजी पुनर्प्राप्ति के लिए अभी भी उपयुक्त स्रोतों, पहुंच सीमाओं और गुम या परस्पर विरोधी साक्ष्य की पहचान करने के तरीके की आवश्यकता है।

एक संवादात्मक एप्लिकेशन के लिए, रूब्रेक्स यह जांचने की अनुशंसा करता है कि क्या अनुवर्ती प्रश्न पहले की धारणा को आगे बढ़ाने के बजाय वर्तमान अनुरोध के लिए सबूत पुनर्प्राप्त करता है। एजेंटिक आरएजी के साथ, सिस्टम कार्य के दौरान पुनर्प्राप्ति चरण या अन्य क्रियाएं चुन सकता है; उन निर्णयों और रोक की स्थितियों के साथ-साथ अंतिम उत्तर का मूल्यांकन करें। उस स्वतंत्रता को जोड़ने से पहले आधार रेखा के रूप में एक सरल निश्चित वर्कफ़्लो का उपयोग करें।

सामान्य प्रश्न