ai-agents-for-beginners
AI एजेंट्स इन प्रोडक्शन: ऑब्ज़र्वेबिलिटी और मूल्यांकन
जब AI एजेंट प्रयोगात्मक प्रोटोटाइप से वास्तविक दुनिया के अनुप्रयोगों की ओर बढ़ते हैं, तो उनके व्यवहार को समझने, उनकी प्रदर्शन की निगरानी करने और उनके आउटपुट का व्यवस्थित रूप से मूल्यांकन करने की क्षमता महत्वपूर्ण हो जाती है।
सीखने के लक्ष्य
इस पाठ को पूरा करने के बाद, आप जानेंगे/समझेंगे कि:
- एजेंट ऑब्ज़र्वेबिलिटी और मूल्यांकन के मूल सिद्धांत क्या हैं
- एजेंट के प्रदर्शन, लागतों और प्रभावशीलता को बेहतर बनाने की तकनीकें
- अपने AI एजेंट्स का व्यवस्थित रूप से क्या और कैसे मूल्यांकन करना है
- AI एजेंट्स को प्रोडक्शन में तैनात करते समय लागतों को कैसे नियंत्रित करें
- Microsoft Agent Framework से बने एजेंट्स का इंस्ट्रूमेंटेशन कैसे करें
लक्ष्य आपको यह ज्ञान देना है कि आप अपने “ब्लैक बॉक्स” एजेंट्स को पारदर्शी, प्रबंधनीय और भरोसेमंद सिस्टम में कैसे बदल सकते हैं।
नोट: यह महत्वपूर्ण है कि AI एजेंट्स को सुरक्षित और विश्वसनीय तरीके से तैनात किया जाए। कृपया विश्वसनीय AI एजेंट बनाना पाठ को भी देखें।
ट्रेस और स्पैन्स
ऑब्ज़र्वेबिलिटी टूल्स जैसे Langfuse या Microsoft Foundry आमतौर पर एजेंट रन को ट्रेसेस और स्पैन्स के रूप में प्रस्तुत करते हैं।
- ट्रेस एक संपूर्ण एजेंट कार्य को शुरू से अंत तक दर्शाता है (जैसे किसी उपयोगकर्ता क्वेरी को संभालना)।
- स्पैन्स ट्रेस के भीतर व्यक्तिगत कदम होते हैं (जैसे किसी भाषा मॉडल को कॉल करना या डेटा पुनः प्राप्त करना)।
बिना ऑब्ज़र्वेबिलिटी के, एक AI एजेंट “ब्लैक बॉक्स” जैसा महसूस कर सकता है - उसकी आंतरिक स्थिति और तर्क अस्पष्ट होते हैं, जिससे समस्याओं का निदान या प्रदर्शन का अनुकूलन करना मुश्किल होता है। ऑब्ज़र्वेबिलिटी के साथ, एजेंट “ग्लास बॉक्स” बन जाते हैं, जो पारदर्शिता प्रदान करते हैं और विश्वास बनाने और यह सुनिश्चित करने के लिए आवश्यक हैं कि वे इच्छित रूप से काम करें।
प्रोडक्शन वातावरण में ऑब्ज़र्वेबिलिटी क्यों महत्वपूर्ण है
AI एजेंट्स को प्रोडक्शन वातावरण में ले जाने पर चुनौतियों और आवश्यकताओं का एक नया सेट सामने आता है। ऑब्ज़र्वेबिलिटी अब एक “अच्छा होना चाहिए” फीचर नहीं रह जाती बल्कि एक महत्वपूर्ण क्षमता बन जाती है:
- डिबगिंग और मूल-कारण विश्लेषण: जब एक एजेंट विफल होता है या अप्रत्याशित आउटपुट देता है, तो ऑब्ज़र्वेबिलिटी टूल्स उस त्रुटि के स्रोत का पता लगाने के लिए आवश्यक ट्रेसेस प्रदान करते हैं। यह विशेष रूप से जटिल एजेंट्स में महत्वपूर्ण है जिनमें कई LLM कॉल्स, टूल इंटरैक्शन और शर्तीय लॉजिक शामिल हो सकते हैं।
- लेटेंसी और लागत प्रबंधन: AI एजेंट अक्सर LLMs और अन्य बाहरी APIs पर निर्भर करते हैं जिनका बिल टोकन प्रति या कॉल प्रति लिया जाता है। ऑब्ज़र्वेबिलिटी इन कॉल्स का सटीक ट्रैकिंग करने की अनुमति देती है, जिससे वे ऑपरेशंस पहचाने जा सकते हैं जो अत्यधिक धीमे या महंगे हैं। इससे टीमों को प्रॉम्प्ट को अनुकूलित करने, अधिक कुशल मॉडल चुनने, या वर्कफ़्लो को फिर से डिज़ाइन करने में मदद मिलती है ताकि परिचालन लागतों को प्रबंधित किया जा सके और अच्छा उपयोगकर्ता अनुभव सुनिश्चित हो सके।
- ट्रस्ट, सुरक्षा, और अनुपालन: कई अनुप्रयोगों में यह सुनिश्चित करना महत्वपूर्ण है कि एजेंट सुरक्षित और नैतिक रूप से व्यवहार करें। ऑब्ज़र्वेबिलिटी एजेंट क्रियाओं और निर्णयों का ऑडिट ट्रेल प्रदान करती है। इसका उपयोग प्रॉम्प्ट इंजेक्शन, हानिकारक सामग्री के उत्पादन, या व्यक्तिगत रूप से पहचान योग्य जानकारी (PII) के गलत संचालन जैसी समस्याओं का पता लगाने और उन्हें कम करने के लिए किया जा सकता है। उदाहरण के लिए, आप यह समझने के लिए ट्रेसेस की समीक्षा कर सकते हैं कि किसी एजेंट ने कोई विशेष प्रतिक्रिया क्यों दी या किसी विशेष टूल का उपयोग क्यों किया।
- निरंतर सुधार लूप: ऑब्ज़र्वेबिलिटी डेटा एक итरेटिव विकास प्रक्रिया की नींव है। यह देखने के लिए कि एजेंट वास्तविक दुनिया में कैसे प्रदर्शन कर रहे हैं, टीम्स सुधार के क्षेत्रों की पहचान कर सकते हैं, मॉडल के फाइन-ट्यूनिंग के लिए डेटा इकट्ठा कर सकते हैं, और परिवर्तनों के प्रभाव को मान्य कर सकते हैं। यह एक फीडबैक लूप बनाता है जहाँ ऑनलाइन मूल्यांकन से प्राप्त प्रोडक्शन अंतर्दृष्टियाँ ऑफ़लाइन प्रयोग और परिष्करण को सूचित करती हैं, जिससे धीरे-धीरे बेहतर एजेंट प्रदर्शन होता है।
ट्रैक करने के लिए प्रमुख मेट्रिक्स
एजेंट व्यवहार की निगरानी और समझने के लिए, कई प्रकार के मेट्रिक्स और संकेत ट्रैक किए जाने चाहिए। जबकि विशिष्ट मीट्रिक्स एजेंट के उद्देश्य पर निर्भर कर सकते हैं, कुछ सार्वभौमिक रूप से महत्वपूर्ण होते हैं।
यहाँ कुछ सबसे सामान्य मेट्रिक्स हैं जिन्हें ऑब्ज़र्वेबिलिटी टूल्स मॉनिटर करते हैं:
प्रतिक्रिया समय (Latency): एजेंट कितनी जल्दी प्रतिक्रिया देता है? लंबा इंतजार उपयोगकर्ता अनुभव को नकारात्मक रूप से प्रभावित करता है। आपको कार्यों और व्यक्तिगत चरणों के लिए प्रतिक्रिया समय को ट्रेस करके मापना चाहिए। उदाहरण के लिए, यदि किसी एजेंट को सभी मॉडल कॉल्स के लिए 20 सेकंड लगते हैं, तो इसे तेज मॉडल का उपयोग करके या मॉडल कॉल्स को समानांतर चलाकर तेज किया जा सकता है।
लागत (Costs): प्रत्येक एजेंट रन की लागत क्या है? AI एजेंट LLM कॉल्स या बाहरी APIs पर निर्भर करते हैं जिनका बिल टोकन या कॉल के आधार पर लगाया जाता है। बार-बार टूल का उपयोग या कई प्रॉम्प्ट लागत को तेजी से बढ़ा सकते हैं। उदाहरण के लिए, यदि एक एजेंट गुणवत्ता में मामूली सुधार के लिए LLM को पांच बार कॉल करता है, तो आपको मूल्यांकन करना चाहिए कि क्या लागत न्यायोचित है या आप कॉल्स की संख्या कम कर सकते हैं या सस्ता मॉडल उपयोग कर सकते हैं। रीयल-टाइम मॉनिटरिंग अप्रत्याशित स्पाइक्स (जैसे बग के कारण अत्यधिक API लूप्स) की पहचान करने में भी मदद कर सकती है।
अनुरोध त्रुटियाँ (Request Errors): कितने अनुरोध एजेंट फेल हुए? इसमें API त्रुटियाँ या असफल टूल कॉल शामिल हो सकती हैं। प्रोडक्शन में अपने एजेंट को इन त्रुटियों के प्रति अधिक मजबूत बनाने के लिए, आप फॉलबैक या रिट्राई सेट कर सकते हैं। उदाहरण: यदि LLM प्रोवाइडर A डाउन है, तो आप बैकअप के रूप में LLM प्रोवाइडर B पर स्विच कर सकते हैं।
उपयोगकर्ता प्रतिक्रिया (User Feedback): सीधे उपयोगकर्ता मूल्यांकन लागू करने से मूल्यवान अंतर्दृष्टियाँ मिलती हैं। इसमें स्पष्ट रेटिंग्स (👍thumbs-up/👎down, ⭐1-5 स्टार) या टेक्स्ट कमेंट शामिल हो सकते हैं। लगातार नकारात्मक प्रतिक्रिया आपको सचेत करनी चाहिए क्योंकि यह संकेत है कि एजेंट अपेक्षित रूप से काम नहीं कर रहा है।
निरपेक्ष उपयोगकर्ता प्रतिक्रिया (Implicit User Feedback): उपयोगकर्ता व्यवहार स्पष्ट रेटिंग के बिना भी अप्रत्यक्ष प्रतिक्रिया प्रदान करते हैं। इसमें तुरंत प्रश्न को फिर से पूछना, बार-बार अनुरोध करना या रीट्राय बटन पर क्लिक करना शामिल हो सकता है। उदाहरण: यदि आप देखते हैं कि उपयोगकर्ता बार-बार वही प्रश्न पूछते हैं, तो यह संकेत है कि एजेंट अपेक्षित रूप से काम नहीं कर रहा है।
सटीकता (Accuracy): एजेंट कितनी बार सही या वांछित आउटपुट देता है? सटीकता की परिभाषाएँ भिन्न हो सकती हैं (जैसे समस्या-समाधान की शुद्धता, सूचना पुनर्प्राप्ति सटीकता, उपयोगकर्ता संतोष)। पहला कदम यह परिभाषित करना है कि आपके एजेंट के लिए सफलता कैसी दिखती है। आप स्वचालित चेक्स, मूल्यांकन स्कोर, या कार्य पूर्णता लेबल के माध्यम से सटीकता ट्रैक कर सकते हैं। उदाहरण के लिए, ट्रेसेस को “सफल” या “असफल” के रूप में चिह्नित करना।
स्वचालित मूल्यांकन मेट्रिक्स (Automated Evaluation Metrics): आप स्वचालित इवाल्यूएशंस भी सेट कर सकते हैं। उदाहरण के लिए, आप एजेंट के आउटपुट को स्कोर करने के लिए एक LLM का उपयोग कर सकते हैं कि क्या यह सहायक, सही है, या नहीं। कई ओपन-सोर्स लाइब्रेरी भी हैं जो आपको एजेंट के विभिन्न पहलुओं को स्कोर करने में मदद करती हैं। उदाहरण के लिए RAGAS RAG एजेंट्स के लिए या LLM Guard हानिकारक भाषा या प्रॉम्प्ट इंजेक्शन का पता लगाने के लिए।
व्यवहार में, इन मीट्रिक्स का संयोजन AI एजेंट के स्वास्थ्य का बेहतर कवरेज देता है। इस अध्याय के उदाहरण नोटबुक में, हम आपको दिखाएंगे कि वास्तविक उदाहरणों में ये मेट्रिक्स कैसे दिखते हैं, लेकिन पहले हम सीखेंगे कि एक सामान्य मूल्यांकन वर्कफ़्लो कैसे दिखता है।
अपने एजेंट को इंस्ट्रूमेंट करें
ट्रेसिंग डेटा इकट्ठा करने के लिए, आपको अपने कोड में इंस्ट्रूमेंटेशन करना होगा। लक्ष्य यह है कि एजेंट कोड को इस तरह इंस्ट्रूमेंट किया जाए कि वह ट्रेसेस और मेट्रिक्स जारी करे जिन्हें एक ऑब्ज़र्वेबिलिटी प्लेटफ़ॉर्म द्वारा कैप्चर, प्रोसेस और विज़ुअलाइज़ किया जा सके।
OpenTelemetry (OTel): OpenTelemetry LLM ऑब्ज़र्वेबिलिटी के लिए एक इंडस्ट्री स्टैंडर्ड के रूप में उभरा है। यह टेलीमेट्री डेटा उत्पन्न करने, एकत्र करने और निर्यात करने के लिए API, SDKs, और टूल्स का सेट प्रदान करता है।
कई इंस्ट्रूमेंटेशन लाइब्रेरीज़ हैं जो मौजूदा एजेंट फ्रेमवर्क्स को रैप करती हैं और OpenTelemetry स्पैन्स को किसी ऑब्ज़र्वेबिलिटी टूल पर निर्यात करना आसान बनाती हैं। Microsoft Agent Framework OpenTelemetry के साथ स्वाभाविक रूप से एकीकृत होता है। नीचे MAF एजेंट को इंस्ट्रूमेंट करने का एक उदाहरण दिया गया है:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# एजेंट का निष्पादन स्वचालित रूप से ट्रेस किया जाता है
pass
इस अध्याय का उदाहरण नोटबुक यह प्रदर्शित करेगा कि आप अपने MAF एजेंट को कैसे इंस्ट्रूमेंट कर सकते हैं।
मैन्युअल स्पैन निर्माण (Manual Span Creation): जबकि इंस्ट्रूमेंटेशन लाइब्रेरीज़ एक अच्छा बेसलाइन प्रदान करती हैं, अक्सर ऐसे मामलों होते हैं जहाँ अधिक विस्तृत या अनुकूलित जानकारी की आवश्यकता होती है। आप कस्टम एप्लिकेशन लॉजिक जोड़ने के लिए मैन्युअल रूप से स्पैन्स बना सकते हैं। और महत्वपूर्ण रूप से, वे स्वतः या मैन्युअल रूप से बनाए गए स्पैन्स को कस्टम एट्रिब्यूट्स (टैग्स या मेटाडेटा के रूप में भी जाने जाते हैं) के साथ समृद्ध कर सकते हैं। ये एट्रिब्यूट्स व्यावसायिक-विशिष्ट डेटा, मध्यवर्ती गणनाएँ, या कोई भी संदर्भ शामिल कर सकते हैं जो डिबगिंग या विश्लेषण के लिए उपयोगी हो सकता है, जैसे user_id, session_id, या model_version।
Langfuse Python SDK के साथ मैन्युअली ट्रेसेस और स्पैन्स बनाने का उदाहरण:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
एजेंट मूल्यांकन
ऑब्ज़र्वेबिलिटी हमें मेट्रिक्स देती है, लेकिन मूल्यांकन उस डेटा का विश्लेषण करने (और परीक्षण करने) की प्रक्रिया है ताकि यह निर्धारित किया जा सके कि कोई AI एजेंट कितना अच्छा प्रदर्शन कर रहा है और उसे कैसे सुधारा जा सकता है। दूसरे शब्दों में, एक बार जब आपके पास ये ट्रेसेस और मेट्रिक्स होते हैं, तो आप उनका उपयोग एजेंट का मूल्यांकन करने और निर्णय लेने के लिए कैसे करते हैं?
नियमित मूल्यांकन महत्वपूर्ण है क्योंकि AI एजेंट अक्सर गैर-नियतात्मक होते हैं और समय के साथ विकसित हो सकते हैं (अपडेट्स या मॉडल व्यवहार के परिवर्तन के माध्यम से) – बिना मूल्यांकन के, आप यह नहीं जान पाएंगे कि आपका “स्मार्ट एजेंट” वास्तव में अपना काम अच्छा कर रहा है या वह गिरावट में है।
AI एजेंट्स के लिए दो प्रकार के मूल्यांकन होते हैं: ऑनलाइन मूल्यांकन और ऑफ़लाइन मूल्यांकन। दोनों महत्वपूर्ण हैं और एक-दूसरे की पूरक हैं। हम आमतौर पर ऑफ़लाइन मूल्यांकन से शुरू करते हैं, क्योंकि यह किसी भी एजेंट को तैनात करने से पहले आवश्यक न्यूनतम कदम है।
ऑफ़लाइन मूल्यांकन
इसमें नियंत्रित सेटिंग में, आमतौर पर टेस्ट डेटासेट्स का उपयोग करके एजेंट का मूल्यांकन शामिल है, न कि लाइव उपयोगकर्ता प्रश्नों के साथ। आप क्यूरेटेड डेटासेट्स का उपयोग करते हैं जहाँ आप जानते हैं कि अपेक्षित आउटपुट या सही व्यवहार क्या है, और फिर अपने एजेंट को उन पर चलाते हैं।
उदाहरण के लिए, यदि आपने एक गणित शब्द-समस्या एजेंट बनाया है, तो आपके पास ज्ञात उत्तरों के साथ 100 समस्याओं का एक टेस्ट डेटासेट हो सकता है। ऑफ़लाइन मूल्यांकन अक्सर विकास के दौरान किया जाता है (और यह CI/CD पाइपलाइन्स का हिस्सा भी हो सकता है) सुधारों की जांच करने या रिग्रेशन से बचने के लिए। इसका फायदा यह है कि यह दोहराने योग्य है और आप स्पष्ट सटीकता मेट्रिक्स प्राप्त कर सकते हैं क्योंकि आपके पास ग्राउंड ट्रुथ होता है। आप उपयोगकर्ता प्रश्नों का सिमुलेशन भी कर सकते हैं और एजेंट की प्रतिक्रियाओं को आदर्श उत्तरों के खिलाफ माप सकते हैं या ऊपर वर्णित स्वचालित मेट्रिक्स का उपयोग कर सकते हैं।
ऑफ़लाइन इवाल्यूएशन की मुख्य चुनौती यह सुनिश्चित करना है कि आपका टेस्ट डेटासेट व्यापक हो और प्रासंगिक बना रहे – एजेंट किसी निश्चित टेस्ट सेट पर अच्छा प्रदर्शन कर सकता है पर प्रोडक्शन में बहुत अलग प्रश्नों का सामना कर सकता है। इसलिए, आपको टेस्ट सेट्स को नए एज केस और वास्तविक दुनिया के परिदृश्यों को दर्शाने वाले उदाहरणों के साथ अपडेट रखना चाहिए। छोटे “स्मोक टेस्ट” मामलों और बड़े मूल्यांकन सेट्स का मिश्रण उपयोगी होता है: त्वरित जांच के लिए छोटे सेट और व्यापक प्रदर्शन मेट्रिक्स के लिए बड़े सेट।
ऑनलाइन मूल्यांकन
यह वास्तविक, लाइव वातावरण में एजेंट का मूल्यांकन करने को संदर्भित करता है, अर्थात् प्रोडक्शन में वास्तविक उपयोग के दौरान। ऑनलाइन मूल्यांकन में वास्तविक उपयोगकर्ता इंटरैक्शंस पर एजेंट के प्रदर्शन की निगरानी और परिणामों का निरंतर विश्लेषण शामिल है।
उदाहरण के लिए, आप लाइव ट्रैफ़िक पर सफलता दरें, उपयोगकर्ता संतोष स्कोर, या अन्य मेट्रिक्स ट्रैक कर सकते हैं। ऑनलाइन मूल्यांकन का लाभ यह है कि यह उन चीज़ों को कैप्चर करता है जिनकी आप लैब सेटिंग में उम्मीद नहीं कर सकते – आप समय के साथ मॉडल ड्रिफ्ट को देख सकते हैं (यदि इनपुट पैटर्न बदलते हैं तो एजेंट की प्रभावशीलता घट सकती है) और अप्रत्याशित प्रश्न या ऐसी स्थितियाँ पकड़ सकते हैं जो आपके टेस्ट डेटा में नहीं थीं। यह दिखाता है कि एजेंट जंगली में कैसे व्यवहार करता है।
ऑनलाइन मूल्यांकन में अक्सर अप्रत्यक्ष और स्पष्ट उपयोगकर्ता प्रतिक्रिया एकत्र करना शामिल होता है, जैसा कि चर्चा की गई है, और संभवतः शैडो टेस्ट या A/B टेस्ट चलाना (जहाँ एजेंट का नया संस्करण पुराने के साथ तुलना के लिए समानांतर में चलता है)। चुनौती यह है कि लाइव इंटरैक्शंस के लिए विश्वसनीय लेबल्स या स्कोर प्राप्त करना मुश्किल हो सकता है – आप उपयोगकर्ता प्रतिक्रिया या डाउनस्ट्रीम मेट्रिक्स (जैसे क्या उपयोगकर्ता ने परिणाम पर क्लिक किया) पर निर्भर कर सकते हैं।
दोनों को मिलाना
ऑनलाइन और ऑफ़लाइन मूल्यांकन एक-दूसरे के पूरक हैं; दोनों साथ में उपयोगी होते हैं। ऑनलाइन मॉनिटरिंग से मिली अंतर्दृष्टियाँ (उदाहरण के लिए, उपयोगकर्ता प्रश्नों के नए प्रकार जिनमें एजेंट खराब प्रदर्शन कर रहा है) ऑफ़लाइन टेस्ट डेटासेट्स को बढ़ाने और सुधारने के लिए इस्तेमाल की जा सकती हैं। इसके विपरीत, जो एजेंट ऑफ़लाइन टेस्ट में अच्छा प्रदर्शन करते हैं उन्हें फिर अधिक आत्मविश्वास के साथ तैनात करके ऑनलाइन मॉनिटर किया जा सकता है।
वास्तव में, कई टीमें एक लूप अपनाती हैं:
ऑफ़लाइन मूल्यांकन -> तैनात करें -> ऑनलाइन मॉनिटर करें -> नए फेल्योर मामलों को इकट्ठा करें -> ऑफ़लाइन डेटासेट में जोड़ें -> एजेंट को परिष्कृत करें -> दोहराएँ।
सामान्य मुद्दे
जब आप AI एजेंट्स को प्रोडक्शन में तैनात करते हैं, तो आपको विभिन्न चुनौतियों का सामना करना पड़ सकता है। यहाँ कुछ सामान्य मुद्दे और उनके संभावित समाधान दिए गए हैं:
| मुद्दा | संभावित समाधान |
|---|---|
| AI एजेंट लगातार कार्य नहीं कर रहा है | - AI एजेंट को दिया गया प्रॉम्प्ट परिष्कृत करें; उद्देश्यों के बारे में स्पष्ट रहें। - पहचानें कि कार्यों को उप-कार्य में विभाजित करने और उन्हें कई एजेंट्स द्वारा संभालने से कहाँ मदद मिल सकती है। |
| AI एजेंट लगातार लूप में फंस रहा है | - सुनिश्चित करें कि आपके पास स्पष्ट समाप्ति शर्तें और शर्तें हैं ताकि एजेंट को पता हो कि प्रक्रिया कब रोकनी है। - जटिल कार्यों के लिए जिनमें तर्क और योजना की आवश्यकता होती है, ऐसे बड़े मॉडल का उपयोग करें जो तर्क करने के कार्यों के लिए विशेषज्ञ हों। |
| AI एजेंट के टूल कॉल्स अच्छा प्रदर्शन नहीं कर रहे | - टूल के आउटपुट का एजेंट सिस्टम के बाहर परीक्षण और सत्यापन करें। - परिभाषित पैरामीटर, प्रॉम्प्ट, और टूल्स के नामकरण को परिष्कृत करें। |
| मल्टी-एजेंट सिस्टम लगातार प्रदर्शन नहीं कर रहा | - प्रत्येक एजेंट को दिए गए प्रॉम्प्ट्स को परिष्कृत करें ताकि वे विशिष्ट और एक-दूसरे से अलग हों। - यह निर्धारित करने के लिए कि कौन सा एजेंट सही है, “राउटिंग” या कंट्रोलर एजेंट का उपयोग करके एक पदानुक्रमित सिस्टम बनाएं। |
इनमें से कई मुद्दों की पहचान ऑब्ज़र्वेबिलिटी होने पर अधिक प्रभावी ढंग से की जा सकती है। पहले चर्चा किए गए ट्रेसेस और मेट्रिक्स यह सटीक रूप से संकेत करने में मदद करते हैं कि एजेंट वर्कफ़्लो के किस हिस्से में समस्याएँ होती हैं, जिससे डिबगिंग और अनुकूलन बहुत अधिक कुशल हो जाता है।
लागत प्रबंधन
यहाँ कुछ रणनीतियाँ दी गई हैं जो AI एजेंट्स को प्रोडक्शन में तैनात करने की लागत को प्रबंधित करने में मदद कर सकती हैं:
छोटे मॉडल का उपयोग: Small Language Models (SLMs) कुछ एजेन्टिक उपयोग-मामलों पर अच्छा प्रदर्शन कर सकते हैं और लागत को महत्वपूर्ण रूप से कम कर देंगे। पहले बताए अनुसार, प्रदर्शन की तुलना करने और यह निर्धारित करने के लिए एक मूल्यांकन प्रणाली बनाना कि कोई SLM आपके उपयोग-मामले पर कितना अच्छा प्रदर्शन करेगा, सबसे अच्छा तरीका है। सरल कार्यों जैसे intent classification या parameter extraction के लिए SLMs का उपयोग करने पर विचार करें, जबकि जटिल तर्क के लिए बड़े मॉडल सुरक्षित रखें।
राउटर मॉडल का उपयोग: एक समान रणनीति विभिन्न मॉडल और आकारों के उपयोग की है। आप जटिलता के आधार पर अनुरोधों को सर्वश्रेष्ठ उपयुक्त मॉडलों की ओर मार्गदर्शित करने के लिए एक LLM/SLM या serverless फ़ंक्शन का उपयोग कर सकते हैं। यह लागत को कम करने में भी मदद करेगा जबकि सही कार्यों पर प्रदर्शन सुनिश्चित करेगा। उदाहरण के लिए, सरल प्रश्नों को छोटे, तेज मॉडलों की ओर रूट करें, और केवल जटिल तर्क कार्यों के लिए महंगे बड़े मॉडलों का उपयोग करें।
प्रतिक्रियाओं को कैश करना: सामान्य अनुरोधों और कार्यों की पहचान करना और उनके उत्तर एजेन्टिक सिस्टम से गुजरने से पहले प्रदान करना समान अनुरोधों की मात्रा को कम करने का एक अच्छा तरीका है। आप यह पहचानने के लिए एक फ्लो भी लागू कर सकते हैं कि कोई अनुरोध आपके कैश किए गए अनुरोधों से कितना समान है, अधिक बुनियादी AI मॉडलों का उपयोग करते हुए। अक्सर पूछे जाने वाले प्रश्नों या सामान्य वर्कफ़्लो के लिए यह रणनीति लागत को काफी कम कर सकती है।
Lets see how this works in practice
In the इस अनुभाग का उदाहरण नोटबुक, we’ll see examples of how we can use observability tools to monitor and evaluate our agent.
Got More Questions about AI Agents in Production?
अन्य शिक्षार्थियों से मिलने, ऑफिस आवर्स में भाग लेने और अपने AI Agents के प्रश्नों के उत्तर पाने के लिए Microsoft Foundry Discord में शामिल हों।
Previous Lesson
Next Lesson
अस्वीकरण: इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा Co‑op Translator (https://github.com/Azure/co-op-translator) का उपयोग करके किया गया है। हम सटीकता के लिए प्रयास करते हैं, फिर भी कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या असमानताएँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए पेशेवर मानव अनुवाद की सलाह दी जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।