ai-agents-for-beginners
उत्पादनमा AI एजेन्टहरू: अवलोकनशीलता र मूल्याङ्कन
जब AI एजेन्टहरू प्रोटोटाइपबाट वास्तविक संसारका अनुप्रयोगहरूमा जान्छन्, तिनीहरूको व्यवहार बुझ्न, प्रदर्शन अनुगमन गर्न, र तिनीहरूको नतिजाहरू व्यवस्थित रूपमा मूल्याङ्कन गर्न सक्ने क्षमता महत्त्वपूर्ण हुन्छ।
सिकाइका लक्ष्यहरू
यो पाठ पूरा गरेपछि, तपाईंले निम्न कुरा जान्नुहुनेछ/बुझ्नुहुनेछ:
- एजेन्ट अवलोकनशीलता र मूल्याङ्कनका मुख्य अवधारणाहरू
- एजेन्टहरूको प्रदर्शन, लागत, र प्रभावकारिता सुधार गर्ने प्रविधिहरू
- तपाईंको AI एजेन्टहरूलाई व्यवस्थित रूपमा कसरी मूल्याङ्कन गर्ने
- उत्पादनमा AI एजेन्टहरू तैनाथ गर्दा लागत कसरी नियन्त्रण गर्ने
- AutoGen प्रयोग गरेर बनाइएका एजेन्टहरूलाई कसरी उपकरणबद्ध गर्ने
उद्देश्य भनेको तपाईंलाई “ब्ल्याक बक्स” एजेन्टहरूलाई पारदर्शी, व्यवस्थापन गर्न मिल्ने, र भरपर्दो प्रणालीहरूमा रूपान्तरण गर्न आवश्यक ज्ञान प्रदान गर्नु हो।
नोट: सुरक्षित र विश्वासयोग्य AI एजेन्टहरू तैनाथ गर्नु महत्त्वपूर्ण छ। विश्वासयोग्य AI एजेन्टहरू निर्माण गर्ने पाठ पनि हेर्नुहोस्।
ट्रेस र स्प्यानहरू
Langfuse वा Azure AI Foundry जस्ता अवलोकन उपकरणहरूले प्रायः एजेन्ट रनहरूलाई ट्रेस र स्प्यानको रूपमा प्रतिनिधित्व गर्छन्।
- ट्रेसले सुरुदेखि अन्त्यसम्मको सम्पूर्ण एजेन्ट कार्यलाई प्रतिनिधित्व गर्छ (जस्तै, प्रयोगकर्ताको सोधपुछलाई ह्यान्डल गर्नु)।
- स्प्यानहरू ट्रेसभित्रका व्यक्तिगत चरणहरू हुन् (जस्तै, भाषा मोडेललाई कल गर्नु वा डेटा पुनःप्राप्त गर्नु)।
अवलोकनशीलता बिना, AI एजेन्ट “ब्ल्याक बक्स” जस्तो महसुस हुन सक्छ - यसको आन्तरिक अवस्था र तर्क अपारदर्शी हुन्छ, जसले समस्याहरू निदान गर्न वा प्रदर्शन अनुकूलन गर्न गाह्रो बनाउँछ। अवलोकनशीलतासँगै, एजेन्टहरू “ग्लास बक्स” बन्छन्, जसले पारदर्शिता प्रदान गर्छ, जुन विश्वास निर्माण गर्न र तिनीहरूले अपेक्षित रूपमा सञ्चालन गरिरहेको सुनिश्चित गर्न महत्त्वपूर्ण छ।
उत्पादन वातावरणमा अवलोकनशीलता किन महत्त्वपूर्ण छ
AI एजेन्टहरूलाई उत्पादन वातावरणमा लैजाँदा नयाँ चुनौतीहरू र आवश्यकताहरू आउँछन्। अवलोकनशीलता अब “राम्रो भए हुने” कुरा मात्र होइन, यो एक महत्त्वपूर्ण क्षमता हो:
- डिबगिङ र मूल कारण विश्लेषण: जब कुनै एजेन्ट असफल हुन्छ वा अप्रत्याशित नतिजा दिन्छ, अवलोकन उपकरणहरूले समस्या कहाँ छ भनेर पत्ता लगाउन आवश्यक ट्रेसहरू प्रदान गर्छ। यो विशेष गरी जटिल एजेन्टहरूमा महत्त्वपूर्ण हुन्छ, जसमा धेरै LLM कलहरू, उपकरण अन्तरक्रियाहरू, र सर्तात्मक तर्कहरू समावेश हुन सक्छ।
- ढिलाइ र लागत व्यवस्थापन: AI एजेन्टहरूले प्रायः LLM र अन्य बाह्य API हरूमा निर्भर गर्छन्, जसको शुल्क टोकन वा कलको आधारमा लाग्छ। अवलोकनले यी कलहरूको सटीक ट्र्याकिङ गर्न अनुमति दिन्छ, जसले अत्यधिक ढिलो वा महँगो अपरेसनहरू पहिचान गर्न मद्दत गर्छ। यसले टोलीहरूलाई प्रॉम्प्टहरू अनुकूलन गर्न, अधिक कुशल मोडेलहरू चयन गर्न, वा कार्यप्रवाहहरू पुनः डिजाइन गर्न सक्षम बनाउँछ, जसले सञ्चालन लागत व्यवस्थापन गर्न र राम्रो प्रयोगकर्ता अनुभव सुनिश्चित गर्न मद्दत गर्छ।
- विश्वास, सुरक्षा, र अनुपालन: धेरै अनुप्रयोगहरूमा, एजेन्टहरूले सुरक्षित र नैतिक रूपमा व्यवहार गरिरहेको सुनिश्चित गर्नु महत्त्वपूर्ण हुन्छ। अवलोकनले एजेन्टका कार्यहरू र निर्णयहरूको अडिट ट्रेल प्रदान गर्छ। यसले प्रॉम्प्ट इन्जेक्सन, हानिकारक सामग्रीको उत्पादन, वा व्यक्तिगत पहिचानयोग्य जानकारी (PII) को गलत ह्यान्डलिङ जस्ता समस्याहरू पत्ता लगाउन र समाधान गर्न प्रयोग गर्न सकिन्छ। उदाहरणका लागि, तपाईं ट्रेसहरू समीक्षा गरेर बुझ्न सक्नुहुन्छ कि एजेन्टले किन कुनै विशेष प्रतिक्रिया दिएको वा कुनै उपकरण प्रयोग गरेको।
- निरन्तर सुधार चक्रहरू: अवलोकन डेटा पुनरावृत्त विकास प्रक्रियाको आधार हो। एजेन्टहरूले वास्तविक संसारमा कसरी प्रदर्शन गर्छन् भनेर अनुगमन गरेर, टोलीहरूले सुधारका क्षेत्रहरू पहिचान गर्न, मोडेलहरूलाई फाइन-ट्युन गर्न डेटा सङ्कलन गर्न, र परिवर्तनहरूको प्रभावलाई मान्य गर्न सक्छन्। यसले उत्पादनमा अनलाइन मूल्याङ्कनबाट प्राप्त अन्तर्दृष्टिले अफलाइन प्रयोग र परिष्करणलाई जानकारी दिने फिडब्याक लूप सिर्जना गर्छ, जसले क्रमिक रूपमा एजेन्टको प्रदर्शन सुधार गर्छ।
ट्र्याक गर्नुपर्ने प्रमुख मेट्रिक्स
एजेन्टको व्यवहार अनुगमन गर्न र बुझ्न, विभिन्न मेट्रिक्स र संकेतहरू ट्र्याक गर्नुपर्छ। यद्यपि एजेन्टको उद्देश्यको आधारमा विशिष्ट मेट्रिक्स फरक हुन सक्छ, केही मेट्रिक्सहरू सामान्य रूपमा महत्त्वपूर्ण हुन्छन्।
यहाँ अवलोकन उपकरणहरूले अनुगमन गर्ने केही सामान्य मेट्रिक्सहरू छन्:
ढिलाइ: एजेन्टले कति छिटो प्रतिक्रिया दिन्छ? लामो प्रतीक्षा समयले प्रयोगकर्ता अनुभवलाई नकारात्मक रूपमा असर गर्छ। तपाईंले एजेन्ट रनहरू ट्रेस गरेर कार्यहरू र व्यक्तिगत चरणहरूको लागि ढिलाइ मापन गर्नुपर्छ। उदाहरणका लागि, यदि कुनै एजेन्टले सबै मोडेल कलहरूको लागि २० सेकेन्ड लिन्छ भने, छिटो मोडेल प्रयोग गरेर वा मोडेल कलहरू समानान्तरमा चलाएर यसलाई तीव्र बनाउन सकिन्छ।
लागतहरू: प्रति एजेन्ट रन खर्च कति छ? AI एजेन्टहरूले टोकनको आधारमा शुल्क लाग्ने LLM कलहरू वा बाह्य API हरूमा निर्भर गर्छन्। बारम्बार उपकरण प्रयोग वा धेरै प्रॉम्प्टहरूले लागत छिटो बढाउन सक्छ। उदाहरणका लागि, यदि कुनै एजेन्टले LLM लाई पाँच पटक कल गर्छ भने, तपाईंले मूल्याङ्कन गर्नुपर्छ कि लागत उचित छ कि छैन, वा कलहरूको संख्या घटाउन वा सस्तो मोडेल प्रयोग गर्न सकिन्छ। वास्तविक-समय अनुगमनले अप्रत्याशित स्पाइकहरू (जस्तै, अत्यधिक API लूपहरू उत्पन्न गर्ने बगहरू) पनि पहिचान गर्न मद्दत गर्छ।
अनुरोध त्रुटिहरू: एजेन्टले कति अनुरोधहरू असफल गर्यो? यसमा API त्रुटिहरू वा असफल उपकरण कलहरू समावेश हुन सक्छ। उत्पादनमा यी समस्याहरूको सामना गर्न एजेन्टलाई अधिक बलियो बनाउन, तपाईं फलब्याक वा पुन: प्रयास सेटअप गर्न सक्नुहुन्छ। उदाहरणका लागि, यदि LLM प्रदायक A डाउन छ भने, तपाईंले LLM प्रदायक B लाई ब्याकअपको रूपमा स्विच गर्न सक्नुहुन्छ।
प्रयोगकर्ता प्रतिक्रिया: प्रत्यक्ष प्रयोगकर्ता मूल्याङ्कनहरू कार्यान्वयन गर्दा मूल्यवान अन्तर्दृष्टि प्रदान गर्छ। यसमा स्पष्ट रेटिङहरू (👍थम्ब्स-अप/👎डाउन, ⭐१-५ तारा) वा पाठ्य टिप्पणीहरू समावेश हुन सक्छ। लगातार नकारात्मक प्रतिक्रिया तपाईंलाई सतर्क गराउनुपर्छ, किनभने यो संकेत हो कि एजेन्ट अपेक्षाअनुसार काम गरिरहेको छैन।
अप्रत्यक्ष प्रयोगकर्ता प्रतिक्रिया: प्रयोगकर्ताको व्यवहारले स्पष्ट रेटिङ बिना पनि अप्रत्यक्ष प्रतिक्रिया प्रदान गर्छ। यसमा तुरुन्तै प्रश्न पुन: लेखन, दोहोरिएका सोधपुछहरू, वा पुन: प्रयास बटन क्लिक गर्नु समावेश हुन सक्छ। उदाहरणका लागि, यदि तपाईंले देख्नुभयो कि प्रयोगकर्ताहरूले बारम्बार एउटै प्रश्न सोधिरहेका छन् भने, यो संकेत हो कि एजेन्ट अपेक्षाअनुसार काम गरिरहेको छैन।
सटीकता: एजेन्टले कति पटक सही वा वाञ्छनीय नतिजा उत्पादन गर्छ? सटीकताको परिभाषा फरक हुन सक्छ (जस्तै, समस्या समाधानको सटीकता, जानकारी पुन:प्राप्ति सटीकता, प्रयोगकर्ता सन्तुष्टि)। पहिलो चरण भनेको तपाईंको एजेन्टको लागि सफलता कस्तो देखिन्छ भनेर परिभाषित गर्नु हो। तपाईंले स्वचालित जाँचहरू, मूल्याङ्कन स्कोरहरू, वा कार्य पूरा गर्ने लेबलहरू मार्फत सटीकता ट्र्याक गर्न सक्नुहुन्छ। उदाहरणका लागि, ट्रेसहरूलाई “सफल” वा “असफल” भनेर चिन्ह लगाउनु।
स्वचालित मूल्याङ्कन मेट्रिक्स: तपाईंले स्वचालित मूल्याङ्कनहरू पनि सेटअप गर्न सक्नुहुन्छ। उदाहरणका लागि, तपाईंले एजेन्टको नतिजालाई स्कोर गर्न LLM प्रयोग गर्न सक्नुहुन्छ, जस्तै यो उपयोगी, सटीक, वा होइन। त्यस्तै, RAGAS जस्ता खुला स्रोत पुस्तकालयहरू RAG एजेन्टहरूको लागि वा LLM Guard हानिकारक भाषा वा प्रॉम्प्ट इन्जेक्सन पत्ता लगाउन प्रयोग गर्न सकिन्छ।
व्यवहारमा, यी मेट्रिक्सहरूको संयोजनले AI एजेन्टको स्वास्थ्यको सबैभन्दा राम्रो कभरेज दिन्छ। यस अध्यायको उदाहरण नोटबुक मा, हामी यी मेट्रिक्सहरू वास्तविक उदाहरणहरूमा कस्तो देखिन्छ भनेर देखाउनेछौं, तर पहिले, हामी एक सामान्य मूल्याङ्कन कार्यप्रवाह कस्तो देखिन्छ भनेर सिक्नेछौं।
तपाईंको एजेन्टलाई उपकरणबद्ध गर्नुहोस्
ट्रेसिङ डेटा सङ्कलन गर्न, तपाईंले आफ्नो कोडलाई उपकरणबद्ध गर्न आवश्यक छ। उद्देश्य भनेको एजेन्ट कोडलाई ट्रेस र मेट्रिक्स उत्सर्जन गर्न उपकरणबद्ध गर्नु हो, जसलाई अवलोकन प्लेटफर्मद्वारा सङ्कलन, प्रशोधन, र दृश्यात्मक बनाउन सकिन्छ।
OpenTelemetry (OTel): OpenTelemetry LLM अवलोकनको लागि उद्योग मानकको रूपमा देखा परेको छ। यसले टेलिमेट्री डेटा उत्पन्न, सङ्कलन, र निर्यात गर्न API, SDK, र उपकरणहरूको सेट प्रदान गर्छ।
धेरै उपकरणबद्ध पुस्तकालयहरू छन्, जसले विद्यमान एजेन्ट फ्रेमवर्कहरूलाई र्याप गर्छन् र OpenTelemetry स्प्यानहरू अवलोकन उपकरणमा निर्यात गर्न सजिलो बनाउँछन्। तल OpenLit उपकरणबद्ध पुस्तकालय प्रयोग गरेर AutoGen एजेन्टलाई उपकरणबद्ध गर्ने उदाहरण छ:
import openlit
openlit.init(tracer = langfuse._otel_tracer, disable_batch = True)
यस अध्यायको उदाहरण नोटबुक ले तपाईंको AutoGen एजेन्टलाई कसरी उपकरणबद्ध गर्ने भनेर प्रदर्शन गर्नेछ।
म्यानुअल स्प्यान सिर्जना: यद्यपि उपकरणबद्ध पुस्तकालयहरूले राम्रो आधार प्रदान गर्छन्, त्यस्ता धेरै केसहरू हुन्छन् जहाँ थप विस्तृत वा अनुकूल जानकारी आवश्यक हुन्छ। तपाईंले म्यानुअल रूपमा स्प्यानहरू सिर्जना गरेर अनुकूल एप्लिकेसन तर्क थप्न सक्नुहुन्छ। अझ महत्त्वपूर्ण कुरा, तिनीहरूले स्वचालित वा म्यानुअल रूपमा सिर्जना गरिएका स्प्यानहरूलाई अनुकूल विशेषताहरू (ट्याग वा मेटाडाटा पनि भनिन्छ) सँग समृद्ध बनाउन सक्छन्। यी विशेषताहरूमा व्यवसाय-विशिष्ट डेटा, मध्यवर्ती गणनाहरू, वा डिबगिङ वा विश्लेषणका लागि उपयोगी कुनै पनि सन्दर्भ समावेश हुन सक्छ, जस्तै user_id, session_id, वा model_version।
Langfuse Python SDK प्रयोग गरेर म्यानुअल रूपमा ट्रेस र स्प्यान सिर्जना गर्ने उदाहरण:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
एजेन्ट मूल्याङ्कन
अवलोकनले हामीलाई मेट्रिक्स दिन्छ, तर मूल्याङ्कन भनेको ती डेटा (र परीक्षणहरू) विश्लेषण गर्ने प्रक्रिया हो, जसले AI एजेन्ट कत्तिको राम्रो प्रदर्शन गरिरहेको छ र यसलाई कसरी सुधार गर्न सकिन्छ भन्ने निर्धारण गर्छ। अर्को शब्दमा, एक पटक तपाईंले ती ट्रेस र मेट्रिक्स पाउनुभयो भने, एजेन्टलाई कसरी न्याय गर्ने र निर्णय गर्ने भन्ने कुरा हो।
नियमित मूल्याङ्कन महत्त्वपूर्ण छ, किनभने AI एजेन्टहरू प्रायः गैर-निर्धारित हुन्छन् र विकसित हुन सक्छन् (अपडेटहरू वा मोडेल व्यवहारको बहाव मार्फत) – मूल्याङ्कन बिना, तपाईंलाई थाहा हुँदैन कि तपाईंको “स्मार्ट एजेन्ट” वास्तवमा राम्रोसँग काम गरिरहेको छ वा पछाडि गएको छ।
AI एजेन्टहरूको लागि दुई प्रकारका मूल्याङ्कनहरू छन्: अनलाइन मूल्याङ्कन र अफलाइन मूल्याङ्कन। दुवै महत्त्वपूर्ण छन्, र तिनीहरूले एकअर्कालाई पूरक बनाउँछन्। हामी प्रायः अफलाइन मूल्याङ्कनबाट सुरु गर्छौं, किनभने यो कुनै पनि एजेन्ट तैनाथ गर्नु अघिको न्यूनतम आवश्यक कदम हो।
अफलाइन मूल्याङ्कन
यसमा नियन्त्रण गरिएको सेटिङमा, प्रायः परीक्षण डेटासेटहरू प्रयोग गरेर, एजेन्टको मूल्याङ्कन गरिन्छ, प्रत्यक्ष प्रयोगकर्ता सोधपुछहरू होइन। तपाईंले क्युरेट गरिएको डेटासेटहरू प्रयोग गर्नुहुन्छ, जहाँ तपाईंलाई अपेक्षित नतिजा वा सही व्यवहार थाहा हुन्छ, र त्यसपछि तीमा तपाईंको एजेन्ट चलाउनुहुन्छ।
उदाहरणका लागि, यदि तपाईंले गणितीय शब्द-समस्या एजेन्ट निर्माण गर्नुभयो भने, तपाईंले १०० समस्याहरूको परीक्षण डेटासेट बनाउन सक्नुहुन्छ, जसको उत्तरहरू पहिले नै थाहा हुन्छ। अफलाइन मूल्याङ्कन प्रायः विकासको क्रममा गरिन्छ (र CI/CD पाइपलाइनहरूको भाग हुन सक्छ) सुधारहरू जाँच गर्न वा पछाडि जानबाट जोगाउन। यसको फाइदा भनेको यो पुनरावृत्त गर्न मिल्ने र तपाईंले स्पष्ट सटीकता मेट्रिक्स पाउन सक्नुहुन्छ, किनभने तपाईंलाई ग्राउन्ड ट्रुथ थाहा छ। तपाईंले प्रयोगकर्ता सोधपुछहरूको नक्कल गर्न सक्नुहुन्छ र एजेन्टको प्रतिक्रियाहरू आदर्श उत्तरहरूसँग तुलना गर्न सक्नुहुन्छ वा माथि वर्णन गरिएका स्वचालित मेट्रिक्सहरू प्रयोग गर्न सक्नुहुन्छ।
अफलाइन मूल्याङ्कनको मुख्य चुनौती भनेको तपाईंको परीक्षण डेटासेट व्यापक र सान्दर्भिक रहन सुनिश्चित गर्नु हो – एजेन्टले स्थिर परीक्षण सेटमा राम्रो प्रदर्शन गर्न सक्छ, तर उत्पादनमा धेरै फरक सोधपुछहरूको सामना गर्न सक्छ। त्यसैले, तपाईंले परीक्षण सेटहरू नयाँ किनारा केसहरू र वास्तविक संसारका परिदृश्यहरूलाई प्रतिबिम्बित गर्ने उदाहरणहरूसँग अद्यावधिक राख्नुपर्छ। साना “स्मोक टेस्ट” केसहरू र ठूला मूल्याङ्कन सेटहरूको मिश्रण उपयोगी हुन्छ: छिटो जाँचका लागि साना सेटहरू र व्यापक प्रदर्शन मेट्रिक्सका लागि ठूला सेटहरू।
अनलाइन मूल्याङ्कन
यसले प्रत्यक्ष, वास्तविक संसारको वातावरणमा, अर्थात् उत्पादनमा वास्तविक प्रयोगको क्रममा, एजेन्टको मूल्याङ्कनलाई जनाउँछ। अनलाइन मूल्याङ्कनले वास्तविक प्रयोगकर्ता अन्तरक्रियाहरूमा एजेन्टको प्रदर्शन अनुगमन र परिणामहरूको निरन्तर विश्लेषण समावेश गर्दछ।
उदाहरणका लागि, तपाईंले प्रत्यक्ष ट्राफिकमा सफलता दर, प्रयोगकर्ता सन्तुष्टि स्कोरहरू, वा अन्य मेट्रिक्स ट्र्याक गर्न सक्नुहुन्छ। अनलाइन मूल्याङ्कनको फाइदा भनेको यो तपाईंले प्रयोगशालामा अनुमान गर्न नसक्ने कुराहरू समेट्छ – तपाईंले समयसँगै मोडेल बहाव (यदि एजेन्टको प्रभावकारिता इनपुट ढाँचाहरू सर्दै जाँदा घट्छ भने) अवलोकन गर्न सक्नुहुन्छ र परीक्षण डेटामा नभएका अप्रत्याशित सोधपुछहरू वा अवस्थाहरू पत्ता लगाउन सक्नुहुन्छ। यसले जङ्गलमा एजेन्टले कसरी व्यवहार गर्छ भन्ने साँचो चित्र प्रदान गर्छ।
अनलाइन मूल्याङ्कनले अप्रत्यक्ष र प्रत्यक्ष प्रयोगकर्ता प्रतिक्रिया सङ्कलन समावेश गर्न सक्छ, जस्तै, र सम्भवतः छायाँ परीक्षणहरू वा A/B परीक्षणहरू चलाउन सक्छ (जहाँ एजेन्टको नयाँ संस्करण पुरानोको तुलनामा समानान्तरमा चल्छ)। चुनौती भनेको प्रत्यक्ष अन्तरक्रियाहरूका लागि भरपर्दो लेबलहरू वा स्कोरहरू प्राप्त गर्न गाह्रो हुन सक्छ – तपाईंले प्रयोगकर्ता प्रतिक्रिया वा डाउनस्ट्रीम मेट्रिक्स (जस्तै, प्रयोगकर्ताले नतिजा क्लिक गर्यो कि गरेन) मा निर्भर गर्न सक्नुहुन्छ।
दुवैको संयोजन
अनलाइन र अफलाइन मूल्याङ्कनहरू परस्पर अनन्य छैनन्; तिनीहरू अत्यन्त पूरक छन्। अनलाइन अनुगमनबाट प्राप्त अन्तर्दृष्टिहरू (जस्तै, नयाँ प्रकारका प्रयोगकर्ता सोधपुछहरू जहाँ एजेन्टले खराब प्रदर्शन गर्छ) अफलाइन परीक्षण डेटासेटहरूलाई सुधार गर्न र सुधार गर्न प्रयोग
एआई एजेन्टहरूको उत्पादनमा परिनियोजन
सामान्य समस्याहरू र समाधानहरू
एआई एजेन्टहरूको उत्पादनमा परिनियोजन गर्दा, तपाईंले केही सामान्य समस्याहरू सामना गर्न सक्नुहुन्छ। यहाँ ती समस्याहरू र तिनका सम्भावित समाधानहरू छन्:
| समस्या | समाधान |
|---|---|
| एजेन्टले सही रूपमा प्रतिक्रिया दिँदैन | - एजेन्टको प्रामाणिकता सुनिश्चित गर्न परीक्षण र मूल्याङ्कन प्रणाली निर्माण गर्नुहोस्। - एजेन्टको प्रतिक्रिया सुधार गर्न प्रामाणिक डेटा प्रयोग गर्नुहोस्। |
| जटिल कार्यहरूको लागि सही मोडेल प्रयोग नगर्ने | - जटिल कार्यहरूको लागि तर्क गर्न सक्षम ठूला मोडेल प्रयोग गर्नुहोस्। |
| एआई एजेन्ट टूल कलहरू राम्रोसँग काम नगर्ने | - एजेन्ट प्रणाली बाहिर टूलको आउटपुट परीक्षण र मान्य गर्नुहोस्। - परिभाषित प्यारामिटर, प्रॉम्प्ट, र टूलहरूको नाम परिमार्जन गर्नुहोस्। |
| बहु-एजेन्ट प्रणाली स्थिर रूपमा काम नगर्ने | - प्रत्येक एजेन्टलाई दिइने प्रॉम्प्ट परिमार्जन गर्नुहोस् ताकि ती स्पष्ट र एकअर्कासँग भिन्न हुन्। - “राउटिङ” वा कन्ट्रोलर एजेन्ट प्रयोग गरेर एक पदानुक्रम प्रणाली निर्माण गर्नुहोस् जसले सही एजेन्ट निर्धारण गर्छ। |
यी समस्याहरूलाई पहिचान गर्न अवलोकन क्षमताको प्रयोगले अझ प्रभावकारी बनाउँछ। हामीले पहिले चर्चा गरेका ट्रेस र मेट्रिक्सहरूले एजेन्ट वर्कफ्लोको कुन भागमा समस्या छ भनेर ठ्याक्कै पत्ता लगाउन मद्दत गर्छ, जसले डिबगिङ र अनुकूलनलाई धेरै प्रभावकारी बनाउँछ।
लागत व्यवस्थापन
एआई एजेन्टहरू उत्पादनमा परिनियोजन गर्दा लागत व्यवस्थापनका लागि केही रणनीतिहरू यहाँ छन्:
सानो मोडेलहरूको प्रयोग: साना भाषा मोडेलहरू (SLMs) केही एजेन्टिक प्रयोगका केसहरूमा राम्रो प्रदर्शन गर्न सक्छन् र लागतलाई उल्लेखनीय रूपमा घटाउँछन्। जस्तै, सानो मोडेलहरूले इरादा वर्गीकरण वा प्यारामिटर निकाल्ने जस्ता सरल कार्यहरूका लागि प्रयोग गर्न सकिन्छ, जबकि जटिल तर्कका लागि ठूला मोडेलहरू सुरक्षित राख्न सकिन्छ।
राउटर मोडेलको प्रयोग: विभिन्न आकार र प्रकारका मोडेलहरूको प्रयोग गर्ने अर्को रणनीति हो। तपाईंले LLM/SLM वा सर्भरलेस फङ्क्शन प्रयोग गरेर अनुरोधको जटिलताका आधारमा उपयुक्त मोडेलमा राउट गर्न सक्नुहुन्छ। यसले लागत घटाउन र सही कार्यमा प्रदर्शन सुनिश्चित गर्न मद्दत गर्छ। उदाहरणका लागि, साधारण प्रश्नहरूलाई साना, छिटो मोडेलहरूमा राउट गर्नुहोस्, र जटिल तर्कका लागि महँगो ठूला मोडेलहरू मात्र प्रयोग गर्नुहोस्।
प्रतिक्रिया क्यासिङ: सामान्य अनुरोधहरू र कार्यहरू पहिचान गरी तिनीहरूको प्रतिक्रिया एजेन्टिक प्रणालीमा जानुअघि नै उपलब्ध गराउनुहोस्। तपाईंले क्यास गरिएका अनुरोधहरूसँग नयाँ अनुरोध कत्तिको मिल्दोजुल्दो छ भनेर पहिचान गर्न आधारभूत एआई मोडेलहरू प्रयोग गर्न सक्नुहुन्छ। यो रणनीतिले बारम्बार सोधिने प्रश्नहरू वा सामान्य वर्कफ्लोहरूको लागि लागतलाई उल्लेखनीय रूपमा घटाउन सक्छ।
व्यवहारमा यसलाई कसरी प्रयोग गर्ने
यस खण्डको उदाहरण नोटबुक मा, हामीले अवलोकन उपकरणहरूको प्रयोग गरेर कसरी एजेन्टलाई अनुगमन र मूल्याङ्कन गर्न सकिन्छ भन्ने उदाहरणहरू हेर्नेछौं।
उत्पादनमा एआई एजेन्टहरूबारे थप प्रश्न छन्?
Azure AI Foundry Discord मा सामेल हुनुहोस्, जहाँ तपाईं अन्य सिक्नेहरूसँग भेट्न, अफिस आवरहरूमा सहभागी हुन र आफ्नो एआई एजेन्टसम्बन्धी प्रश्नहरूको उत्तर पाउन सक्नुहुन्छ।
अघिल्लो पाठ
अर्को पाठ
अस्वीकरण:
यो दस्तावेज़ AI अनुवाद सेवा Co-op Translator प्रयोग गरेर अनुवाद गरिएको छ। हामी शुद्धताको लागि प्रयास गर्छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छ। यसको मूल भाषा मा रहेको मूल दस्तावेज़लाई आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीको लागि, व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न हुने कुनै पनि गलतफहमी वा गलत व्याख्याको लागि हामी जिम्मेवार हुने छैनौं।