ai-agents-for-beginners

कम्प्युटर प्रयोग एजेन्टहरू (CUA) बनाउँदै

कम्प्युटर प्रयोग एजेन्टहरूले वेबसाइटहरूलाई त्यस्तै तरिकाले अन्तरक्रिया गर्न सक्छन् जसरी मानिसले गर्छ: ब्राउजर खोल्दा, पृष्ठ निरीक्षण गर्दा, र उनीहरूले देखेका कुराबाट अर्को उत्तम कदम चाल्दा। यस पाठमा, तपाईंले एयरबीएनबी खोज्ने, संरचित सूचीकरण डाटा निकाल्ने, र स्टकहोममा सबैभन्दा सस्तो बसोबास पहिचान गर्ने ब्राउजर स्वचालन एजेन्ट निर्माण गर्नेछौं।

यो पाठले Browser-Use लाई AI-चालित नेभिगेसनका लागि, Playwright र Chrome DevTools Protocol (CDP) लाई ब्राउजर नियन्त्रणका लागि, Azure OpenAI लाई दृष्टि-सक्षम तर्कको लागि, र Pydantic लाई संरचित निकासीका लागि संयुक्त गर्दछ।

परिचय

यस पाठले समेट्छ:

• कम्प्युटर प्रयोग एजेन्टहरू API मात्र स्वचालनभन्दा राम्रो कहिले हुन्छ बुझ्ने
• भरपर्दो ब्राउजर जीवनचक्र व्यवस्थापनका लागि Browser-Use लाई Playwright र CDP सँग मिलाउने
• गतिशील वेब पृष्ठहरूबाट सूचीकरण डाटा निकाल्न Azure OpenAI दृष्टि र संरचित Pydantic आउटपुटको प्रयोग गर्ने
• एजेन्ट-प्रथम, अभिनेता-प्रथम, वा मिश्रित ब्राउजर स्वचालन कार्यप्रवाह प्रयोग कहिले गर्ने निर्णय गर्ने

सिकाइ लक्ष्यहरू

यो पाठ पूरा गरेपछि, तपाईं जान्नुपर्नेछ:

• Browser-Use लाई Azure OpenAI र Playwright सँग कन्फिगर गर्ने
• वास्तविक वेबसाइट नेभिगेट गर्ने र गतिशील UI तत्वहरू ह्यान्डल गर्ने ब्राउजर स्वचालन कार्यप्रवाह बनाउने
• दृश्य पृष्ठ सामग्रीबाट टाइप गरिएका परिणामहरू निकाल्ने र तिनीहरूलाई व्यवसायिक तर्कमा परिणत गर्ने
• ब्राउजर कार्य कति पूर्वानुमानयोग्य छ भन्ने आधारमा एजेन्ट र अभिनेता ढाँचा बीच चयन गर्ने

कोड नमुना

यस पाठमा एउटा नोटबुक ट्युटोरियल समावेश छ:

• 15-browser-user.ipynb: CDP मार्फत क्रोम सेसन सुरु गर्छ, एयरबीएनबीमा स्टकहोम सूचीहरू खोज्छ, Browser-Use दृष्टिसँग मूल्यहरू निकाल्छ, र सबैभन्दा सस्तो विकल्प संरचित डाटाको रूपमा फिर्ता ल्याउँछ।

पूर्वआवश्यकताहरू

• Python 3.12+
• तपाईंको वातावरणमा Azure OpenAI परिनियोजन कन्फिगर गरिएको
• क्रोम वा क्रोमियम स्थानीय रूपमा स्थापित
• Playwright निर्भरताहरू स्थापित
• asynchronous Python को आधारभूत परिचय

सेटअप

नोटबुकमा प्रयोग गरिएको प्याकेजहरू स्थापना गर्नुहोस्:

pip install browser_use playwright python-dotenv
playwright install chromium

नोटबुकमा प्रयोग गरिएका Azure OpenAI वातावरण चरहरू सेट गर्नुहोस्:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# वैकल्पिक: छोड्दा नयाँतम API संस्करणमा डिफल्ट हुन्छ
AZURE_OPENAI_API_VERSION=...

आर्किटेक्चर अवलोकन

नोटबुकले मिश्रित ब्राउजर स्वचालन कार्यप्रवाह प्रदर्शन गर्छ:

1. CDP सक्षम गरिएको क्रोम सुरु हुन्छ ताकि Playwright र Browser-Use दुबैले एउटै ब्राउजर सेसन साझा गर्न सकून्।
2. Browser-Use एजेन्ट खुलेर नेभिगेट गर्ने कामहरू जस्तो एयरबीएनबी खोल्ने, पप-अप हटाउने, र स्टकहोम खोज्ने कार्यहरू ह्यान्डल गर्छ।
3. सक्रिय पृष्ठ एक संरचित Pydantic स्किमाको साथ निरीक्षण गरिन्छ जसले सूची शीर्षकहरू, रातभरि मूल्यहरू, रेटिङहरू, र URL हरू निकाल्छ।
4. Python तर्कले निकालिएका सूचीहरू तुलना गर्छ र सबैभन्दा सस्तो परिणामलाई हाइलाइट गर्छ।

यो दृष्टिकोणले Browser-Use को लचकदार, दृष्टि आधारित तर्कलाई कायम राख्छ जबकि तपाईंलाई जब आवश्यक पर्दछ तब निश्चित ब्राउजर नियन्त्रण पनि दिन्छ।

मुख्य सिकाइ र उत्तम अभ्यासहरू

एजेन्ट र अभिनेता प्रयोग कहिले गर्ने

परिस्थिति	एजेन्ट प्रयोग गर्ने	अभिनेता प्रयोग गर्ने
गतिशील लेआउटहरू	हो, AI ले पृष्ठ परिवर्तनहरूसँग अनुकूल हुन सक्छ	होइन, कमजोर चयनकर्ताहरूले टुक्रिन सक्छ
परिचित संरचना	होइन, एजेन्ट प्रत्यक्ष नियन्त्रण भन्दा ढिल्लो हुन्छ	हो, छिटो र यथार्थपरक
तत्वहरू फेला पार्ने	हो, प्राकृतिक भाषा राम्रोसँग काम गर्छ	होइन, ठ्याक्कै चयनकर्ताहरू आवश्यक हुन्छन्
समय नियन्त्रण	होइन, कम पूर्वानुमानयोग्य	हो, प्रतीक्षा र पुनः प्रयासहरूमा पूर्ण नियन्त्रण
जटिल कार्यप्रवाहहरू	हो, अप्रत्याशित UI अवस्थाहरू ह्यान्डल गर्छ	होइन, स्पष्ट शाखाङ्कन आवश्यक हुन्छ

Browser-Use उत्तम अभ्यासहरू

1. अन्वेषण र गतिशील नेभिगेसनका लागि एजेन्टबाट सुरु गर्नुहोस्।
2. अन्तरक्रिया पूर्वानुमानयोग्य हुँदा सिधा पृष्ठ नियन्त्रणमा सर्नुहोस्।
3. निकालेको डाटा मान्य र प्रकार-निर्माण सुनिश्चित गर्न संरचित आउटपुट मोडेल प्रयोग गर्नुहोस्।
4. दृश्य UI परिवर्तनहरू ल्याउने क्रियाहरू पछि रणनीतिक रूपमा ढिलाइहरू थप्नुहोस्।
5. व्यवधानहरू सजिलै डिबग गर्न पुनरावृत्त गर्दै गर्दा स्क्रिनशटहरू लिनुहोस्।
6. वेबसाइटहरूले परिवर्तन हुने अपेक्षा राख्नुहोस् र पप-अपहरू र लेआउट सरसफाइका लागि वैकल्पिक रणनीतिहरू डिजाइन गर्नुहोस्।
7. लचिलोपन र सटीकता दुबै प्राप्त गर्न एजेन्ट र अभिनेता ढाँचाहरू मिसाउनुहोस्।

ब्राउजर एजेन्टहरूको लागि सुरक्षा गार्डरेलहरू

ब्राउजर एजेन्टहरूले प्रत्यक्ष वेबसाइटहरूमा काम गर्छन्, त्यसैले तिनीहरूलाई केवल जानिएको API कल गर्ने स्क्रिप्टभन्दा कडा सीमा आवश्यक हुन्छ। नोटबुक डेमोबाट वास्तविक कार्यप्रवाहमा जानुअघि, एजेन्टले के हेर्न सक्छ, कुन कुरामा क्लिक गर्न सक्छ, र के फर्म बुझाउने/पठाउने कुरा नियन्त्रण गर्नुहोस्।

1. ब्राउजिङ वातावरणको दायरा निश्चित गर्नुहोस्। एजेन्टलाई समर्पित ब्राउजर प्रोफाइल वा स्यान्डबक्समा चलाउनुहोस् र कार्यका लागि आवश्यक डोमेनहरूमा सीमित गर्नुहोस्।
2. अवलोकनलाई क्रियाकलापबाट अलग राख्नुहोस्। एजेन्टलाई पहिले खोज्न, पढ्न, र डाटा निकाल्न दिनुहोस्; फर्म बुझाउने, सन्देश पठाउने, यात्रा बुक गर्ने, खरिद गर्ने, रेकर्ड मेटाउने, वा खाता सेटिङ परिवर्तन गर्नुअघि स्पष्ट अनुमोदन आवश्यक पार्नुहोस्।
3. प्रम्प्ट र ट्रेसहरूमा गोप्य कुरा नराख्नुहोस्। मोडल सन्दर्भमा पासवर्ड, भुक्तानी विवरण, सेसन कुकीहरू, वा कच्चा व्यक्तिगत डाटा नराख्नुहोस्। प्रमाणिकरणका लागि प्रयोगकर्ताले नियन्त्रण लिन पाओस् र संवेदनशील क्षेत्रहरूबाट लगहरू हटाओस्।
4. पृष्ठ सामग्रीलाई अविश्वसनीय इनपुट रूपमा व्यवहार गर्नुहोस्। वेबसाइटले एजेन्टका लागि निर्देशहरू मात्र हुन सक्छ, प्रयोगकर्ताका लागि होइन। एजेन्टले आफ्नो लक्ष्य परिवर्तन गर्ने, डाटा देखाउने, सुरक्षा बन्द गर्ने, वा असम्बन्धित साइटहरू भ्रमण गर्ने पृष्ठको पाठलाई बेवास्ता गर्नुपर्छ।
5. जोखिमपूर्ण कदमहरूमा निश्चित जाँचहरू प्रयोग गर्नुहोस्। अन्तिम कदममा प्रयोगकर्ताले अनुमोदन गर्नु अघि हालको URL, पृष्ठ शीर्षक, चयन गरिएको वस्तु, मूल्य, प्राप्तकर्ता, र कार्य सारांश कूटले जाच गर्नुहोस्।
6. बजेट र रोक्ने सर्तहरू सेट गर्नुहोस्। एजेन्टले प्रयोग गर्न सक्ने क्रियाहरू, पुनः प्रयासहरू, ट्याबहरू, र मिनेटहरूको संख्या सीमित गर्नुहोस्। पृष्ठ अवस्था अस्पष्ट हुँदा क्लिक गर्न जारी नगरी रोक्नुहोस्।
7. सबै होइन, उपयोगी प्रमाणहरू मात्र रेकर्ड गर्नुहोस्। क्रिया सारांश, समयचिह्न, URL, चयन गरिएको तत्वको विवरण, र स्क्रिनशट सन्दर्भहरू राख्नुहोस् ताकि असफलता समीक्षा गर्न सकियोस्, नत्र अनावश्यक संवेदनशील पृष्ठ सामग्री भण्डारण नगर्नुहोस्।

एयरबीएनबी नमूनामा, सुरक्षित पूर्वनिर्धारण सूचीहरू खोज्नु र मूल्यहरू निकाल्नु हो। साइन इन, होस्ट सम्पर्क, वा बुकिङ पूरा गर्नु अलग प्रयोगकर्ता-स्वीकृत क्रिया हुनुपर्छ।

वास्तविक-विश्व अनुप्रयोगहरू

• यात्रा बुकिङ र मूल्य निगरानी
• ई-कॉमर्स मूल्य तुलना र उपलब्धता जाँच
• गतिशील वेबसाइटहरूबाट संरचित निकासी
• दृष्टि-सक्षम UI परीक्षण र प्रमाणीकरण
• वेबसाइट निगरानी र सूचना प्रणाली
• बहु चरण प्रवाहहरूमा बुद्धिमानीपूर्वक फारम भराइ

वास्तविक-विश्व उदाहरण: माइक्रोसफ्ट प्रोजेक्ट ओपल

यस पाठमा तपाईंले निर्माण गर्ने एजेन्ट सानो, स्थानीय संस्करण हो कम्प्युटर प्रयोग एजेन्ट (CUA) को — एउटा कार्यक्रम जसले मानिस जस्तै ब्राउजर चलाउँछ। माइक्रोसफ्टले यो नै विचारलाई व्यावसायिक क्षेत्रमा ल्याउँदैछ Project Opal (Frontier) द्वारा, जुन माइक्रोसफ्ट ३६५ कोपिलटमा एक क्षमता हो।

Project Opal सँग, तपाईंले एउटा कार्य वर्णन गर्नुहुन्छ र एजेन्टले तपाईंको तर्फबाट एक सुरक्षित विन्डोज ३६५ क्लाउड पीसीमा कम्प्युटर प्रयोग गरेर, तपाईंको संगठनका ब्राउजर-आधारित अनुप्रयोगहरू, साइटहरू, र डाटाहरूमा सञ्चालन गर्दछ। यो पृष्ठभूमिमा एसिंक्रोनस रूपमा काम गर्छ, र तपाईंले जुनसुकै बेला कामलाई मार्गदर्शन वा नियन्त्रण लिन सक्नुहुन्छ। उदाहरणका कामहरू समावेश छन्:

• सुरक्षा समूह सदस्यता अनुरोध व्यवस्थापन
• अनुपालन समीक्षा लागि अडिट प्रमाण संकलन र प्रमाणीकरण
• IT घटनाहरूको त्रियाज (टिकट स्थिति अद्यावधिक, मालिक तोक्ने, नक्कलीहरू बन्द गर्ने)
• Excel डाटा वित्तीय बन्द डेकमा संकलन गर्ने

ओपल एउटा उपयोगी सन्दर्भ हो कि उत्पादन-स्तर, भरपर्दो कम्प्युटर प्रयोग एजेन्ट कस्तो देखिन्छ — र यसले अघिल्ला पाठहरूका अवधारणाहरूलाई पुष्ट गर्छ:

यस पाठ्यक्रमको अवधारणा	Project Opal ले यसलाई कसरी लागू गर्छ
मानव-इन-द-लूप (पाठ ०६)	ओपलले लगइन प्रमाणहरू, संवेदनशील डाटा, वा अस्पष्ट निर्देशनहरूको लागि रोक्छ, र कहिल्यै पासवर्ड वा फर्म स्वचालित रूपमा बुझाउँदैन; तपाईंले कार्यको बीचमा कन्ट्रोल लिन र फिर्ता दिने सक्नुहुन्छ।
भरपर्दो र सुरक्षित एजेन्टहरू (पाठ ०६ र १८)	विन्डोज ३६५ क्लाउड पीसीमा अलग्गै चल्छ, केवल ब्राउजर माथि सीमित हुन्छ (अन्य कम्प्युटर पहुँच रोकिएको, Intune द्वारा लागू), तपाईंको पहिचान प्रयोग गर्छ र केवल तपाईंलाई स्वीकृत चीजमा पहुँच गर्छ, र प्रत्येक क्रियाको अडिटयोग्य लग राख्छ।
योजना र मेटाकग्निशन (पाठ ०७ र ०९)	ओपलले कामको योजना पहिले बनाउँछ, त्यसपछि प्रत्येक चरणमा आफ्नो तर्कलाई नियन्त्रण गर्छ र शंकास्पद क्रियाकलाप हुँदा रोक्छ।
पुन: प्रयोग योग्य क्षमता / उपकरणहरू (पाठ ०४)	कुशलताहरू तपाईंलाई दोहोरिने कार्यहरूको लागि निर्देशनहरू लेख्न दिन्छ ( .md फाइलबाट आयात गरिएको वा ओपलसँग लेखिएको) र वार्तालापहरूमा पुन: प्रयोग गर्न सजिलो बनाउँछ।

उपलब्धता: Project Opal हाल Frontier प्रारम्भिक पहुँच कार्यक्रम अन्तर्गत Microsoft 365 Copilot सदस्यता प्राप्त प्रयोगकर्ताहरूका लागि उपलब्ध छ, र तपाईंको प्रशासकले सेटअप पूरा गर्नुपर्नेछ। यो प्रयोगात्मक Frontier सुविधा भएकाले, क्षमताहरू समयसँग परिवर्तन हुन सक्छन्।

ज्ञान जाँच

अर्को पाठमा जानुअघि आफ्नो बुझाइ परीक्षण गर्नुहोस्।

१. ब्राउजर आधारित कम्प्युटर प्रयोग एजेन्ट कहिले API मात्र कार्यप्रवाह भन्दा राम्रो हुन्छ?

उत्तर

जब कार्य वेब UIमा देखिने कुरामा निर्भर हुन्छ, साइटले आवश्यक API सार्वजनिक गरेको हुँदैन, वा पृष्ठ त्यति धेरै परिवर्तन हुन्छ कि स्थिर API वा चयनकर्ता तर्कले कमजोर हुन सक्छ, तब ब्राउजर एजेन्ट प्रयोग गर्नुहोस्। यदि स्थिर API उपलब्ध छ भने प्रायः तीव्र, सजिलो परीक्षणयोग्य र सुरक्षा सक्षम भएकाले API प्राथमिकता दिनुहोस्।

२. मिश्रित कार्यप्रवाहमा, एजेन्टले कुन भागहरू ह्यान्डल गर्ने र सिधा Playwright कोडले कुन भागहरू गर्ने?

उत्तर

एजेन्टलाई खुला नेभिगेसन र गतिशील UI अवस्थाहरू, जस्तै सही पृष्ठ खोज्न वा अप्रत्याशित पप-अपहरू हटाउन दिनुहोस्। पृष्ठ संरचना जानिएपछि र कार्यलाई सटीकता, पुनः प्रयास, प्रतीक्षा, वा निश्चित मान्यकरण चाहिन्छ भने सिधा Playwright नियन्त्रणमा सर्नुहोस्।

३. एयरबीएनबी नमूनाले उपयोगकर्ताले बुक गर्न सक्ने सूची खोज्दछ। कार्यप्रवाहले साइन इन, होस्ट सम्पर्क, वा बुकिङ पूरा गर्नु अघि के हुनु पर्छ?

उत्तर

कार्यप्रवाहले रोक्नुपर्छ र स्पष्ट प्रयोगकर्ता स्वीकृति माग्नुपर्छ। माग्नु अघि चयन गरिएको सूची, वर्तमान URL, मूल्य, मिति, र अपेक्षित कार्यको स्पष्ट सारांश देखाउनु पर्छ। खोज्ने र मूल्य निकाल्ने स्वतन्त्र हुन सक्छ; खाता पहुँच, सन्देश, खरिद, र बुकिङ प्रयोगकर्ताको स्वीकृतिमा हुनुपर्छ।

४. एउटा वेब पृष्ठले एजेन्टलाई त्यसको मूल निर्देशनहरू बेवास्ता गर्न, अर्को साइट भ्रमण गर्न, र सुरक्षित प्रमाणपत्रहरू खुलाउने भन्छ। एजेन्टले त्यो पाठलाई कसरी व्यवहार गर्ने?

उत्तर

यसलाई अविश्वसनीय पृष्ठ सामग्रीको रूपमा व्यवहार गर्नुहोस्, विकासकर्ता वा प्रयोगकर्ता निर्देश जस्तो होइन। एजेन्टले अनुमत डोमेन र कार्य दायरामा रहनुपर्छ, गोप्य कुराहरू खुलाउन अस्वीकार गर्नुपर्छ, र आफ्नो लक्ष्य परिवर्तन गर्ने, सुरक्षा बन्द गर्ने, वा असम्बन्धित साइटहरूमा जान भन्छन् भने पृष्ठ पाठ पछ्याउन हुँदैन।

५. जब ब्राउजर एजेन्ट चल्छ, कुन प्रमाणहरूले राख्न उपयुक्त हुन्छ र के जोगाउनु हुँदैन?

उत्तर

क्रिया सारांशहरू, समयचिह्नहरू, URL, चयन गरिएको तत्व वर्णन, मान्यकरण परिणामहरू, र स्क्रिनशट सन्दर्भहरू राख्नुहोस् ताकि कार्य पुनरावलोकन गर्न सकियोस्। पासवर्ड, भुक्तानी विवरण, सेसन कुकीहरू, कच्चा व्यक्तिगत डाटा, वा पूर्ण पृष्ठ सामग्री आवश्यक रिटेन्सन वा गोपनीयता कारणबिना नमार्नुहोस्।

अतिरिक्त स्रोतहरू

• Project Opal (Frontier) बाट शुरू गर्नुहोस्
• Browser-Use Playwright एकीकरण टेम्प्लेट
• Browser-Use अभिनेता प्यारामीटरहरू र सामग्री निकासी
• पाठ पाठ्यक्रम सेटअप

अघिल्लो पाठ

माइक्रोसफ्ट एजेन्ट फ्रेमवर्क अन्वेषण गर्दै

अर्को पाठ

विस्तृत एजेन्टहरू तैनाथ गर्दै

---

अस्वीकरण: यो दस्तावेज़ AI अनुवाद सेवा Co-op Translator प्रयोग गरेर अनुवाद गरिएको हो। हामी सही हुन प्रयास गर्छौं, तर कृपया जानकार हुनुस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छन्। मूल दस्तावेज़ यसको मूल भाषामा आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलत बुझाइ वा त्रुटिको लागि हामी जिम्मेवार छैनौं।

This site is open source. Improve this page.