ai-agents-for-beginners

कम्प्युटर प्रयोग एजेन्टहरू (CUA) निर्माण गर्दै

कम्प्युटर प्रयोग एजेन्टहरूले वेबसाइटहरूलाई त्यस्तै प्रकारले अन्तरक्रिया गर्न सक्छन् जस्तै व्यक्तिले गर्दछन्: ब्राउजर खोल्ने, पृष्ठ निरीक्षण गर्ने, र देखेका आधारमा अर्को उत्तम कार्य गर्ने। यस पाठमा, तपाइँले एक ब्राउजर अटोमेसन एजेन्ट निर्माण गर्नुहुनेछ जुन Airbnb सर्च गर्छ, संरचित सूचीकरण डेटा निकाल्छ, र स्टकहोममा सबैभन्दा सस्तो बसोबास पहिचान गर्दछ।

यो पाठले AI-चालित नेभिगेसनको लागि Browser-Use, ब्राउजर नियन्त्रणका लागि Playwright र Chrome DevTools Protocol (CDP), दृष्टि सक्षम तर्कको लागि Azure OpenAI, र संरचित निकासीका लागि Pydantic को संयोजन गर्दछ।

परिचय

यो पाठले समावेश गर्दछ:

• कम्प्युटर प्रयोग एजेन्टहरू API-केवल अटोमेसन भन्दा राम्रो फिट कहिले हुन्छ भनी बुझ्ने
• भरपर्दो ब्राउजर लाइफसाइकल व्यवस्थापनका लागि Browser-Use सँग Playwright र CDP कसरी संयोजन गर्ने
• गतिशील वेब पृष्ठहरूबाट सूचीकरण डेटा निकाल्न Azure OpenAI दृष्टि र संरचित Pydantic आउटपुट प्रयोग गर्ने
• एजेन्ट-प्रथम, अभिनेता-प्रथम वा हाइब्रिड ब्राउजर अटोमेसन वर्कफ्लो कहिले प्रयोग गर्ने निर्णय गर्ने

सिकाइ लक्ष्यहरू

यो पाठ पूरा गरेपछि, तपाईले जान्नुहुनेछ:

• Azure OpenAI र Playwright सँग Browser-Use कन्फिगर गर्ने
• वास्तविक वेबसाइटमा नेभिगेट गर्ने र गतिशील UI तत्वहरू सम्हाल्ने ब्राउजर अटोमेसन वर्कफ्लो निर्माण गर्ने
• देखिने पृष्ठ सामग्रीबाट टाइप गरिएको परिणामहरू निकाल्ने र तिनीहरूलाई डाउनस्ट्रीम व्यापार तर्कमा परिणत गर्ने
• ब्राउजर कार्य कति पूर्वानुमानयोग्य छ भनी आधारमा एजेन्ट र अभिनेता नमूनाहरू मध्ये छनौट गर्ने

कोड नमूना

यस पाठमा एउटा नोटबुक ट्युटोरियल समावेश छ:

• 15-browser-user.ipynb: Chrome सेसन CDP मार्फत सुरु गर्छ, Airbnb मा स्टकहोम सूचीहरू खोज्छ, Browser-Use दृष्टिसँग मूल्यहरू निकाल्छ, र सबैभन्दा सस्तो विकल्प संरचित डेटा रूपमा फर्काउँछ।

पूर्व आवश्यकताहरू

• Python 3.12+
• Azure OpenAI परिनियोजन तपाईंको वातावरणमा कन्फिगर गरिएको
• Chrome वा Chromium स्थानीय रूपमा स्थापना गरिएको
• Playwright निर्भरताहरू स्थापना गरिएको
• async Python को आधारभूत परिचय

सेटअप

नोटबुकमा प्रयोग भएका प्याकेजहरू स्थापना गर्नुहोस्:

pip install browser_use playwright python-dotenv
playwright install chromium

नोटबुकले प्रयोग गरेका Azure OpenAI वातावरण चरहरू सेट गर्नुहोस्:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# वैकल्पिक: नदिएको खण्डमा नयाँतम API संस्करणमा डिफल्ट हुन्छ
AZURE_OPENAI_API_VERSION=...

वास्तुकला समीक्षा

नोटबुकले एक हाइब्रिड ब्राउजर अटोमेसन वर्कफ्लो देखाउँछ:

1. Chrome CDP सक्षम गरेर सुरु हुन्छ ताकि Playwright र Browser-Use एकै ब्राउजर सेसन साझा गर्न सकून्।
2. Browser-Use एजेन्ट खुला-समाप्त नेभिगेसन कार्यहरू जस्तै Airbnb खोल्ने, पप-अपहरू बन्द गर्ने, र स्टकहोम खोज्ने कामहरू सम्हाल्छ।
3. सक्रिय पृष्ठलाई संरचित Pydantic स्कीमासहित जाँच गरी सूचीकरण शीर्षकहरू, रात्री मूल्यहरू, रेटिङहरू, र URL हरू निकालिन्छ।
4. Python तर्कले निकालिएका सूचीहरूको तुलना गर्छ र सबैभन्दा सस्तो परिणाम हाइलाइट गर्छ।

यो विधिले Browser-Use को लचिलो, दृष्टि-आधारित तर्कलाई राख्दछ र तपाइँलाई आवश्यक पर्दा निश्चित ब्राउजर नियन्त्रण पनि दिन्छ।

मुख्य जानकारीहरू र उत्तम अभ्यासहरू

एजेन्ट र अभिनेता कहिले प्रयोग गर्ने

परिदृश्य	एजेन्ट प्रयोग गर्ने	अभिनेता प्रयोग गर्ने
गतिशील लेआउटहरू	हो, AI ले पृष्ठ परिवर्तनहरू अनुकूल बनाउन सक्छ	होइन, कमजोर चयनकर्ताहरू विग्रन सक्छन्
परिचित संरचना	होइन, एजेन्ट सिधा नियन्त्रण भन्दा ढिलो हुन्छ	हो, छिटो र ठीक
तत्वहरू फेला पार्दै	हो, प्राकृतिक भाषा राम्रोसँग काम गर्छ	होइन, सटीक चयनकर्ताहरू आवश्यक छ
समय नियन्त्रण	होइन, कम पूर्वानुमानयोग्य	हो, प्रतिक्षा र पुन: प्रयासहरूमा पूर्ण नियन्त्रण
जटिल वर्कफ्लोहरू	हो, अप्रत्याशित UI अवस्थाहरू सम्हाल्छ	होइन, स्पष्ट शाखा आवश्यक छ

Browser-Use उत्तम अभ्यासहरू

1. अन्वेषण र गतिशील नेभिगेसनका लागि एजेन्टबाट सुरु गर्नुहोस्।
2. अन्तरक्रिया पूर्वानुमानयोग्य हुँदा सिधा पृष्ठ नियन्त्रणमा सर्नुहोस्।
3. निकालिएको डेटा प्रमाणीकरण र प्रकार-सुरक्षित हुने गरी संरचित आउटपुट मोडेलहरू प्रयोग गर्नुहोस्।
4. स्पष्ट UI परिवर्तनहरू ट्रिगर गर्ने क्रियाहरू पछि रणनीतिक रूपमा ढिलाइ थप्नुहोस्।
5. फेलियरहरू सजिलोसँग डिबग गर्न पुनरावृत्ति गर्दा स्क्रीनसटहरू कैद गर्नुहोस्।
6. वेबसाइटहरू परिवर्तन हुन सक्ने अपेक्षा गर्नुहोस् र पप-अप र लेआउट परिवर्तनहरूका लागि फालब्याक रणनीतिहरू डिजाइन गर्नुहोस्।
7. दुवै लचिलोपन र सटीकता पाउन एजेन्ट र अभिनेता नमूनाहरू मिश्रण गर्नुहोस्।

ब्राउजर एजेन्टहरूको लागि सुरक्षा गार्डरेलहरू

ब्राउजर एजेन्टहरूले प्रत्यक्ष वेबसाइटहरूमा काम गर्ने भएकाले तिनीहरूलाई थोरै कडा सीमानाहरू आवश्यक हुन्छ जुन केवल परिचित API कल गर्ने स्क्रिप्टभन्दा फरक छ। नोटबुक डेमोबाट वास्तविक वर्कफ्लोमा जानु अघि, एजेन्टले के देख्न सक्छ, क्लिक गर्न सक्छ, र पठाउन सक्छ भन्ने नियन्त्रणहरू परिभाषित गर्नुहोस्।

1. ब्राउजिङ वातावरणलाई सीमित गर्नुहोस्। एजेन्टलाई समर्पित ब्राउजर प्रोफाइल वा स्यान्डबक्समा चलाउनुहोस्, र कार्यका लागि आवश्यक डोमेनहरूमा मात्र सीमित गर्नुहोस्।
2. निरीक्षणलाई क्रियाबाट अलग राख्नुहोस्। एजेन्टलाई पहिले खोज्न, पढ्न, र डेटा निकाल्न दिनुहोस्; फारमहरू पठाउने, सन्देशहरू पठाउने, यात्रा बुक गर्ने, खरीद गर्ने, रेकर्डहरू मेटाउने, वा खाता सेटिङहरू परिवर्तन गर्नेभन्दा पहिले स्पष्ट अनुमोदन चरण आवश्यक पार्नुहोस्।
3. प्रॉम्प्ट र ट्रेसहरूमा गोप्यता राख्नुहोस्। पासवर्डहरू, भुक्तानी विवरणहरू, सत्र कुकीहरू, वा कच्चा व्यक्तिगत डेटा मोडेल सन्दर्भमा नराख्नुहोस्। प्रमाणीकरणका लागि प्रयोगकर्ताले नियन्त्रण लिउन् र संवेदनशील क्षेत्रहरू लोगोबाट हटाओस्।
4. पृष्ठ सामग्रीलाई अविश्वसनीय इनपुटको रूपमा व्यवहार गर्नुहोस्। वेबसाइटले एजेन्टको लागि बनाइएको निर्देशनहरू समावेश गर्न सक्छ जुन प्रयोगकर्ताको लागि होइन। एजेन्टले आफ्नो लक्ष्य परिवर्तन गर्न, डेटा प्रकट गर्न, सुरक्षा नीतिहरू अक्षम गर्न, वा असम्बन्धित साइटहरू भ्रमण गर्न भनी माग गर्ने पृष्ठ टेक्स्टलाई बेवास्ता गर्नु पर्छ।
5. जोखिमपूर्ण चरणहरूका लागि निश्चित जाँचहरू प्रयोग गर्नुहोस्। वर्तमान URL, पृष्ठ शीर्षक, चयनित वस्तु, मूल्य, प्राप्तकर्ता, र कार्य सारांश कोडसहित जाँच गरी प्रयोगकर्तालाई अन्तिम कदम अनुमोदन गर्न आग्रह गर्नुहोस्।
6. बजेट र रोक्ने अवस्थाहरू सेट गर्नुहोस्। एजेन्टले प्रयोग गर्न सक्ने कार्यहरूको संख्या, पुनः प्रयासहरू, ट्याबहरू, र मिनेटहरू सीमित गर्नुहोस्। पृष्ठ स्थिति अस्पष्ट हुँदा क्लिक गर्न जारी राख्नुको सट्टा रोक्नुहोस्।
7. उपयोगी प्रमाणहरू मात्र रेकर्ड गर्नुहोस्, सबै होइन। क्रिया सारांशहरू, टाइमस्ट्याम्पहरू, URL हरू, चयन गरिएको तत्व विवरणहरू, र स्क्रीनसट सन्दर्भहरू राख्नुहोस् ताकि विफलताहरू पुनरावलोकन गर्न सकियोस् र अनावश्यक संवेदनशील पृष्ठ सामग्री भण्डारण नगरियोस्।

Airbnb नमूनामा, सुरक्षित डिफ़ल्ट खोजी सूचीहरू हो र मूल्यहरू निकाल्नु हो। साइन इन गर्ने, होस्टलाई सम्पर्क गर्ने, वा बुकिंग पूरा गर्ने अलग प्रयोगकर्ता-स्वीकृत क्रिया हुनु पर्छ।

वास्तविक विश्व अनुप्रयोगहरू

• यात्रा बुकिंग र मूल्य निगरानी
• ई-कॉमर्स मूल्य तुलना र उपलब्धता जाँचहरू
• गतिशील वेबसाइटहरूबाट संरचित निकासी
• दृष्टि-संसाधित UI परीक्षण र प्रमाणीकरण
• वेबसाइट निगरानी र चेतावनी
• धेरै चरणको प्रवाहहरूमा बौद्धिक फारम भराइ

वास्तविक विश्व उदाहरण: माइक्रोसफ्ट प्रोजेक्ट ओपल

यो पाठमा तपाईंले निर्माण गर्ने एजेन्ट सानो, स्थानीय संस्करण हो एक कम्प्युटर प्रयोग एजेन्ट (CUA) — एक प्रोग्राम जुन व्यक्तिले जस्तो ब्राउजर चलाउँछ। माइक्रोसफ्ट यसै अवधारणालाई उद्यममा ल्याउँदैछ Project Opal (Frontier), माइक्रोसफ्ट 365 कोपाइलटमा एक क्षमता।

प्रोजेक्ट ओपलमा, तपाईंले एउटा कार्य वर्णन गर्नुहुन्छ र एजेन्ट तपाईंको तर्फबाट सुरक्षित Windows 365 क्लाउड PC मा कम्प्युटर प्रयोग गरेर तपाईंको संस्थाको ब्राउजर-आधारित अनुप्रयोगहरू, साइटहरू, र डेटा सम्हाल्छ। यो पृष्ठभूमिमा असिंक्रोनस रूपमा काम गर्छ, र तपाईं काम मार्गनिर्देशन वा जुनसुकै बेला नियन्त्रण लिन सक्नुहुन्छ। उदाहरणका कामहरू समावेश छन्:

• सुरक्षा समूह सदस्यता अनुरोधहरू व्यवस्थापन गर्ने
• अनुपालन पुनरावलोकनहरूको लागि अडिट प्रमाण सङ्कलन र प्रमाणीकरण गर्ने
• IT घटनाहरू छानबिन गर्ने (टिकेट स्थिति अद्यावधिक, मालिकहरू निर्धारण, नक्कलीहरू बन्द गर्ने)
• वित्तीय बन्द डेकमा Excel डेटा संकलन गर्ने

ओपल एक उपयोगी सन्दर्भ हो के कस्तो देखिन्छ एक उत्पादन-स्तर, विश्वसनीय कम्प्युटर प्रयोग एजेन्ट — र यसले पहिलेका पाठहरूमा भएका अवधारणाहरूलाई बलियो बनाउँछ:

यस कोर्सको अवधारणा	प्रोजेक्ट ओपलले यसलाई कसरी लागू गर्छ
मान्छे-इन-द-लूप (पाठ 06)	ओपल लगइन प्रमाणपत्र, संवेदनशील डेटा, वा अस्पष्ट निर्देशनहरूमा रोक्छ, र पासवर्ड कहिल्यै प्रवेश गर्दैन वा फारमहरू स्पष्ट पुष्टिकरण बिना पठाउँदैन। तपाईंले कन्ट्रोल लिन र कन्ट्रोल फर्काउन सक्नुहुन्छ कार्यको बीचमा।
विश्वसनीय र सुरक्षित एजेन्टहरू (पाठहरू 06 & 18)	एक अलग Windows 365 क्लाउड PC मा चल्दछ, डिफ़ल्ट रूपमा ब्राउजर-मात्र (अन्य कम्प्युटर पहुँच असक्षम, Intune मार्फत लागू), तपाईंको पहिचान प्रयोग गर्दछ ताकि तपाईंले सक्षम गरेका मात्र पहुँच गर्न सकोस्, र सबै क्रियाहरू अडिटका लागि लग गर्छ।
योजना र मेटाकग्निसन (पाठहरू 07 & 09)	ओपलले पहिले कामका लागि योजना बनाउँछ, त्यसपछि प्रत्येक चरणमा आफ्नै तर्कलाई सुपरिवेक्षण गर्छ र शंका लागेको गतिविधि पत्ता लगाउँदा रोक्छ।
पुनः प्रयोगयोग्य क्षमता / उपकरणहरू (पाठ 04)	स्किल्स ले तपाईंलाई दोहोरिने कामहरूको लागि निर्देशनहरू लेख्न दिन्छ ( .md फाइलबाट आयात गरिएको वा ओपलले लेखिएको) र कुराकानीहरूमा पुन: प्रयोग गर्न सकिन्छ।

उपलब्धता: प्रोजेक्ट ओपल हाल प्रयोगकर्ताहरूलाई Frontier प्रारम्भिक पहुँच कार्यक्रम मा Microsoft 365 Copilot सदस्यतासँग उपलब्ध छ, र तपाईंको प्रशासकले स्थापना पूरा गर्नुपर्छ। किनभने यो एक प्रयोगात्मक Frontier सुविधा हो, क्षमताहरू समयसँगै परिवर्तन हुन सक्छ।

थप स्रोतहरू

• Project Opal (Frontier) सँग शुरू गर्नुहोस्
• Browser-Use Playwright एकीकरण टेम्पलेट
• Browser-Use अभिनेता प्यारामिटरहरू र सामग्री निकाल्नु
• कोर्स सेटअप

अघिल्लो पाठ

माइक्रोसफ्ट एजेन्ट फ्रेमवर्क अन्वेषण गर्दै

अगाडिको पाठ

स्केलेबल एजेन्टहरू परिनियोजन गर्दै

---

अस्वीकरण: यो दस्तावेज़ AI अनुवाद सेवा Co-op Translator प्रयोग गरेर अनुवाद गरिएको हो। हामी सही हुन प्रयास गर्छौं, तर कृपया जानकार हुनुस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छन्। मूल दस्तावेज़ यसको मूल भाषामा आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीका लागि व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न कुनै पनि गलत बुझाइ वा त्रुटिको लागि हामी जिम्मेवार छैनौं।

This site is open source. Improve this page.