ai-agents-for-beginners

संगणक वापर एजंट (CUA) तयार करणे

संगणक वापर एजंट वेबसाइट्सशी त्याच पद्धतीने संवाद करू शकतात जशी व्यक्ती करते: ब्राउझर उघडून, पृष्ठ तपासून, आणि त्यांच्या दृष्टीनुसार पुढची सर्वोत्तम क्रिया घेऊन. या धड्यात, आपण Airbnb शोधणारा, संरचित लिस्टिंग डेटा काढणारा, आणि स्टॉकहोल्ममधील सर्वात स्वस्त राहण्याचे शोधणारा ब्राउझर ऑटोमेशन एजंट तयार कराल.

हा धडा AI-चालित नेव्हिगेशनसाठी Browser-Use, ब्राउझर नियंत्रणासाठी Playwright आणि Chrome DevTools Protocol (CDP), दृष्टी-सक्षम तर्कासाठी Azure OpenAI, आणि संरचित काढणीसाठी Pydantic यांचे संयोजन करतो.

परिचय

हा धडा पुढील गोष्टींचा समावेश करेल:

• API-फक्त ऑटोमेशनपेक्षा संगणक वापर एजंट कधी अधिक योग्य असतात हे समजून घेणे
• विश्वसनीय ब्राउझर जीवनचक्र व्यवस्थापनासाठी Browser-Use चे Playwright आणि CDP सह संयोजन
• डायनॅमिक वेब पृष्ठांमधून लिस्टिंग डेटा काढण्यासाठी Azure OpenAI दृष्टी आणि संरचित Pydantic आउटपुट वापरणे
• एजंट-प्रथम, अभिनेता-प्रथम, किंवा संकरित ब्राउझर ऑटोमेशन कार्यप्रवाह कधी वापरायचा हे ठरवणे

शिकण्याचे उद्दिष्टे

हा धडा पूर्ण केल्यावर, आपल्याला कसे माहित असेल:

• Browser-Use Azure OpenAI आणि Playwright सह कसे कॉन्फिगर करायचे
• वास्तविक वेबसाइटवर नेव्हिगेट करणारा आणि डायनॅमिक UI घटक हाताळणारा ब्राउझर ऑटोमेशन कार्यप्रवाह बनवायचा
• दृश्यमान पृष्ठ सामग्रीमधून टाइप केलेले निकाल काढून त्यांना पुढील व्यवसाय लॉजिकमध्ये रुपांतरीत करायचे
• ब्राउझर कार्य कितपत पूर्वकल्पित आहे यावर आधारित एजंट आणि अभिनेता नमुन्यांमध्ये निवड करायची

कोड नमुना

या धड्यास एक नोटबुक ट्यutorial समाविष्ट आहे:

• 15-browser-user.ipynb: CDP वर Chrome सत्र सुरू करतो, Airbnb मध्ये स्टॉकहोल्म लिस्टिंग सर्च करतो, Browser-Use दृष्टीने किंमती काढतो, आणि सर्वात स्वस्त पर्याय संरचित डेटाच्या रूपात परत करतो.

पूर्वअटी

• Python 3.12+
• आपल्या पर्यावरणात Azure OpenAI डिप्लॉयमेंट कॉन्फिगर केलेले आहे
• स्थानिकरित्या Chrome किंवा Chromium स्थापित केलेले आहे
• Playwright पॅकेजेस स्थापित केलेले आहेत
• async Python बद्दल मूलभूत माहिती आहे

सेटअप

नोटबुकमध्ये वापरले जाणारे पॅकेजेस इंस्टॉल करा:

pip install browser_use playwright python-dotenv
playwright install chromium

नोटबुकमध्ये वापरल्या जाणार्‍या Azure OpenAI पर्यावरण चल सेट करा:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ऐच्छिक: वगळल्यास डिफॉल्ट नवीनतम API आवृत्तीवर सेट होते
AZURE_OPENAI_API_VERSION=...

आर्किटेक्चर सारांश

नोटबुक एक संकरित ब्राउझर ऑटोमेशन कार्यप्रवाह दर्शवितो:

1. CDP सक्षम करून Chrome सुरू होतो जेणेकरून Playwright आणि Browser-Use दोघेही त्याच ब्राउझर सत्राचा वापर करू शकतील.
2. Browser-Use एजंट खुल्या नेव्हिगेशन कार्यांना हाताळतो जसे Airbnb उघडणे, पॉप-अप रद्द करणे, आणि स्टॉकहोल्मसाठी शोध घेणे.
3. सक्रिय पृष्ठ Pydantic संरचित स्कीमा वापरून तपासले जाते ज्यातून लिस्टिंग शीर्षके, प्रति रात्री किंमती, रेटिंग्ज, आणि URL काढले जातात.
4. Python लॉजिक काढलेल्या लिस्टिंगची तुलना करतो आणि सर्वात स्वस्त निकाल ठळक करतो.

हा दृष्टिकोन Browser-Use च्या लवचिक, दृष्टी-आधारित तर्कशास्त्रास ठेवतो आणि आवश्यक असल्यास निश्चित ब्राउझर नियंत्रण आपल्याला देतो.

मुख्य मुद्दे आणि सर्वोत्तम पद्धती

एजंट आणि अभिनेता कधी वापरायचा

परिस्थिती	एजंट वापरा	अभिनेता वापरा
डायनॅमिक लेआउट्स	होय, AI पृष्ठ बदलांना अनुकूल होऊ शकतो	नाही, कमजोर निवडक तुटू शकतात
स्थिर रचना	नाही, एजंट थोडा हळू आहे थेट नियंत्रणापेक्षा	होय, जलद आणि अचूक
घटक शोधणे	होय, नैसर्गिक भाषा चांगली काम करते	नाही, अचूक निवडक आवश्यक आहेत
टाइमिंग नियंत्रण	नाही, कमी पूर्वकल्पित	होय, प्रतीक्षा आणि पुनःप्रयत्नांवर पूर्ण नियंत्रण
क्लिष्ट कार्यप्रवाह	होय, अनपेक्षित UI स्थिती हाताळतो	नाही, स्पष्ट शाखाकरण आवश्यक आहे

Browser-Use सर्वोत्तम पद्धती

1. अन्वेषण आणि डायनॅमिक नेव्हिगेशनसाठी एजंटपासून प्रारंभ करा.
2. संवाद पूर्वकल्पित झाल्यावर थेट पृष्ठ नियंत्रणावर स्विच करा.
3. काढलेल्या डेटाच्या वैधतेसाठी आणि टाइप-सुरक्षेसाठी संरचित आउटपुट मॉडेल वापरा.
4. दृश्यमान UI बदल करणाऱ्या क्रियेनंतर धोरणात्मक विलंब जोडा.
5. त्रुटी शोधण्यासाठी पुनरावृत्ती करताना स्क्रीनशॉट्स कॅप्चर करा.
6. वेबसाइट बदलण्याची अपेक्षा ठेवा आणि पॉप-अप आणि लेआउट बदलांसाठी फॉलबॅक धोरणे डिझाइन करा.
7. लवचिकता आणि अचूकता दोन्ही मिळवण्यासाठी एजंट आणि अभिनेता नमुने मिसळा.

ब्राउझर एजंटसाठी सुरक्षा मार्गदर्शक तत्त्वे

ब्राउझर एजंट थेट जिवंत वेबसाइट्सवर कार्य करतात, त्यामुळे त्यांना केवळ ज्ञात API कॉल करणाऱ्या स्क्रिप्टपेक्षा जास्त कडक मर्यादा आवश्यक आहेत. नोटबुक डेमो वरून वास्तविक कार्यप्रवाहात जाण्यापूर्वी, एजंट काय पाहू शकतो, क्लिक करू शकतो, आणि सबमिट करू शकतो यांच्या नियंत्रणांची व्याख्या करा.

1. ब्राउझिंग वातावरणाचे क्षेत्र निश्चित करा. एजंटला समर्पित ब्राउझर प्रोफाइल किंवा सँडबॉक्समध्ये चालवा, आणि कार्यासाठी आवश्यक डोमेनवर मर्यादित करा.
2. निरीक्षण आणि क्रियेत भिन्नता ठेवा. प्रथम एजंटला शोधण्यास, वाचण्यास, आणि डेटा काढण्यास द्या; फॉर्म सबमिट करणे, संदेश पाठवणे, प्रवास नोंदणी, खरेदी करणे, रेकॉर्ड्स हटवणे किंवा खाते सेटिंग्ज बदलण्यापूर्वी स्पष्ट मंजुरीची आवश्यकता ठेवा.
3. संकेत आणि ट्रेसमध्ये गुपिते ठेवू नका. पासवर्ड, पेमेंट तपशील, सेशन कुकीज किंवा कच्चा वैयक्तिक डेटा मॉडेल संदर्भात ठेऊ नका. प्रमाणीकरणासाठी वापरकर्त्याला काबीज राहू द्या आणि लॉगमधून संवेदनशील फील्ड्स काढा.
4. पृष्ठ सामग्री अविश्वसनीय इनपुट म्हणून वागवा. वेबसाइटमध्ये एजंटसाठी सूचना असू शकतात, वापरकर्त्यासाठी नाहीत. एजंटने पृष्ठ मजकूर दुर्लक्षित करावा जो त्याच्या उद्दिष्टांची बदल करते, डेटा उघड करते, सुरक्षा उपाय अक्षम करते, किंवा अप्रसंगिक साइट्सला नेतो.
5. धोकादायक टप्प्यांवर निश्चित तपासणी करा. अंतिम टप्प्याला वापरकर्त्याची मंजुरी मागण्यापूर्वी सध्याचे URL, पृष्ठ शीर्षक, निवडलेले घटक, किंमत, प्राप्तकर्ता, आणि क्रिया सारांश कोडने पडताळा.
6. बजेट आणि थांबा अटी सेट करा. एजंट वापरू शकणाऱ्या क्रिया, पुनःप्रयत्न, टॅब्स, आणि मिनिटांची संख्या मर्यादित करा. पृष्ठ स्थिती अस्पष्ट असेल तर क्लिक करत राहण्याऐवजी थांबा.
7. सर्व काही नाही तर उपयुक्त पुरावे नोंदवा. क्रिया सारांश, टाइमस्टँप, URLs, निवडलेला घटक वर्णने, आणि स्क्रीनशॉट संदर्भ राखा जेणेकरून अपयश तपासले जाऊ शकतील, अतिरिक्त संवेदनशील पृष्ठ सामग्री ठेवण्याची गरज नाही.

Airbnb नमुन्यात, सुरक्षित डीफॉल्ट म्हणजे लिस्टिंग शोधणे आणि किंमती काढणे. साइन इन करणे, होस्टशी संपर्क करणे, किंवा बुकिंग पूर्ण करणे हे स्वतंत्र वापरकर्ता-मनजूर केलेले कार्य असावे.

वास्तविक जगातील अनुप्रयोग

• प्रवास बुकिंग आणि किंमत देखरेख
• ई-कॉमर्स किंमत तुलना आणि उपलब्धता तपासणी
• डायनॅमिक वेबसाइट्समधून संरचित काढणी
• दृष्टी-जागरूक UI चाचणी आणि पडताळणी
• वेबसाइट देखरेख आणि अलर्टिंग
• बहु-टप्प्यांच्या प्रक्रियेत बुद्धिमान फॉर्म भरणे

वास्तविक जगातील उदाहरण: Microsoft प्रोजेक्ट ओपल

आपण या धड्यात तयार करणारा एजंट हा एक लहान, स्थानिक आवृत्ती आहे संगणक वापर एजंट (CUA) — एक प्रोग्राम जो व्यक्तीसारखा ब्राउझर चालवतो. मायक्रोसॉफ्ट हेच तंत्रज्ञान उद्योजकतेकडे घेऊन जात आहे Project Opal (Frontier), जे Microsoft 365 Copilot मध्ये आहे.

Project Opal सह, आपण एक कार्य वर्णन करता आणि एजंट आपल्या वतीने सुरक्षित Windows 365 Cloud PC वरील संगणक वापर वापरून आपल्याअ संघटनेच्या ब्राउझर-आधारित अनुप्रयोग, साइट्स, आणि डेटामध्ये कार्य करतो. तो पार्श्वभूमीत असिंक्रोनसरीत्या काम करतो, आणि आपण कोणत्याही वेळी काम मार्गदर्शित किंवा नियंत्रण घेऊ शकता. उदाहरण कार्ये यामध्ये समाविष्ट आहेत:

• सुरक्षा गट सदस्यत्व विनंत्या व्यवस्थापित करणे
• अनुपालन पुनरावलोकनासाठी तपासणी पुरावे गोळा आणि मान्य करणे
• IT घटनांची तडजोड करणे (तिकीट स्थिती अद्यतनित करणे, मालक नियुक्त करणे, डुप्लिकेट बंद करणे)
• आर्थिक क्लोज डेकमध्ये Excel डेटा संकलित करणे

ओपल हे उत्पादन-ग्रेड, विश्वासार्ह संगणक वापर एजंट कसे दिसतो यासाठी एक उपयोगी संदर्भ आहे — आणि तो पूर्वीच्या धड्यांतील संकल्पना पुष्टी करतो:

या कोर्समधील संकल्पना	Project Opal मध्ये कसे लागू आहे
मानव-चक्रामध्ये (धडा 06)	ओपल लॉगिन क्रेडेन्शियल्स, संवेदनशील डेटा, किंवा अस्पष्ट सूचनांसाठी थांबतो, आणि कधीही पासवर्ड्स एंटर करत नाही किंवा फॉर्म सबमिट करत नाही स्पष्ट पुष्टीशिवाय. आपण Take Control आणि Return Control मधल्या कामात देखील करू शकता.
विश्वासार्ह आणि सुरक्षित एजंट (धडे 06 आणि 18)	Windows 365 Cloud PC मध्ये वेगळे चालतो, डीफॉल्टने फक्त ब्राउझर वापरतो (इतर संगणक प्रवेश ब्लॉक केले जातो, Intune द्वारे जबरदस्तीने), आपला ओळख वापरतो त्यामुळे फक्त अधिकृत प्रवेश मिळतो, आणि प्रत्येक क्रियेसाठी ऑडिट साठी लॉग ठेवतो.
योजना आणि मेटाकॉग्निशन (धडे 07 आणि 09)	ओपल प्रथम कामासाठी योजना तयार करतो, नंतर प्रत्येक टप्प्यावर त्याचे स्वतःचे तर्क निरीक्षण करतो आणि संशयास्पद क्रिया आढळल्यास थांबतो.
पुन्हा वापरता येणारी क्षमता / साधने (धडा 04)	कौशल्ये आपल्याला पुनरावृत्ती कामांसाठी सूचना लिहिण्याची परवानगी देतात (.md फाईलमधून आयात केलेले किंवा Opal सह लिहिलेले) आणि त्यांना संभाषणांमध्ये पुनरावृत्तीने वापरता येते.

उपलब्धता: Project Opal सध्या Frontier प्रोग्राममध्ये Microsoft 365 Copilot सदस्यत्वासह वापरकर्त्यांसाठी उपलब्ध आहे, आणि आपल्या प्रशासकाने सेटअप पूर्ण करणे आवश्यक आहे. कारण हा एक प्रयोगात्मक Frontier सुविधा आहे, क्षमता काळानुसार बदलू शकतात.

ज्ञान तपासणी

पुढील धड्यात जाण्यापूर्वी आपले समज तपासा.

1. ब्राउझर-आधारित संगणक वापर एजंट API-फक्त कार्यप्रवाहापेक्षा कधी अधिक योग्य आहे?

उत्तर

जेव्हा कार्य वेब UI मध्ये दिसणाऱ्या गोष्टींवर अवलंबून असते, साईट आवश्यक API प्रदर्शित करत नाही, किंवा पृष्ठ इतकं वारंवार बदलतं कि निश्चित API किंवा निवडक लॉजिक कमजोर होईल तेव्हा ब्राउझर एजंट वापरा. जर त्याच कार्यासाठी स्थिर API उपलब्ध असेल तर तो प्राधान्य द्या कारण तो सहसा जलद, सोपा चाचणीसाठी आणि सुरक्षितता दृष्टीने सोपा असतो.

2. एक संकरित कार्यप्रवाहात, एजंट कोणती कामे हाताळायला हवी आणि थेट Playwright कोड कोणती?

उत्तर

एजंटला खुल्या नेव्हिगेशन आणि डायनॅमिक UI स्थिती हाताळू द्या, जसे योग्य पृष्ठ शोधणे किंवा अनपेक्षित पॉप-अप बंद करणे. पृष्ठ रचना माहीत असल्यावर आणि क्रिया अचूकता, पुनःप्रयत्न, प्रतीक्षा किंवा निश्चित पडताळणी आवश्यक असल्यावर थेट Playwright नियंत्रणाला स्विच करा.

3. Airbnb नमुन्यात वापरकर्त्याला बुकिंग करता येण्यासारखा लिस्टिंग सापडतो. साइन इन करणे, होस्टशी संपर्क करणे, किंवा बुकिंग पूर्ण करण्याआधी काय व्हायला पाहिजे?

उत्तर

कार्यप्रवाह थांबवावा आणि स्पष्ट वापरकर्ता मंजुरी मागावी. विचारण्यापूर्वी निवडलेल्या लिस्टिंगचा, सध्याच्या URL, किंमत, तारीखा, आणि अपेक्षित क्रियेचा स्पष्ट सारांश दाखवा. शोध आणि किंमती काढणे स्वायत्त असू शकते; खाते प्रवेश, संदेश, खरेदी, आणि नोंदणी वापरकर्ता मंजूर केलेले असावे.

4. एका वेब पृष्ठाने एजंटला त्याच्या मूळ सूचनांकडे दुर्लक्ष करण्यास, दुसऱ्या साइटला भेट देण्यास, आणि जतन केलेले क्रेडेन्शियल्स उघड करण्यास सांगितले. एजंटला त्या मजकुराला कसे वागवायचे?

उत्तर

ते अविश्वसनीय पृष्ठ सामग्री म्हणून वागवा, विकासक किंवा वापरकर्ता सूचना म्हणून नाही. एजंटने मंजूर केलेल्या डोमेन आणि कार्य क्षेत्रातच रहावे, गुपिते उघडण्यास नकार द्यावा, आणि उद्दिष्टे बदलणारा, सुरक्षा उपाय अक्षम करणारा, किंवा अप्रसंगिक साइट्सला नेणारा मजकूर पाठपुरावा करु नये.

5. ब्राउझर एजंट चालवताना कोणते पुरावे ठेवायला उपयुक्त आहेत आणि काय टाळावे?

उत्तर

क्रिया सारांश, टाइमस्टँप्स, URLs, निवडलेले घटक वर्णने, पडताळणी निकाल, आणि स्क्रीनशॉट संदर्भ ठेवा जेणेकरून चालवण्याचे पुनरावलोकन करता येईल. पासवर्ड्स, पेमेंट तपशील, सत्र कुकीज, कच्चा वैयक्तिक डेटा, किंवा पूर्ण पृष्ठ सामग्री न ठेवावी जोपर्यंत विशिष्ट ठेव आणि गोपनीयता कारण नसावे.

अतिरिक्त संसाधने

• Project Opal (Frontier) सह प्रारंभ करा
• Browser-Use Playwright एकत्रीकरण टेम्पलेट
• Browser-Use अभिनेता पॅरामीटर्स आणि सामग्री काढणी
• कोर्स सेटअप

मागील धडा

मायक्रोसॉफ्ट एजंट फ्रेमवर्कचा अन्वेषण

पुढील धडा

स्केल करण्यायोग्य एजंट्सचा प्रक्षेपण

---

अस्वीकरण: हा दस्तऐवज AI भाषांतर सेवा Co-op Translator चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही.

This site is open source. Improve this page.