संगणक वापर एजंट्स वेबसाइट्सशी त्याच पद्धतीने संवाद साधू शकतात जसे एखादा व्यक्ती करतो: ब्राउजर उघडणे, पृष्ठ तपासणे, आणि पाहिलेल्या गोष्टींमध्ये सर्वोत्तम पुढील क्रिया घेणे. या धड्यात, तुम्ही एक ब्राउजर ऑटोमेशन एजंट तयार कराल जो Airbnb द्वारे शोध करतो, संरचित लिस्टिंग डेटा काढतो, आणि स्टॉफहोल्ममध्ये स्वस्तीतला निवास ओळखतो.
हा धडा AI-ने संचालित नेव्हिगेशनसाठी Browser-Use, ब्राउजर नियंत्रणासाठी Playwright आणि Chrome DevTools Protocol (CDP), दृष्टीसक्षम तर्कासाठी Azure OpenAI, आणि संरचित काढणीसाठी Pydantic यांचा एकत्र वापर करतो.
हा धडा खालील गोष्टींचा समावेश करेल:
हा धडा पूर्ण केल्यावर, तुम्हाला कसे करावे याची माहिती असेल:
या धड्यामध्ये एक नोटबुक ट्युटोरियल समाविष्ट आहे:
नोटबुकमध्ये वापरलेले पॅकेजेस स्थापित करा:
pip install browser_use playwright python-dotenv
playwright install chromium
नोटबुकने वापरलेले Azure OpenAI पर्यावरण चल सेट करा:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ऐच्छिक: वगळल्यास तो नवीनतम API आवृत्तीवर सेट होतो
AZURE_OPENAI_API_VERSION=...
नोटबुक एक मिश्र ब्राउजर ऑटोमेशन वर्कफ्लो दाखवते:
या दृष्टिकोनामुळे Browser-Use च्या लवचिक, दृष्टी-आधारित तर्कक्षमतेला चालना मिळते आणि आवश्यक तेव्हा तुम्हाला निश्चित ब्राउजर नियंत्रण देखील मिळते.
| परिस्थिती | एजंट वापरा | अभिनेता वापरा |
|---|---|---|
| डायनॅमिक लेआउट्स | होय, AI पृष्ठ बदलांना अनुकूल होऊ शकतो | नाही, भंगुर सिलेक्टर तोडू शकतात |
| ज्ञात रचना | नाही, एजंट थेट नियंत्रणापेक्षा मंदगती आहे | होय, वेगवान आणि अचूक |
| घटक शोधणे | होय, नैसर्गिक भाषा चांगली काम करते | नाही, अचूक सिलेक्टर आवश्यक आहेत |
| वेळ नियंत्रण | नाही, कमी भाकीत करता येणारे | होय, वेट्स आणि पुनःप्रयत्नांवर पूर्ण नियंत्रण |
| गुंतागुंतीची वर्कफ्लो | होय, अपेक्षित नसलेल्या UI स्थिती हाताळतो | नाही, स्पष्ट शाखांकन आवश्यक आहे |
ब्राउजर एजंट्स थेट वेबसाइट्सवर कार्य करतात, त्यामुळे त्यांना फक्त ज्ञात API कॉल करणाऱ्या स्क्रिप्टच्या तुलनेत घट्ट मर्यादा आवश्यक आहेत. नोटबुक डेमोमधून प्रत्यक्ष वर्कफ्लो कडे जाताना, एजंट काय पाहू शकतो, क्लिक करू शकतो आणि सादर करू शकतो याभोवतीचे नियंत्रण निश्चित करा.
Airbnb उदाहरणात सुरक्षित डीफॉल्ट म्हणजे लिस्टिंग शोधणे आणि किंमती काढणे होय. साइन इन करणे, होस्टशी संपर्क करणे, किंवा बुकिंग पूर्ण करणे वेगळे वापरकर्ता मंजूर केलेले कार्य असावे.
या धड्यात तयार केलेला एजंट हा एक लहान, स्थानिक आवृत्ती आहे संगणक वापर एजंट (CUA) ची — एक प्रोग्राम जो व्यक्ती कशी ब्राउजर चालवतो तसे चालवतो. Microsoft हीच कल्पना एंटरप्राइझसाठी Project Opal (Frontier) या Microsoft 365 Copilot मधील क्षमतेसह आणत आहे.
Project Opal सह, तुम्ही एक कार्य वर्णन करता आणि एजंट तुमच्या वतीने सुरक्षित विंडोज 365 क्लाऊड पीसीवर संगणक वापर करून तुमच्या संस्थेच्या ब्राउजर-आधारित अनुप्रयोग, साइट्स, आणि डेटावर ऑपरेट करतो. हे बॅकग्राऊंडमध्ये असिंक्रोनस पद्धतीने कार्य करते, आणि तुम्ही कधीही काम मार्गदर्शन करू शकता किंवा नियंत्रण घेऊ शकता. उदाहरणे म्हणजे:
Opal हा उत्पादन-स्तरीय, विश्वासार्ह संगणक वापर एजंट कसा दिसतो याचा उपयुक्त संदर्भ आहे — आणि तो आधीच्या धड्यांतील संकल्पना मजबूत करतो:
| या कोर्समधील संकल्पना | Project Opal याला कसे लागू करते |
|---|---|
| मानवी-इन-द-लूप (धडा 06) | Opal लॉगिन क्रेडेन्शियल, संवेदनशील डेटा, किंवा अस्पष्ट सूचनांसाठी थांबतो, आणि कधीही स्पष्ट पुष्टीशिवाय पासवर्ड एंटर करत नाही किंवा फॉर्म सबमिट करत नाही. तुम्ही Take Control आणि Return Control मधल्या टप्प्यात करू शकता. |
| विश्वासार्ह आणि सुरक्षित एजंट्स (धडे 06 आणि 18) | Windows 365 क्लाऊड पीसीमध्ये वेगळ्या वातावरणात चालतो, डीफॉल्टनुसार फक्त ब्राउजरच वापरतो (इतर संगणक प्रवेश बंद, Intune द्वारे अंमलात आणलेले), तुमची ओळख वापरतो त्यामुळे फक्त अनुमत डेटाच एक्सेस करतो, आणि प्रत्येक कृती लॉग करतो. |
| योजना आणि मेटाकॉग्निशन (धडे 07 आणि 09) | Opal प्रथम कामाची योजना तयार करतो, मग प्रत्येक टप्प्यावर स्वतःचा तर्क देखरेखतो आणि संशयास्पद क्रिया आढळल्यास थांबतो. |
| पुनर्वापरता क्षमता / साधने (धडा 04) | कौशल्ये तुम्हाला पुनरावृत्तीय कामांसाठी सूचना लिहिण्याची परवानगी देतात (फाईल .md मधून आयात केल्या जातात किंवा Opal सह तयार केल्या जातात) आणि त्या संभाषणांमध्ये पुन्हा वापरू शकतात. |
उपलब्धता: Project Opal सध्या Frontier अर्ली ऍक्सेस प्रोग्राम मध्ये वापरकर्त्यांस उपलब्ध आहे Microsoft 365 Copilot सदस्यत्वासह, आणि तुमच्या प्रशासकाने सेटअप पूर्ण करणे आवश्यक आहे. कारण हा एक प्रयोगात्मक Frontier वैशिष्ट्य आहे, मुळतः क्षमता काळानुसार बदलू शकतात.
Microsoft एजंट फ्रेमवर्कचा शोध
अस्वीकरण: हा दस्तऐवज AI भाषांतर सेवा Co-op Translator चा वापर करून अनुवादित केला आहे. जरी आम्ही अचूकतेसाठी प्रयत्न करतो, तरी कृपया लक्षात घ्या की स्वयंचलित भाषांतरांमध्ये त्रुटी किंवा अचूकतेची कमतरता असू शकते. मूळ दस्तऐवज त्याच्या मूळ भाषेत अधिकृत स्रोत मानला पाहिजे. महत्त्वाची माहिती असल्यास, व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराच्या वापरामुळे उद्भवणाऱ्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थलावणीसाठी आम्ही जबाबदार नाही.