कंप्यूटर उपयोग एजेंट वेबसाइटों के साथ उसी तरह इंटरैक्ट कर सकते हैं जैसे कोई व्यक्ति करता है: ब्राउज़र खोलकर, पेज की जांच करके, और जो वे देखते हैं उससे अगला सबसे अच्छा कदम उठाकर। इस पाठ में, आप एक ब्राउज़र ऑटोमेशन एजेंट बनाएंगे जो Airbnb पर खोज करता है, संरचित लिस्टिंग डेटा निकालता है, और स्टॉकहोम में सबसे सस्ता ठहराव पहचानता है।
यह पाठ AI-संचालित नेविगेशन के लिए Browser-Use, ब्राउज़र नियंत्रण के लिए Playwright और Chrome DevTools Protocol (CDP), विज़न-सक्षम तर्क के लिए Azure OpenAI, और संरचित निष्कर्षण के लिए Pydantic को जोड़ता है।
इस पाठ में आप सीखेंगे:
इस पाठ को पूरा करने के बाद, आप जानेंगे कि कैसे:
इस पाठ में एक नोटबुक ट्यूटोरियल शामिल है:
नोटबुक में प्रयुक्त पैकेज स्थापित करें:
pip install browser_use playwright python-dotenv
playwright install chromium
नोटबुक द्वारा उपयोग किए गए Azure OpenAI पर्यावरण चर सेट करें:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# वैकल्पिक: जब छोड़ा जाए तो नवीनतम API संस्करण डिफ़ॉल्ट होता है
AZURE_OPENAI_API_VERSION=...
नोटबुक एक हाइब्रिड ब्राउज़र ऑटोमेशन वर्कफ़्लो प्रदर्शित करता है:
यह दृष्टिकोण Browser-Use के लचीले, विज़न-आधारित तर्क को बनाए रखता है जबकि आवश्यकतानुसार आपको अनिश्चित ब्राउज़र नियंत्रण भी देता है।
| परिदृश्य | एजेंट का उपयोग करें | अभिनेता का उपयोग करें |
|---|---|---|
| डायनेमिक लेआउट | हाँ, AI पेज परिवर्तनों के अनुसार अनुकूल हो सकता है | नहीं, कमजोर चयनकर्ता टूट सकते हैं |
| ज्ञात संरचना | नहीं, एजेंट सीधे नियंत्रण से धीमा होता है | हाँ, तेज़ और सटीक |
| तत्व खोज | हाँ, प्राकृतिक भाषा अच्छी तरह काम करती है | नहीं, सटीक चयनकर्ता आवश्यक है |
| समय नियंत्रण | नहीं, कम पूर्वानुमेय | हाँ, प्रतीक्षा और पुनः प्रयासों पर पूर्ण नियंत्रण |
| जटिल वर्कफ़्लो | हाँ, अप्रत्याशित UI स्थितियों को संभालता है | नहीं, स्पष्ट शाखांकन आवश्यक है |
ब्राउज़र एजेंट लाइव वेबसाइटों पर काम करते हैं, इसलिए उन्हें एक स्क्रिप्ट की तुलना में जो केवल ज्ञात API कॉल करती है, अधिक सख्त सीमाओं की आवश्यकता होती है। डेमो से वास्तविक वर्कफ़्लो में जाने से पहले, यह परिभाषित करें कि एजेंट क्या देख सकता है, क्लिक कर सकता है, और सबमिट कर सकता है।
Airbnb उदाहरण में, सुरक्षित डिफ़ॉल्ट है लिस्टिंग खोजना और कीमत निकालना। साइन इन करना, होस्ट से संपर्क करना, या बुकिंग पूरी करना उपयोगकर्ता-स्वीकृत अलग कार्य होना चाहिए।
इस पाठ में आप जो एजेंट बनाएंगे वह एक छोटा, स्थानीय संस्करण है एक कंप्यूटर उपयोग एजेंट (CUA) का — एक प्रोग्राम जो किसी व्यक्ति की तरह ब्राउज़र चलाता है। Microsoft इस एक ही आइडिया को Microsoft 365 Copilot में Project Opal (Frontier) के रूप में उद्यम तक ला रहा है।
Project Opal के साथ, आप एक कार्य का वर्णन करते हैं और एजेंट आपकी ओर से सुरक्षित Windows 365 क्लाउड PC पर कंप्यूटर उपयोग का उपयोग करके आपके संगठन के ब्राउज़र-आधारित ऐप्स, साइट्स, और डेटा पर काम करता है। यह पृष्ठभूमि में असिंक्रोनस रूप से काम करता है, और आप कभी भी काम को मार्गदर्शन या नियंत्रण ले सकते हैं। उदाहरण कार्य हैं:
Opal एक उपयोगी संदर्भ है कि एक प्रोडक्शन-ग्रेड, भरोसेमंद कंप्यूटर उपयोग एजेंट कैसा दिखता है — और यह पहले के पाठ से अवधारणाओं को मजबूत करता है:
| इस कोर्स में अवधारणा | Project Opal इसे कैसे लागू करता है |
|---|---|
| Human-in-the-loop (पाठ 06) | Opal लॉगिन क्रेडेंशियल, संवेदनशील डेटा, या अस्पष्ट निर्देशों पर रुकता है, और बिना स्पष्ट पुष्टि के पासवर्ड नहीं डालता या फॉर्म सबमिट नहीं करता। आप Take Control और Return Control बीच में कर सकते हैं। |
| भरोसेमंद और सुरक्षित एजेंट (पाठ 06 & 18) | यह अलग Windows 365 क्लाउड PC में चलता है, डिफ़ॉल्ट रूप से केवल ब्राउज़र तक सीमित है (अन्य कंप्यूटर एक्सेस Intune के माध्यम से प्रतिबंधित), आपकी पहचान का उपयोग करता है ताकि केवल अधिकृत संसाधनों तक पहुंच हो, और हर क्रिया को ऑडिटेबल लॉग करता है। |
| योजना और मेटाकॉग्निशन (पाठ 07 & 09) | Opal पहले नौकरी के लिए योजना बनाता है, फिर हर चरण पर अपनी तर्क प्रक्रिया की निगरानी करता है और संदिग्ध गतिविधि पाते ही रुकता है। |
| पुन: प्रयोज्य क्षमताएँ / उपकरण (पाठ 04) | कौशल आपको दोहराए जाने वाले कार्यों के लिए निर्देश लिखने देते हैं (.md फ़ाइल से आयात या Opal के साथ लिखे गए) और उन्हें बातचीत में पुनः उपयोग करें। |
उपलब्धता: Project Opal वर्तमान में Frontier जल्दी पहुंच कार्यक्रम के उपयोगकर्ताओं के लिए उपलब्ध है Microsoft 365 Copilot सब्सक्रिप्शन के साथ, और आपके एडमिनिस्ट्रेटर को सेटअप पूरा करना होगा। यह एक प्रायोगिक Frontier फीचर है, इसलिए क्षमताएँ समय के साथ बदल सकती हैं।
Microsoft Agent Framework का अन्वेषण
स्केलेबल एजेंट्स को तैनात करना
अस्वीकरण: इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा Co-op Translator का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।