कंप्यूटर उपयोग एजेंट बनाना (CUA)
कंप्यूटर उपयोग एजेंट वेबसाइटों के साथ उसी तरह इंटरैक्ट कर सकते हैं जैसे एक व्यक्ति करता है: ब्राउज़र खोलकर, पेज का निरीक्षण करके, और वे जो देखते हैं उसमें से अगला सबसे अच्छा कार्य करते हैं। इस पाठ में, आप एक ब्राउज़र स्वचालन एजेंट बनाएंगे जो Airbnb पर खोज करता है, संरचित लिस्टिंग डेटा निकालता है, और स्टॉकहोम में सबसे सस्ता ठहराव पहचानता है।
यह पाठ AI-संचालित नेविगेशन के लिए Browser-Use, ब्राउज़र नियंत्रण के लिए Playwright और Chrome DevTools Protocol (CDP), विज़न-सक्षम तर्क के लिए Azure OpenAI, और संरचित निष्कर्षण के लिए Pydantic को जोड़ता है।
परिचय
यह पाठ निम्नलिखित कवर करेगा:
- यह समझना कि कब कंप्यूटर उपयोग एजेंट API-केवल स्वचालन की तुलना में बेहतर फिट होते हैं
- विश्वसनीय ब्राउज़र लाइफसायकल प्रबंधन के लिए Browser-Use को Playwright और CDP के साथ जोड़ना
- गतिशील वेब पृष्ठों से लिस्टिंग डेटा निकालने के लिए Azure OpenAI विज़न और संरचित Pydantic आउटपुट का उपयोग करना
- एजेंट-प्रथम, अभिनेता-प्रथम, या हाइब्रिड ब्राउज़र स्वचालन वर्कफ़्लो का उपयोग कब करना है इसका निर्णय लेना
सीखने के लक्ष्य
इस पाठ को पूरा करने के बाद, आप जान पाएंगे कि कैसे:
- Azure OpenAI और Playwright के साथ Browser-Use को कॉन्फ़िगर करें
- एक ब्राउज़र स्वचालन वर्कफ़्लो बनाएँ जो एक वास्तविक वेबसाइट पर नेविगेट करता है और गतिशील UI तत्वों को संभालता है
- दृश्य पेज सामग्री से टाइपेड परिणाम निकालें और उन्हें डाउनस्ट्रीम बिजनेस लॉजिक में बदलें
- ब्राउज़र कार्य की भविष्यवाणी के आधार पर एजेंट और अभिनेता पैटर्न के बीच चयन करें
कोड नमूना
इस पाठ में एक नोटबुक ट्यूटोरियल शामिल है:
- 15-browser-user.ipynb: CDP पर एक क्रोम सेशन लॉन्च करता है, Airbnb पर स्टॉकहोम लिस्टिंग खोजता है, Browser-Use विज़न के साथ कीमतें निकालता है, और संरचित डेटा के रूप में सबसे सस्ता विकल्प लौटाता है।
पूर्वापेक्षाएँ
- Python 3.12+
- आपके परिवेश में Azure OpenAI डिप्लॉयमेंट कॉन्फ़िगर किया गया हो
- स्थानीय रूप से Chrome या Chromium इंस्टॉल हो
- Playwright निर्भरताएँ इंस्टॉल हों
- async Python की बुनियादी समझ
सेटअप
नोटबुक में उपयोग किए गए पैकेज इंस्टॉल करें:
pip install browser_use playwright python-dotenv
playwright install chromium
नोटबुक द्वारा उपयोग किए गए Azure OpenAI पर्यावरण चरों को सेट करें:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# वैकल्पिक: छोड़े जाने पर नवीनतम API संस्करण डिफ़ॉल्ट होता है
AZURE_OPENAI_API_VERSION=...
वास्तुकला अवलोकन
नोटबुक एक हाइब्रिड ब्राउज़र स्वचालन वर्कफ़्लो प्रदर्शित करता है:
- Chrome CDP सक्षम के साथ शुरू होता है ताकि Playwright और Browser-Use दोनों एक ही ब्राउज़र सेशन साझा कर सकें।
- एक Browser-Use एजेंट खुले-समाप्त नेविगेशन कार्यों को संभालता है जैसे Airbnb खोलना, पॉप-अप को बंद करना, और स्टॉकहोम की खोज करना।
- सक्रिय पृष्ठ का निरीक्षण एक संरचित Pydantic स्कीमा के साथ किया जाता है ताकि लिस्टिंग शीर्षक, रात्रीय कीमतें, रेटिंग, और URLs निकाले जा सकें।
- Python लॉजिक निकाली गई लिस्टिंग की तुलना करता है और सबसे सस्ते परिणाम को हाइलाइट करता है।
यह तरीका Browser-Use की लचीली, विज़न-आधारित तर्क क्षमताओं को बनाए रखता है जबकि आपको जब आवश्यकता हो तो निश्चित ब्राउज़र नियंत्रण भी देता है।
मुख्य निष्कर्ष और सर्वोत्तम अभ्यास
एजेंट बनाम अभिनेता कब उपयोग करें
| परिदृश्य |
एजेंट का उपयोग करें |
अभिनेता का उपयोग करें |
| गतिशील लेआउट |
हाँ, AI पेज परिवर्तनों के अनुकूल हो सकता है |
नहीं, भंगुर सेलेक्टर टूट सकते हैं |
| ज्ञात संरचना |
नहीं, एजेंट प्रत्यक्ष नियंत्रण की तुलना में धीमा है |
हाँ, तेज और सटीक |
| तत्व खोज |
हाँ, प्राकृतिक भाषा अच्छा काम करती है |
नहीं, सटीक सेलेक्टर आवश्यक हैं |
| समय नियंत्रण |
नहीं, कम पूर्वानुमेय |
हाँ, प्रतीक्षा और पुनः प्रयासों पर पूर्ण नियंत्रण |
| जटिल वर्कफ़्लो |
हाँ, अप्रत्याशित UI स्थितियों को संभालता है |
नहीं, स्पष्ट शाखाएं आवश्यक हैं |
Browser-Use सर्वोत्तम अभ्यास
- जांच और गतिशील नेविगेशन के लिए एक एजेंट से शुरू करें।
- जब इंटरैक्शन पूर्वानुमेय हो जाए तो प्रत्यक्ष पेज नियंत्रण में स्विच करें।
- संरचित आउटपुट मॉडल का उपयोग करें ताकि निकाले गए डेटा का सत्यापन और टाइप-सुरक्षा सुनिश्चित हो।
- ऐसी क्रियाओं के बाद रणनीतिक रूप से देरी जोड़ें जो दृश्य UI परिवर्तन ट्रिगर करती हैं।
- विफलताओं का डिबगिंग आसान बनाने के लिए पुनरावृत्ति के दौरान स्क्रीनशॉट लें।
- वेबसाइटों के बदलने की उम्मीद करें और पॉप-अप और लेआउट शिफ्ट्स के लिए फॉलबैक रणनीतियाँ डिजाइन करें।
- एजेंट और अभिनेता पैटर्न को मिलाकर लचीलापन और सटीकता दोनों प्राप्त करें।
ब्राउज़र एजेंट्स के लिए सुरक्षा गार्डरेल्स
ब्राउज़र एजेंट लाइव वेबसाइट्स पर काम करते हैं, इसलिए उन्हें एक स्क्रिप्ट से अधिक कड़े सीमा नियंत्रण की आवश्यकता होती है जो केवल ज्ञात API को कॉल करती है। नोटबुक डेमो से वास्तविक वर्कफ़्लो पर जाने से पहले, एजेंट क्या देख सकता है, क्लिक कर सकता है, और सबमिट कर सकता है इसके नियंत्रण को परिभाषित करें।
- ब्राउज़िंग पर्यावरण को सीमित करें। एजेंट को समर्पित ब्राउज़र प्रोफ़ाइल या सैंडबॉक्स में चलाएं, और उसे उस कार्य के लिए आवश्यक डोमेन तक सीमित करें।
- निरीक्षण को कार्रवाई से अलग करें। एजेंट को पहले खोजने, पढ़ने, और डेटा निकालने दें; फॉर्म सबमिट करने, संदेश भेजने, यात्रा बुक करने, खरीदारी करने, रिकॉर्ड हटाने, या खाता सेटिंग्स बदलने से पहले स्पष्ट अनुमोदन चरण आवश्यक करें।
- प्रांप्ट और ट्रेसेस में गुप्तियां न रखें। पासवर्ड, भुगतान विवरण, सत्र कुकीज, या कच्चे व्यक्तिगत डेटा को मॉडल संदर्भ में न रखें। प्रमाणीकरण के लिए उपयोगकर्ता को हस्तक्षेप करने दें और लॉग से संवेदनशील फील्ड को हटाएं।
- पृष्ठ सामग्री को अविश्वसनीय इनपुट मानें। एक वेबसाइट ऐसे निर्देश हो सकते हैं जो एजेंट के लिए हैं, उपयोगकर्ता के लिए नहीं। एजेंट को उस पृष्ठ पाठ को नजरअंदाज करना चाहिए जो इसके लक्ष्य को बदलने, डेटा प्रकट करने, सुरक्षा उपायों को निष्क्रिय करने, या असंबंधित साइटों पर जाने के लिए कहता है।
- जोखिम भरे कदमों के आस-पास निश्चित जांच करें। अंतिम कदम की स्वीकृति से पहले वर्तमान URL, पृष्ठ शीर्षक, चयनित आइटम, कीमत, प्राप्तकर्ता, और कार्रवाई सारांश को कोड के साथ सत्यापित करें।
- बजट और रोकने की स्थितियां सेट करें। एजेंट द्वारा की जाने वाली कार्रवाइयों, पुनः प्रयासों, टैब्स, और मिनटों की संख्या को सीमित करें। जब पेज की स्थिति अस्पष्ट हो तो क्लिक करना रोक दें।
- सभी चीजें नहीं, उपयोगी सबूत रिकॉर्ड करें। कार्रवाई सारांश, टाइमस्टैम्प, URLs, चयनित तत्व विवरण, और स्क्रीनशॉट रेफरेंस रखें ताकि विफलताओं की समीक्षा की जा सके बिना अनावश्यक संवेदनशील पृष्ठ सामग्री संग्रहीत किए।
Airbnb नमूने में, सुरक्षित डिफ़ॉल्ट लिस्टिंग खोजना और कीमतें निकालना है। साइन इन करना, होस्ट से संपर्क करना, या बुकिंग पूरी करना अलग उपयोगकर्ता-स्वीकृत क्रिया होनी चाहिए।
वास्तविक विश्व अनुप्रयोग
- यात्रा बुकिंग और मूल्य निगरानी
- ई-कॉमर्स मूल्य तुलना और उपलब्धता जांच
- गतिशील वेब साइटों से संरचित निष्कर्षण
- विज़न-सक्षम UI परीक्षण और सत्यापन
- वेबसाइट निगरानी और सूचनाएं
- बहु-चरण प्रवाहों में बुद्धिमान फॉर्म भरना
वास्तविक विश्व उदाहरण: Microsoft Project Opal
इस पाठ में आप जो एजेंट बनाएंगे वह एक छोटा, स्थानीय संस्करण है एक कंप्यूटर उपयोग एजेंट (CUA) का — एक प्रोग्राम जो एक व्यक्ति की तरह ब्राउज़र चलाता है। Microsoft इसी विचार को उद्यमों में ला रहा है के साथ Project Opal (Frontier), जो Microsoft 365 Copilot में एक सुविधा है।
Project Opal के साथ, आप एक कार्य का वर्णन करते हैं और एजेंट आपके behalf में काम करता है, सिक्योर Windows 365 क्लाउड PC पर कंप्यूटर उपयोग का उपयोग करते हुए, जो आपके संगठन के ब्राउज़र-आधारित अनुप्रयोगों, साइटों, और डेटा में काम करता है। यह पृष्ठभूमि में असिंक्रोनस रूप से काम करता है, और आप किसी भी समय काम का मार्गदर्शन या नियंत्रण ले सकते हैं। उदाहरण के काम शामिल हैं:
- सुरक्षा समूह सदस्यता अनुरोधों का प्रबंधन
- अनुपालन समीक्षाओं के लिए ऑडिट साक्ष्य एकत्र करना और सत्यापित करना
- IT घटनाओं का ट्रायजिंग (टिकट स्थिति अपडेट करना, मालिक असाइन करना, डुप्लिकेट बंद करना)
- Excel डेटा को वित्तीय समापन डेक में संकलित करना
Opal एक उपयोगी संदर्भ है यह दिखाने के लिए कि एक उत्पादन-ग्रेड, भरोसेमंद कंप्यूटर उपयोग एजेंट कैसा दिखता है — और यह पहले के पाठों के सिद्धांतों को मजबूत करता है:
| इस कोर्स की अवधारणा |
Project Opal में यह कैसे लागू होता है |
| ह्यूमन-इन-द-लूप (पाठ 06) |
Opal लॉगिन क्रेडेंशियल, संवेदनशील डेटा, या अस्पष्ट निर्देशों पर रुकता है, और कभी भी बिना स्पष्ट पुष्टि के पासवर्ड या फॉर्म सबमिट नहीं करता। आप मध्य-कार्य में Take Control और Return Control कर सकते हैं। |
| विश्वसनीय और सुरक्षित एजेंट (पाठ 06 और 18) |
एक पृथक Windows 365 क्लाउड PC में चलता है, डिफ़ॉल्ट रूप से केवल ब्राउज़र (अन्य कंप्यूटर एक्सेस ब्लॉक, Intune के माध्यम से लागू), आपकी पहचान का उपयोग करता है ताकि केवल अधिकृत चीज़ों तक पहुँच हो, और हर क्रिया का ऑडिट लॉग रखता है। |
| योजनाबद्ध & मेटाकॉग्निशन (पाठ 07 और 09) |
Opal पहले काम के लिए योजना बनाता है, फिर प्रत्येक चरण पर अपने तर्क की निगरानी करता है और संदिग्ध गतिविधि पाई जाए तो रुक जाता है। |
| पुन: उपयोग योग्य क्षमताएँ / उपकरण (पाठ 04) |
Skills आपको दोहराए जाने वाले कार्यों के लिए निर्देश लिखने देते हैं (.md फ़ाइल से आयातित या Opal के साथ निर्मित) और उन्हें बातचीत में पुनः उपयोग करते हैं। |
उपलब्धता: Project Opal वर्तमान में Frontier early access program के उपयोगकर्ताओं के लिए Microsoft 365 Copilot सब्सक्रिप्शन के साथ उपलब्ध है, और आपके प्रशासक को सेटअप पूरा करना होगा। क्योंकि यह एक प्रायोगिक Frontier सुविधा है, क्षमताएं समय के साथ बदल सकती हैं।
ज्ञान जांच
अगले पाठ पर जाने से पहले अपनी समझ का परीक्षण करें।
1. ब्राउज़र-आधारित कंप्यूटर उपयोग एजेंट कब API-केवल वर्कफ़्लो की तुलना में बेहतर होते हैं?
उत्तर
जब कार्य वेब UI में जो दिखाई देता है उस पर निर्भर करता है, साइट आवश्यक API प्रदान नहीं करती, या पेज इतना बार बदलता है कि स्थिर API या सेलेक्टर लॉजिक भंगुर हो सकता है तो ब्राउज़र एजेंट का उपयोग करें। यदि उसी कार्य के लिए एक स्थिर API उपलब्ध है, तो API को प्राथमिकता दें क्योंकि यह आमतौर पर तेज़, परीक्षण में आसान, और सुरक्षित होता है।
2. एक हाइब्रिड वर्कफ़्लो में, एजेंट को कौन से हिस्से संभालने चाहिए और कौन से हिस्से सीधे Playwright कोड द्वारा?
उत्तर
एजेंट को खुले अंत के नेविगेशन और गतिशील UI राज्यों, जैसे सही पृष्ठ खोजना या अप्रत्याशित पॉप-अप बंद करना संभालने दें। जब पेज संरचना ज्ञात हो और क्रिया में सटीकता, पुनः प्रयास, प्रतीक्षा, या निश्चित सत्यापन की आवश्यकता हो तब सीधे Playwright नियंत्रण पर स्विच करें।
3. Airbnb नमूना एक लिस्टिंग खोजता है जिसे उपयोगकर्ता बुक करना चाहता हो सकता है। वर्कफ़्लो में साइन इन करने, होस्ट से संपर्क करने, या बुकिंग पूरी करने से पहले क्या होना चाहिए?
उत्तर
वर्कफ़्लो को रोकना चाहिए और स्पष्ट उपयोगकर्ता अनुमोदन मांगना चाहिए। अनुरोध करने से पहले चयनित लिस्टिंग, वर्तमान URL, कीमत, तारीखें, और इच्छित क्रिया का स्पष्ट सारांश दिखाना चाहिए। खोज और कीमत निकालना स्वायत्त हो सकता है; खाता पहुँच, संदेश, खरीदारी, और बुकिंग उपयोगकर्ता-स्वीकृत होना चाहिए।
4. एक वेब पेज एजेंट को उसके मूल निर्देशों को अनदेखा करने, किसी अन्य साइट पर जाने, और सहेजे गए क्रेडेंशियल प्रकट करने के लिए कहता है। एजेंट को उस टेक्स्ट के साथ कैसे व्यवहार करना चाहिए?
उत्तर
इसे अविश्वसनीय पृष्ठ सामग्री के रूप में समझें, न कि डेवलपर या उपयोगकर्ता निर्देश के रूप में। एजेंट को अनुमति प्राप्त डोमेन और कार्य दायरे में रहना चाहिए, राज़ प्रकट करने से इनकार करना चाहिए, और पृष्ठ पाठ का पालन करने से बचना चाहिए जो लक्ष्य बदलता है, सुरक्षा उपायों को निष्क्रिय करता है, या इसे असंबंधित साइटों पर भेजता है।
5. जब एक ब्राउज़र एजेंट चलता है तो कौन से सबूत रखना उपयोगी है, और क्या बचना चाहिए?
उत्तर
कार्रवाई सारांश, टाइमस्टैम्प, URLs, चयनित तत्व विवरण, सत्यापन परिणाम, और स्क्रीनशॉट संदर्भ रखें ताकि रन की समीक्षा की जा सके। पासवर्ड, भुगतान विवरण, सेशन कुकीज, कच्चे व्यक्तिगत डेटा, या पूर्ण पृष्ठ सामग्री संग्रहित करने से बचें जब तक कि कोई विशिष्ट सुरक्षा और गोपनीयता कारण न हो।
अतिरिक्त संसाधन
पिछली पाठ
Microsoft एजेंट फ्रेमवर्क का अन्वेषण
अगली पाठ
स्केलेबल एजेंट्स तैनात करना
अस्वीकरण:
इस दस्तावेज़ का अनुवाद AI अनुवाद सेवा Co-op Translator का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ अपनी मूल भाषा में ही प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।