কম্পিউটার ব্যবহার এজেন্ট (CUA) তৈরি করা
কম্পিউটার ব্যবহার এজেন্টগুলি ওয়েবসাইটের সাথে মানুষের মতোই ইন্টারঅ্যাক্ট করতে পারে: একটি ব্রাউজার খুলে, পেজটি পরীক্ষা করে, এবং তারা যা দেখে তাতে থেকে পরবর্তী সেরা কাজটি করে। এই পাঠে, আপনি একটি ব্রাউজার অটোমেশন এজেন্ট তৈরি করবেন যা Airbnb অনুসন্ধান করে, কাঠামোবদ্ধ লিস্টিং ডেটা সংগ্রহ করে, এবং স্টকহোমে সস্তা থাকার জায়গা সনাক্ত করে।
এই পাঠে Browser-Use AI-চালিত নেভিগেশনের জন্য, Playwright এবং Chrome DevTools Protocol (CDP) ব্রাউজার নিয়ন্ত্রণের জন্য, Azure OpenAI ভিশন-সক্ষম বুদ্ধিমত্তার জন্য, এবং Pydantic কাঠামোবদ্ধ এক্সট্রাকশনের জন্য একত্রিত হয়েছে।
পরিচিতি
এই পাঠের বিষয়বস্তু:
- কখন কম্পিউটার ব্যবহার এজেন্ট API-শুধুমাত্র অটোমেশনের থেকে ভাল একটি বিকল্প হয় তা বোঝা
- Browser-Use কে Playwright এবং CDP-এর সাথে যুক্ত করে নির্ভরযোগ্য ব্রাউজার লাইফসাইকেল ব্যবস্থাপনা করা
- Azure OpenAI ভিশন এবং কাঠামোবদ্ধ Pydantic আউটপুট ব্যবহার করে গতিশীল ওয়েব পৃষ্ঠাগুলি থেকে লিস্টিং তথ্য সংগ্রহ করা
- কখন এজেন্ট-প্রথম, অভিনেতা-প্রথম, বা হাইব্রিড ব্রাউজার অটোমেশন কর্মপ্রবাহ ব্যবহার করবেন তা সিদ্ধান্ত নেওয়া
শেখার লক্ষ্যসমূহ
এই পাঠ শেষ করার পর আপনি জানতে পারবেন কীভাবে:
- Azure OpenAI এবং Playwright সহ Browser-Use কনফিগার করবেন
- একটি ব্রাউজার অটোমেশন কর্মপ্রবাহ তৈরি করবেন যা একটি বাস্তব ওয়েবসাইট নেভিগেট করে এবং গতিশীল UI উপাদানগুলি পরিচালনা করে
- দৃশ্যমান পৃষ্ঠার বিষয়বস্তু থেকে টাইপকৃত ফলাফল বের করবেন এবং সেগুলিকে পরবর্তী ব্যবসায়িক লজিকে রূপান্তর করবেন
- ব্রাউজার কাজ কতটা পূর্বানুমেয় তা বিবেচনা করে এজেন্ট এবং অভিনেতা প্যাটার্নের মধ্যে নির্বাচন করবেন
কোড নমুনা
এই পাঠে একটি নোটবুক টিউটোরিয়াল অন্তর্ভুক্ত:
- 15-browser-user.ipynb: CDP এর মাধ্যমে একটি Chrome সেশন লঞ্চ করে, স্টকহোম লিস্টিংগুলির জন্য Airbnb অনুসন্ধান করে, Browser-Use ভিশন ব্যবহার করে দাম সংগ্রহ করে, এবং সস্তা অপশনটি কাঠামোবদ্ধ তথ্য হিসেবে ফেরত দেয়।
পূর্বশর্তসমূহ
- Python 3.12+
- আপনার পরিবেশে Azure OpenAI ডিপ্লয়মেন্ট কনফিগারড থাকতে হবে
- Chrome বা Chromium লোকালি ইনস্টল করা থাকবে
- Playwright নির্ভরশীলতা ইনস্টল করা থাকবে
- অ্যাসিঙ্ক Python এর মৌলিক পরিচিতি থাকতে হবে
সেটআপ
নোটবুকে ব্যবহৃত প্যাকেজগুলি ইনস্টল করুন:
pip install browser_use playwright python-dotenv
playwright install chromium
নোটবুকে ব্যবহৃত Azure OpenAI পরিবেশ ভেরিয়েবলগুলি সেট করুন:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ঐচ্ছিক: বাদ দিলে সর্বশেষ API সংস্করণে ডিফল্ট হয়
AZURE_OPENAI_API_VERSION=...
স্থাপত্যের সংক্ষিপ্ত বিবরণ
নোটবুকটি একটি হাইব্রিড ব্রাউজার অটোমেশন কর্মপ্রবাহ প্রদর্শন করে:
- Chrome CDP সক্রিয় করে শুরু হয় যাতে Playwright এবং Browser-Use একই ব্রাউজার সেশন শেয়ার করতে পারে।
- একটি Browser-Use এজেন্ট Airbnb খুলে, পপ-আপ বন্ধ করে এবং স্টকহোম অনুসন্ধান করার মতো মুক্ত নেভিগেশন কাজ পরিচালনা করে।
- সক্রিয় পৃষ্ঠা একটি কাঠামোবদ্ধ Pydantic স্কিমা ব্যবহার করে লিস্টিং শিরোনাম, রাত্রিকালীন দাম, রেটিং এবং URL সংগ্রহ করে।
- Python লজিক সংগ্রহিত লিস্টিংগুলিকে তুলনা করে সস্তা ফলাফল হাইলাইট করে।
এই পদ্ধতি Browser-Use এর ফ্লেক্সিবল, ভিশন-ভিত্তিক বুদ্ধিমত্তা বজায় রাখে এবং প্রয়োজনীয় সময় নির্দিষ্ট ব্রাউজার নিয়ন্ত্রণ প্রদান করে।
মূল শিক্ষণীয় বিষয় এবং সেরা অনুশীলন
কখন এজেন্ট ব্যবহার করা উচিত vs অভিনেতা ব্যবহার করা উচিত
| পরিস্থিতি |
এজেন্ট ব্যবহার করুন |
অভিনেতা ব্যবহার করুন |
| গতিশীল বিন্যাস |
হ্যাঁ, AI পৃষ্ঠার পরিবর্তনে মানিয়ে নিতে পারে |
না, দুর্বল সিলেক্টরগুলো ভেঙে যেতে পারে |
| পরিচিত কাঠামো |
না, এজেন্ট সরাসরি নিয়ন্ত্রণের তুলনায় ধীর |
হ্যাঁ, দ্রুত এবং নির্ভুল |
| উপাদান খোঁজা |
হ্যাঁ, প্রাকৃতিক ভাষা ভাল কাজ করে |
না, সঠিক সিলেক্টর প্রয়োজন |
| সময় নিয়ন্ত্রণ |
না, কম পূর্বানুমেয় |
হ্যাঁ, অপেক্ষা ও পুনরায় চেষ্টা সম্পূর্ণ নিয়ন্ত্রণে |
| জটিল কর্মপ্রবাহ |
হ্যাঁ, অপ্রত্যাশিত UI অবস্থা পরিচালনা করে |
না, স্পষ্ট শাখা দরকার |
Browser-Use সেরা অনুশীলন
- অনুসন্ধান এবং গতিশীল নেভিগেশনের জন্য এজেন্ট দিয়ে শুরু করুন।
- যখন ইন্টারঅ্যাকশন পূর্বানুমেয় হয় তখন সরাসরি পৃষ্ঠা নিয়ন্ত্রণে স্যুইচ করুন।
- কাঠামোবদ্ধ আউটপুট মডেল ব্যবহার করুন যাতে সংগ্রহিত ডেটা যাচাইযোগ্য এবং টাইপ-নিরাপদ হয়।
- দৃশ্যমান UI পরিবর্তনগুলো চালিত কাজের পরে কৌশলগত বিলম্ব যোগ করুন।
- পুনরাবৃত্তি করার সময় স্ক্রিনশট নিন যাতে ব্যর্থতা ডিবাগ করা সহজ হয়।
- ওয়েবসাইট পরিবর্তনের জন্য প্রস্তুত থাকুন এবং পপ-আপ ও বিন্যাস পরিবর্তনের জন্য বিকল্প পরিকল্পনা নিন।
- নমনীয়তা ও নির্ভুলতাও পাওয়ার জন্য এজেন্ট ও অভিনেতা প্যাটার্ন মিশ্রিত করুন।
ব্রাউজার এজেন্টের জন্য নিরাপত্তা বিধি
ব্রাউজার এজেন্টগুলি লাইভ ওয়েবসাইটে কাজ করে, তাই তারা শুধুমাত্র পরিচিত API কল করে এমন একটি স্ক্রিপ্টের তুলনায় কঠোর সীমান্তের প্রয়োজন। একটি নোটবুক ডেমো থেকে বাস্তব কর্মপ্রবাহে যাওয়ার আগে এজেন্ট কী দেখতে, কী ক্লিক করতে, এবং কী জমা দিতে পারে তার নিয়ন্ত্রণ নির্ধারণ করুন।
- ব্রাউজিং পরিবেশ সীমাবদ্ধ করুন। এজেন্টকে একটি নির্দিষ্ট ব্রাউজার প্রোফাইলে বা স্যান্ডবক্সে চালান এবং টাস্কের জন্য প্রয়োজনীয় ডোমেইনগুলিতে সীমাবদ্ধ রাখুন।
- পর্যবেক্ষণ ও কার্যকলাপ আলাদা করুন। প্রথমে এজেন্টকে অনুসন্ধান, পড়া, এবং তথ্য সংগ্রহ করতে দিন; ফর্ম জমা দেওয়া, মেসেজ পাঠানো, ভ্রমণ বুকিং, ক্রয় করা, রেকর্ড মুছা, বা অ্যাকাউন্ট সেটিংস বদলানোর আগে স্পষ্ট অনুমোদন নিন।
- প্রম্পট ও ট্রেস থেকে গোপনীয়তা দূরে রাখুন। পাসওয়ার্ড, পেমেন্ট বিবরণ, সেশন কুকিজ বা কাঁচা ব্যক্তিগত তথ্য মডেল প্রসঙ্গে রাখবেন না। প্রমাণীকরণের জন্য ব্যবহারকারীকে নিয়ন্ত্রণ নিতে দিন এবং সংবেদনশীল ক্ষেত্রগুলি লগ থেকে মুছে ফেলুন।
- পৃষ্ঠা বিষয়বস্তু অবিশ্বাস্য ইনপুট হিসাবে বিবেচনা করুন। ওয়েবসাইটে এমন নির্দেশ থাকতে পারে যা এজেন্টের জন্য, ব্যবহারকারীর জন্য নয়। এজেন্টকে এমন পৃষ্ঠা টেক্সট উপেক্ষা করতে হবে যা তার লক্ষ্য পরিবর্তন, তথ্য প্রকাশ, নিরাপত্তা নিষ্ক্রিয়করণ, অথবা সম্পর্কহীন সাইটে যাওয়ার নির্দেশ দেয়।
- ঝুঁকিপূর্ণ ধাপের জন্য নির্দিষ্ট যাচাই ব্যবস্থার ব্যবহার করুন। চূড়ান্ত ধাপের অনুমোদনের আগে কোড দিয়ে বর্তমান URL, পেজ শিরোনাম, নির্বাচিত আইটেম, দাম, গ্রাহক, এবং কার্যসংক্ষিপ্ত বিবরণ যাচাই করুন।
- বাজেট ও বন্ধের শর্ত নির্ধারণ করুন। এজেন্ট কতটি কাজ, পুনরায় চেষ্টা, ট্যাব, এবং সময় ব্যবহার করতে পারে তা সীমাবদ্ধ করুন। পৃষ্ঠার অবস্থা অস্পষ্ট হলে ক্লিক চালিয়ে না গিয়ে বন্ধ করুন।
- প্রয়োজনীয় প্রমাণ সংগ্রহ করুন, সব কিছু নয়। কাজের সারাংশ, টাইমস্ট্যাম্প, URL, নির্বাচিত উপাদান বর্ণনা, এবং স্ক্রিনশট রেফারেন্স রাখুন যাতে ব্যর্থতা পর্যালোচনা করা যায়, কিন্তু অপ্রয়োজনীয় সংবেদনশীল পৃষ্ঠা বিষয়বস্তু সংরক্ষণ করবেন না।
Airbnb নমুনায়, সুরক্ষিত ডিফল্ট হলো লিস্টিং অনুসন্ধান এবং দাম সংগ্রহ করা। সাইন ইন, হোস্টের সাথে যোগাযোগ, বা বুকিং সম্পন্ন করা একটি আলাদা ব্যবহারকারী-অনুমোদিত কাজ হওয়া উচিত।
বাস্তব জীবনের ব্যবহার
- ভ্রমণ বুকিং ও মূল্য নিরীক্ষণ
- ই-কমার্স মূল্য তুলনা ও উপলভ্যতা পরীক্ষা
- গতিশীল ওয়েবসাইট থেকে কাঠামোবদ্ধ তথ্য সংগ্রহ
- ভিশন-সচেতন UI পরীক্ষা ও যাচাই
- ওয়েবসাইট মনিটরিং ও সতর্কতা
- বহু-ধাপ প্রবাহে বুদ্ধিমান ফর্ম পূরণ
বাস্তব উদাহরণ: Microsoft Project Opal
এই পাঠে আপনি যে এজেন্ট তৈরি করবেন তা একটি ছোট, স্থানীয় সংস্করণ একটি কম্পিউটার ব্যবহার এজেন্ট (CUA) — একটি প্রোগ্রাম যা মানুষের মতো ব্রাউজার চালায়। Microsoft এই একই ধারণা এন্টারপ্রাইজে নিয়ে আসছে Project Opal (Frontier), Microsoft 365 Copilot-এর একটি সক্ষমতা।
Project Opal-এ, আপনি একটি কাজ বর্ণনা করেন এবং এজেন্ট আপনার পক্ষে কাজ করে নিরাপদ Windows 365 Cloud PC-তে কম্পিউটার ব্যবহার করে, আপনার সংস্থার ব্রাউজার-ভিত্তিক অ্যাপ্লিকেশন, সাইট, এবং ডেটার মাধ্যমে কাজ পরিচালনা করে। এটি পেছনে অ্যাসিঙ্ক্রোনাসলি চলে, এবং আপনি কাজ নির্দেশ দিতে বা যেকোনো সময় নিয়ন্ত্রণ নিতে পারেন। উদাহরণ কাজগুলির মধ্যে রয়েছে:
- সিকিউরিটি গ্রুপ সদস্যতা অনুরোধ পরিচালনা
- সম্মতি পর্যালোচনার জন্য অডিট প্রমাণ সংগ্রহ ও যাচাই
- IT ঘটনা শ্রেণীবদ্ধকরণ (টিকিট অবস্থা আপডেট, মালিক নিয়োগ, ডুপ্লিকেট বন্ধ করা)
- Excel ডেটা নিয়ে একটি আর্থিক ক্লোজ ডেক্স তৈরি
Opal একটি প্রডাকশন-গ্রেড, বিশ্বাসযোগ্য কম্পিউটার ব্যবহার এজেন্ট কেমন হওয়া উচিত তার দরকারী রেফারেন্স — এবং এটি পূর্ববর্তী পাঠের ধারণাগুলিকে দৃঢ় করে:
| এই কোর্সের ধারণা |
Project Opal কীভাবে প্রয়োগ করে |
| মানুষ অন্তর্ভুক্ত (Human-in-the-loop) (পাঠ ০৬) |
Opal লগইন তথ্য, সংবেদনশীল ডেটা, বা অস্পষ্ট নির্দেশনার জন্য থামে, এবং স্পষ্ট অনুমোদন ছাড়া কখনো পাসওয়ার্ড প্রবেশ বা ফর্ম জমা দেয় না। আপনি নিয়ন্ত্রণ নিতে ও নিয়ন্ত্রণ ফেরত নিতে পারেন কাজের মাঝে। |
| বিশ্বাসযোগ্য ও নিরাপদ এজেন্ট (পাঠ ০৬ ও ১৮) |
এটি একটি পৃথক Windows 365 Cloud PC-তে চলে, ডিফল্ট ব্রাউজার-শুধুমাত্র (অন্যান্য কম্পিউটার অ্যাক্সেস বন্ধ, Intune মাধ্যমে প্রয়োগ), আপনার পরিচয় ব্যবহার করে তাই শুধুমাত্র অনুমোদিত তথ্য অ্যাক্সেস করে, এবং প্রতিটি কাজের জন্য নিরীক্ষণ লগ রাখে। |
| পরিকল্পনা ও মেটাকগনিশন (পাঠ ০৭ ও ০৯) |
Opal প্রথম একটি কাজের পরিকল্পনা তৈরি করে, পরে প্রতিটি ধাপে নিজস্ব যুক্তি পর্যবেক্ষণ করে এবং সন্দেহজনক কাজে থামে। |
| পুনঃব্যবহারযোগ্য ক্ষমতা ও সরঞ্জাম (পাঠ ০৪) |
স্কিলস আপনাকে পুনরাবৃত্তিযোগ্য কাজের জন্য নির্দেশনা লিখতে দেয় (একটি .md ফাইল থেকে আনা হয় বা Opal দিয়ে লেখা হয়) এবং সেগুলো আলাপচারিতায় পুনঃব্যবহার করতে পারে। |
উপলম্ব্যতা: Project Opal বর্তমানে Frontier early access program এর ব্যবহারকারীদের জন্য Microsoft 365 Copilot সাবস্ক্রিপশন সহ উপলব্ধ, এবং আপনার প্রশাসককে সেটআপ সম্পন্ন করতে হবে। এটি একটি পরীক্ষামূলক Frontier ফিচার হওয়ায় সময়ের সাথে ক্ষমতাগুলি পরিবর্তিত হতে পারে।
জ্ঞান যাচাই
পরবর্তী পাঠে যাওয়ার আগে আপনার বোঝাপড়া পরীক্ষা করুন।
১। কখন একটি ব্রাউজার-ভিত্তিক কম্পিউটার ব্যবহার এজেন্ট API-শুধুমাত্র কর্মপ্রবাহ থেকে ভাল?
উত্তর
ওয়েব UI-তে যা দৃশ্যমান তার উপর কাজ নির্ভর করে, সাইট প্রয়োজনীয় API প্রকাশ করে না, অথবা পৃষ্ঠা এতবার পরিবর্তিত হয় যে নির্দিষ্ট API বা সিলেক্টর লজিক দুর্বল হয়ে পড়ে তখন ব্রাউজার এজেন্ট ব্যবহার করুন। একই কাজের জন্য একটি স্থিতিশীল API থাকলে API-ই পছন্দ করা উচিত কারণ এটি সাধারণত দ্রুত, পরীক্ষাএর সহজ, এবং নিরাপদ।
২। একটি হাইব্রিড কর্মপ্রবাহে, কোন অংশগুলি এজেন্ট দ্বারা পরিচালিত হওয়া উচিত এবং কোন অংশগুলি সরাসরি Playwright কোড দ্বারা?
উত্তর
এজেন্টকে মুক্ত নেভিগেশান এবং গতিশীল UI অবস্থার কাজ করতে দিন, যেমন সঠিক পৃষ্ঠা খোঁজা বা অপ্রত্যাশিত পপ-আপ বন্ধ করা। পৃষ্ঠার কাঠামো জানা থাকলে এবং কার্যটির স্পষ্টতা, পুনরায় চেষ্টা, অপেক্ষা, অথবা নির্ধারিত যাচাই দরকার হলে সরাসরি Playwright নিয়ন্ত্রণে পরিবর্তন করুন।
৩। Airbnb নমুনা ব্যবহারকারীকে বুকিংয়ের জন্য একটি লিস্টিং খুঁজে দেয়। কর্মপ্রবাহে সাইন ইন করা, হোস্টের সাথে যোগাযোগ করা, অথবা বুকিং সম্পন্ন করার আগে কী হওয়া উচিত?
উত্তর
কর্মপ্রবাহ বন্ধ রেখে স্পষ্ট ব্যবহারকারী অনুমোদন চাওয়া উচিত। অনুরোধ করার আগে নির্বাচিত লিস্টিং, বর্তমান URL, দাম, তারিখ, এবং পরিকল্পিত কাজের স্পষ্ট সারসংক্ষেপ দেখানো উচিত। অনুসন্ধান করা এবং দাম সংগ্রহ করা স্বয়ংক্রিয় হওয়া যায়; অ্যাকাউন্ট অ্যাক্সেস, ম্যাসেজ, ক্রয়, এবং বুকিং গুলো অবশ্যই ব্যবহারকারী অনুমোদিত হওয়া উচিত।
৪। একটি ওয়েব পৃষ্ঠা এজেন্টকে তার মূল নির্দেশনা উপেক্ষা করতে, অন্য সাইটে যেতে, এবং সংরক্ষিত পরিচয় প্রদান করতে বলে। এজেন্ট কীভাবে ঐ টেক্সটটি বিবেচনা করবে?
উত্তর
এটি অবিশ্বাস্য পৃষ্ঠা বিষয়বস্তু হিসেবে বিবেচনা করুন, ডেভেলপার বা ব্যবহারকারীর নির্দেশনা হিসেবে নয়। এজেন্টকে অনুমোদিত ডোমেইন ও কাজের পরিধির মধ্যে থাকতি হবে, গোপনীয় তথ্য প্রকাশ থেকে বিরত থাকতে হবে, এবং এমন পৃষ্ঠা টেক্সট অনুসরণ এড়াতে হবে যা লক্ষ্য পরিবর্তন করে, নিরাপত্তা বন্ধ করে, বা সম্পর্কহীন সাইটে নিয়ে যায়।
৫। ব্রাউজার এজেন্ট কাজ করার সময় কোন প্রমাণ সংরক্ষণ করা উচিত, এবং কোনগুলি এড়ানো?
উত্তর
কাজের সারাংশ, টাইমস্ট্যাম্প, URL, নির্বাচিত উপাদানের বর্ণনা, যাচাইকরণ ফলাফল, এবং স্ক্রিনশট রেফারেন্স রাখুন যাতে কাজ পর্যালোচনা করা যায়। পাসওয়ার্ড, পেমেন্ট তথ্য, সেশন কুকি, কাঁচা ব্যক্তিগত ডেটা, অথবা পূর্ণ পৃষ্ঠা বিষয়বস্তু সংরক্ষণ এড়িয়ে চলুন যতক্ষণ না নির্দিষ্ট সংরক্ষণ ও গোপনীয়তা কারণ থাকে।
অতিরিক্ত সম্পদ
পূর্ববর্তী পাঠ
Microsoft Agent Framework অন্বেষণ
পরবর্তী পাঠ
স্কেলেবল এজেন্ট স্থাপন
অস্বীকৃতি:
এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই।