ai-agents-for-beginners

কম্পিউটার ব্যবহার এজেন্ট তৈরি করা (CUA)

কম্পিউটার ব্যবহার এজেন্টগুলি মানুষের মতো ওয়েবসাইটের সাথে যোগাযোগ করতে পারে: একটি ব্রাউজার খোলা, পৃষ্ঠা পরীক্ষা করা, এবং তারা যা দেখে তার মধ্যে থেকে সেরা পরবর্তী কার্য গ্রহণ করা। এই পাঠে, আপনি একটি ব্রাউজার অটোমেশন এজেন্ট তৈরি করবেন যা Airbnb তে অনুসন্ধান করে, গঠনমূলক লিস্টিং তথ্য বের করে এবং স্টকহোমে সবচেয়ে সস্তা থাকা সনাক্ত করে।

এই পাঠটি AI-চালিত নেভিগেশনের জন্য Browser-Use, ব্রাউজার নিয়ন্ত্রণের জন্য Playwright এবং Chrome DevTools Protocol (CDP), দর্শন সক্রিয় যুক্তি করার জন্য Azure OpenAI এবং গঠনমূলক তথ্য আহরণের জন্য Pydantic কে সংযুক্ত করে।

পরিচিতি

এই পাঠটি কভার করবে:

• কখন কম্পিউটার ব্যবহার এজেন্ট API-শুধু অটোমেশনের থেকে ভাল ফিট তা বোঝা
• নির্ভরযোগ্য ব্রাউজার লাইফসাইকেল ব্যবস্থাপনার জন্য Browser-Use কে Playwright এবং CDP এর সাথে মিলিয়ে ব্যবহার করা
• গতিশীল ওয়েব পেজ থেকে লিস্টিং তথ্য আহরণের জন্য Azure OpenAI দর্শন এবং গঠনমূলক Pydantic আউটপুট ব্যবহার করা
• কখন এজেন্ট-ফার্স্ট, অ্যাক্টর-ফার্স্ট, অথবা হাইব্রিড ব্রাউজার অটোমেশন ওয়ার্কফ্লো ব্যবহার করবেন তা সিদ্ধান্ত নেওয়া

শেখার লক্ষ্য

এই পাঠ সম্পন্ন করার পর, আপনি জানবেন কিভাবে:

• Browser-Use কে Azure OpenAI এবং Playwright এর সাথে কনফিগার করবেন
• বাস্তব ওয়েবসাইট নেভিগেট করতে এবং গতিশীল UI উপাদানগুলি পরিচালনা করতে একটি ব্রাউজার অটোমেশন ওয়ার্কফ্লো তৈরি করবেন
• দৃশ্যমান পৃষ্ঠার বিষয়বস্তু থেকে টাইপকৃত ফলাফল বের করবেন এবং সেগুলি ডাউনস্ট্রিম ব্যবসায়িক লজিকে রূপান্তর করবেন
• ব্রাউজার কাজ কতটা পূর্বানুমেয় তার উপর ভিত্তি করে এজেন্ট এবং অ্যাক্টর প্যাটার্নের মধ্যে নির্বাচন করবেন

কোড নমুনা

এই পাঠে একটি নোটবুক টিউটোরিয়াল অন্তর্ভুক্ত:

• 15-browser-user.ipynb: CDP এর মাধ্যমে একটি ক্রোম সেশন শুরু করে, Airbnb তে স্টকহোমের লিস্টিং অনুসন্ধান করে, Browser-Use দর্শনের মাধ্যমে মূল্য বের করে, এবং গঠনমূলক ডেটা হিসাবে সবচেয়ে সস্তা অপশন ফিরিয়ে দেয়।

পূর্বশর্ত

• পাইথন 3.12+
• আপনার পরিবেশে Azure OpenAI ডিপ্লয়মেন্ট কনফিগার করা আছে
• লোকালিতে ক্রোম অথবা ক্রোমিয়াম ইনস্টল করা
• Playwright ডিপেনডেন্সি ইনস্টল করা
• অ্যাসিঙ্ক পাইথনের বেসিক পরিচিতি

সেটআপ

নোটবুকে ব্যবহৃত প্যাকেজগুলি ইনস্টল করুন:

pip install browser_use playwright python-dotenv
playwright install chromium

নোটবুকে ব্যবহৃত Azure OpenAI পরিবেশ ভেরিয়েবলগুলি সেট করুন:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ঐচ্ছিক: বাদ দিলে সর্বশেষ API সংস্করণ ডিফল্ট হয়ে যায়
AZURE_OPENAI_API_VERSION=...

আর্কিটেকচার ওভারভিউ

নোটবুকটি একটি হাইব্রিড ব্রাউজার অটোমেশন ওয়ার্কফ্লো প্রদর্শন করে:

1. CDP সক্রিয় করে ক্রোম চালু হয় যাতে Playwright এবং Browser-Use একই ব্রাউজার সেশন শেয়ার করতে পারে।
2. একটি Browser-Use এজেন্ট Airbnb খোলা, পপ-আপ বন্ধ করা, এবং স্টকহোম অনুসন্ধান করার মতো খোলা ধরনের নেভিগেশন কাজগুলি পরিচালনা করে।
3. সক্রিয় পৃষ্ঠা একটি গঠনমূলক Pydantic স্কিমা দিয়ে পরীক্ষা করা হয় যাতে লিস্টিং শিরোনাম, রাত্রিকালীন মূল্য, রেটিং এবং URL গুলি বের করা যায়।
4. পাইথন লজিক বের করা লিস্টিংগুলিকে তুলনা করে এবং সবচেয়ে সস্তা ফলাফল হাইলাইট করে।

এই পদ্ধতি Browser-Use এর নমনীয়, দৃষ্টিভিত্তিক যুক্তিকে ধরে রাখে, পাশাপাশি প্রয়োজন হলে আপনাকে নির্ধারিত ব্রাউজার নিয়ন্ত্রণ দেয়।

মূল গ্রহণযোগ্যতা এবং সর্বোত্তম অনুশীলন

কখন এজেন্ট বনাম অ্যাক্টর ব্যবহার করবেন

পরিস্থিতি	এজেন্ট ব্যবহার করুন	অ্যাক্টর ব্যবহার করুন
গতিশীল লেআউট	হ্যাঁ, AI পৃষ্ঠার পরিবর্তনে মানিয়ে নিতে পারে	না, ভঙ্গুর সিলেক্টর ভেঙে যেতে পারে
পরিচিত গঠন	না, এজেন্ট সরাসরি নিয়ন্ত্রণের তুলনায় ধীর	হ্যাঁ, দ্রুত এবং নির্ভুল
উপাদান খোঁজা	হ্যাঁ, প্রাকৃতিক ভাষা ভাল কাজ করে	না, সঠিক সিলেক্টর দরকার
সময় নিয়ন্ত্রণ	না, কম পূর্বানুমেয়	হ্যাঁ, অপেক্ষা এবং পুনরায় চেষ্টার সম্পূর্ণ নিয়ন্ত্রণ
জটিল ওয়ার্কফ্লো	হ্যাঁ, অপ্রত্যাশিত UI অবস্থার সাথে সামলাতে পারে	না, স্পষ্ট শাখা দরকার

Browser-Use এর সর্বোত্তম অনুশীলন

1. অন্বেষণ এবং গতিশীল নেভিগেশনের জন্য একটি এজেন্ট দিয়ে শুরু করুন।
2. যখন ইন্টারঅ্যাকশন পূর্বানুমেয় হয়ে ওঠে তখন সরাসরি পৃষ্ঠা নিয়ন্ত্রণে পরিবর্তন করুন।
3. গঠনমূলক আউটপুট মডেল ব্যবহার করুন যাতে বেরকৃত ডেটা যাচাইযোগ্য এবং টাইপ-নিরাপদ হয়।
4. দৃশ্যমান UI পরিবর্তনগুলি ট্রিগার করে এমন ক্রিয়াকলাপের পরে কৌশলগত বিলম্ব যোগ করুন।
5. পুনরাবৃত্তির সময় স্ক্রিনশট নিন যাতে ব্যর্থতাগুলি সহজে ডিবাগ করা যায়।
6. ওয়েবসাইট পরিবর্তন হওয়ার প্রত্যাশা করুন এবং পপ-আপ এবং লেআউট শিফটের জন্য বিকল্প কৌশল ডিজাইন করুন।
7. নমনীয়তা এবং নির্ভুলতার জন্য এজেন্ট এবং অ্যাক্টর প্যাটার্নকে মিশ্রিত করুন।

ব্রাউজার এজেন্টদের জন্য নিরাপত্তা গার্ডরেইল

ব্রাউজার এজেন্টগুলো লাইভ ওয়েবসাইটে কাজ করে, তাই তাদেরকে কেবলমাত্র পরিচিত API কল করা স্ক্রিপ্টের থেকে কঠোর সীমানা দরকার। একটি নোটবুক ডেমো থেকে বাস্তব ওয়ার্কফ্লো এ যাওয়ার আগে, এজেন্ট কি দেখতে, ক্লিক করতে এবং সাবমিট করতে পারবে তার নিয়ন্ত্রণ নির্ধারণ করুন।

1. ব্রাউজিং পরিবেশ স্কোপ করুন। এজেন্টটি একটি নিবন্ধিত ব্রাউজার প্রোফাইলে অথবা স্যান্ডবক্সে চালান এবং কাজের জন্য প্রয়োজনীয় ডোমেইনগুলিতে সীমাবদ্ধ করুন।
2. পর্যবেক্ষণ এবং কর্ম পৃথক করুন। প্রথমে এজেন্টকে অনুসন্ধান, পড়া এবং ডেটা আহরণের অনুমতি দিন; ফর্ম সাবমিট, বার্তা প্রেরণ, ট্রাভেল বুকিং, ক্রয়, রেকর্ড মুছা, অথবা অ্যাকাউন্ট সেটিংস পরিবর্তনের আগে একটি স্পষ্ট অনুমোদন ধাপ প্রয়োজন।
3. গোপনীয়তা তথ্য প্রম্পট এবং ট্রেস থেকে বাদ দিন। মডেল প্রসঙ্গে পাসওয়ার্ড, পেমেন্ট বিস্তারিত, সেশন কুকিজ, অথবা কাঁচা ব্যক্তিগত ডেটা রাখবেন না। প্রমাণীকরণের জন্য ব্যবহারকারীকে নিয়ন্ত্রণ নিতে দিন এবং লগ থেকে সংবেদনশীল ক্ষেত্রগুলিকে রিড্যাক্ট করুন।
4. পৃষ্ঠা বিষয়বস্তুকে অবিশ্বাস্য ইনপুট হিসেবে বিবেচনা করুন। একটি ওয়েবসাইটে এমন নির্দেশ থাকতে পারে যা এজেন্টের জন্য, ব্যবহারকারীর জন্য নয়। এজেন্টকে পৃষ্ঠার এমন টেক্সট উপেক্ষা করা উচিত যা তাকে তার লক্ষ্য পরিবর্তন করতে, তথ্য প্রকাশ করতে, নিরাপত্তা বন্ধ করতে অথবা অপ্রাসঙ্গিক সাইট পরিদর্শন করতে বলে।
5. ঝুঁকিপূর্ণ ধাপগুলির চারপাশে নির্ধারিত পরীক্ষা ব্যবহার করুন। চূড়ান্ত ধাপ অনুমোদনের আগে কোড দিয়ে বর্তমান URL, পৃষ্ঠা শিরোনাম, নির্বাচিত আইটেম, মূল্য, প্রাপকের তথ্য এবং কার্য সারাংশ যাচাই করুন।
6. বাজেট এবং থামার শর্ত নির্ধারণ করুন। এজেন্ট কতগুলি কার্যক্রম, পুনরায় চেষ্টা, ট্যাব, এবং কত মিনিট ব্যবহার করতে পারে তার সীমা দিন। পৃষ্ঠার অবস্থা অস্পষ্ট হলে ক্লিক চালিয়ে যাওয়ার পরিবর্তে থামুন।
7. প্রয়োজনীয় প্রমাণাদি রেকর্ড করুন, সবকিছু নয়। কার্য সারাংশ, টাইমস্ট্যাম্প, URL, নির্বাচিত উপাদানের বর্ণনা এবং স্ক্রিনশট রেফারেন্স রাখুন যাতে ব্যর্থতাগুলি পর্যালোচনা করা যায়, অপ্রয়োজনীয় সংবেদনশীল পৃষ্ঠা বিষয়বস্তু সংরক্ষণ না করেই।

Airbnb নমুনায়, নিরাপদ ডিফল্ট হল লিস্টিং অনুসন্ধান এবং মূল্য আহরণ। সাইন ইন, হোস্টের সাথে যোগাযোগ, অথবা বুকিং সম্পন্ন করা একটি পৃথক ব্যবহারকারী-অনুমোদিত কর্ম হওয়া উচিত।

বাস্তব জীবনের ব্যবহার

• ট্রাভেল বুকিং এবং মূল্য মনিটরিং
• ই-কমার্স মূল্য তুলনা এবং উপলব্ধতা চেক
• গতিশীল ওয়েবসাইট থেকে গঠনমূলক আহরণ
• দর্শন-সচেতন UI পরীক্ষা এবং যাচাইকরণ
• ওয়েবসাইট মনিটরিং এবং সতর্কতা প্রদান
• মাল্টি-স্টেপ ফ্লোতে বুদ্ধিমান ফর্ম পূরণ

বাস্তব জীবনের উদাহরণ: Microsoft Project Opal

আপনি এই পাঠে যে এজেন্ট তৈরি করবেন তা একটি ছোট, স্থানীয় সংস্করণ কম্পিউটার ব্যবহার এজেন্ট (CUA) — এমন একটি প্রোগ্রাম যা মানুষের মতো ব্রাউজার চালায়। Microsoft এই একই ধারণাকে এন্টারপ্রাইজে নিয়ে আসছে Project Opal (Frontier), যা Microsoft 365 Copilot এর একটি ক্ষমতা।

Project Opal দিয়ে, আপনি একটি কাজ বর্ণনা করেন এবং এজেন্ট আপনার পক্ষ থেকে সুরক্ষিত Windows 365 ক্লাউড PC তে কম্পিউটার ব্যবহার করে কাজ করে, আপনার সংস্থার ব্রাউজার-ভিত্তিক অ্যাপ্লিকেশন, সাইট এবং ডেটার মাধ্যমে অপারেট করে। এটি পটভূমিতে অ্যাসিঙ্ক্রোনাসলি কাজ করে, এবং আপনি যে কোন সময় কাজ পরিচালনা করতে বা নিয়ন্ত্রণ নিতে পারেন। উদাহরণস্বরূপ কাজগুলির মধ্যে রয়েছে:

• সিকিউরিটি গ্রুপ সদস্যপদ অনুরোধ পরিচালনা করা
• সম্মতি পর্যালোচনার জন্য নিরীক্ষা প্রমাণ সংগ্রহ এবং যাচাই করা
• IT ঘটনার ত্রৈণ (টিকিট অবস্থা আপডেট, মালিক নিয়োগ, নকল বন্ধ করা)
• আর্থিক ক্লোজ ডেকের জন্য এক্সেল ডেটা সংকলন

Opal হল একটি ব্যবহারযোগ্য রেফারেন্স যা দেখায় একটি প্রোডাকশন-গ্রেড, বিশ্বাসযোগ্য কম্পিউটার ব্যবহার এজেন্ট কেমন হওয়া উচিত — এবং এটি আগের পাঠগুলির ধারণাগুলিকে পুনর্ব্যক্ত করে:

এই কোর্সের ধারণা	Project Opal এর প্রয়োগ
মানব-ইন-দা-লুপ (পাঠ ০৬)	Opal লগইন ক্রেডেনশিয়াল, সংবেদনশীল ডেটা, বা অস্পষ্ট নির্দেশনার জন্য বিরতি দেয়, এবং স্পষ্ট অনুমতি ছাড়া কখনও পাসওয়ার্ড প্রবেশ করায় না বা ফর্ম জমা দেয় না। আপনি কাজের মাঝামাঝি নিয়ন্ত্রণ নিতে এবং ফিরিয়ে দিতে পারেন।
বিশ্বাসযোগ্য ও সুরক্ষিত এজেন্ট (পাঠ ০৬ এবং ১৮)	একটি পৃথক Windows 365 ক্লাউড PC তে চলে, ডিফল্টরূপে শুধুমাত্র ব্রাউজার ব্যবহার করে (অন্যান্য কম্পিউটার অ্যাক্সেস ব্লক করা হয়, Intune দ্বারা নিশ্চিত), আপনার পরিচয় ব্যবহার করে শুধুমাত্র অনুমোদিত ডেটা অ্যাক্সেস করে এবং প্রতিটি কার্যকলাপ লগ করে যাতে নিরীক্ষাসমূহ সম্ভব হয়।
পরিকল্পনা এবং আত্মপর্যবেক্ষণ (পাঠ ০৭ এবং ০৯)	Opal প্রথমে কাজের জন্য একটি পরিকল্পনা তৈরি করে, তারপর প্রতিটি ধাপে নিজস্ব যুক্তি তত্ত্বাবধান করে এবং সন্দেহজনক কার্যকলাপ সনাক্ত করলে বিরতি দেয়।
পুনঃব্যবহারযোগ্য সক্ষমতা / সরঞ্জাম (পাঠ ০৪)	দক্ষতা আপনাকে পুনরাবৃত্তিযোগ্য কাজের জন্য নির্দেশনা লেখার সুযোগ দেয় (.md ফাইল থেকে আমদানি করা বা Opal দিয়ে রচিত) এবং সেগুলি কথোপকথনে পুনরায় ব্যবহার করতে পারে।

উপলভ্যতা: Project Opal এখন Frontier প্রাথমিক প্রবেশ প্রোগ্রাম এর ব্যবহারকারীদের জন্য Microsoft 365 Copilot সাবস্ক্রিপশনের সঙ্গে উপলব্ধ, এবং আপনার প্রশাসক সেটআপ সম্পন্ন করতে হবে। এটি একটি পরীক্ষামূলক Frontier ফিচার হওয়ায়, ক্ষমতাগুলি সময়ের সাথে পরিবর্তিত হতে পারে।

অতিরিক্ত সম্পদ

• Project Opal (Frontier) দিয়ে শুরু করুন
• Browser-Use Playwright ইন্টিগ্রেশন টেমপ্লেট
• Browser-Use অ্যাক্টর প্যারামিটার এবং বিষয়বস্তু আহরণ
• কোর্স সেটআপ

পূর্ববর্তী পাঠ

Microsoft Agent Framework অন্বেষণ

পরবর্তী পাঠ

স্কেলেবল এজেন্ট ডিপ্লয়মেন্ট

---

অস্বীকৃতি: এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই।

This site is open source. Improve this page.