کمپیوٹر یوز ایجنٹس (CUA) بنانے کا طریقہ
کمپیوٹر یوز ایجنٹس ویب سائٹس کے ساتھ اسی طرح انٹریکٹ کر سکتے ہیں جیسے ایک انسان کرتا ہے: ایک براؤزر کھول کر، صفحہ کا معائنہ کر کے، اور جو کچھ وہ دیکھتا ہے اس میں سے اگلا بہترین عمل کرنا۔ اس سبق میں، آپ ایک براؤزر آٹومیشن ایجنٹ بنائیں گے جو Airbnb پر تلاش کرے گا، منظم کردہ لسٹنگ ڈیٹا نکالے گا، اور اسٹاک ہوم میں سب سے سستا قیام تلاش کرے گا۔
یہ سبق AI کے ذریعے نیویگیشن کے لیے Browser-Use، براؤزر کنٹرول کے لیے Playwright اور Chrome DevTools Protocol (CDP)، وژن فعال استدلال کے لیے Azure OpenAI، اور منظم استخراج کے لیے Pydantic کو یکجا کرتا ہے۔
تعارف
اس سبق میں شامل موضوعات:
- سمجھنا کہ کب کمپیوٹر یوز ایجنٹس API-صرف آٹومیشن سے بہتر ہیں
- قابل اعتماد براؤزر لائف سائیکل مینجمنٹ کے لیے Browser-Use کو Playwright اور CDP کے ساتھ جوڑنا
- متحرک ویب صفحات سے لسٹنگ ڈیٹا نکالنے کے لیے Azure OpenAI وژن اور منظم Pydantic آؤٹ پٹ کا استعمال
- فیصلہ کرنا کہ کب ایجنٹ-فرسٹ، ایکٹر-فرسٹ، یا ہائبریڈ براؤزر آٹومیشن ورک فلو استعمال کرنا ہے
تعلیمی مقاصد
اس سبق کو مکمل کرنے کے بعد، آپ جانیں گے کہ کیسے:
- Browser-Use کو Azure OpenAI اور Playwright کے ساتھ ترتیب دینا
- ایک براؤزر آٹومیشن ورک فلو بنانا جو ایک حقیقی ویب سائٹ پر نیویگیٹ کرے اور متحرک UI عناصر کو ہینڈل کرے
- نظر آنے والے صفحہ کے مواد سے ٹائپ کیے گئے نتائج نکالنا اور انہیں کاروباری منطق میں تبدیل کرنا
- براؤزر کے ٹاسک کی پیش بینی کی بنیاد پر ایجنٹ اور ایکٹر پیٹرنز میں انتخاب کرنا
کوڈ کا نمونہ
یہ سبق ایک نوٹ بک ٹیوٹوریل پر مشتمل ہے:
- 15-browser-user.ipynb: CDP پر کروم سیشن شروع کرتا ہے، اسٹاک ہوم لسٹنگز کے لیے Airbnb تلاش کرتا ہے، Browser-Use وژن سے قیمتیں نکالتا ہے، اور سب سے سستی آپشن کو منظم ڈیٹا کی صورت میں واپس کرتا ہے۔
پیشگی ضروریات
- Python 3.12+
- آپ کے ماحول میں Azure OpenAI کی ڈپلائمنٹ کنفیگر کی گئی ہو
- کروم یا کرومیم مقامی طور پر نصب ہو
- Playwright کی dependencies نصب ہوں
- async Python سے بنیادی واقفیت ہو
ترتیب
نوٹ بک میں استعمال ہونے والے پیکجز انسٹال کریں:
pip install browser_use playwright python-dotenv
playwright install chromium
نوٹ بک میں استعمال ہونے والے Azure OpenAI ماحول کے متغیرات سیٹ کریں:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# اختیاری: چھوڑنے پر جدید ترین API ورژن کو بطور ڈیفالٹ لیا جاتا ہے
AZURE_OPENAI_API_VERSION=...
فن تعمیر کا جائزہ
نوٹ بک ایک ہائبریڈ براؤزر آٹومیشن ورک فلو دکھاتی ہے:
- کروم CDP کے ساتھ شروع ہوتا ہے تاکہ Playwright اور Browser-Use دونوں ایک ہی براؤزر سیشن شیئر کر سکیں۔
- Browser-Use ایجنٹ کھلے ہوئے نیویگیشن کے کام انجام دیتا ہے جیسے کہ Airbnb کھولنا، پاپ اپس کو بند کرنا، اور اسٹاک ہوم کی تلاش کرنا۔
- فعال صفحہ کو منظم Pydantic اسکیمہ کے ذریعے معائنہ کیا جاتا ہے تاکہ لسٹنگ ٹائٹلز، روزانہ کی قیمتیں، درجہ بندیاں، اور URLs نکالے جا سکیں۔
- Python منطق نکالی گئی لسٹنگز کا موازنہ کرتی ہے اور سب سے سستا نتیجہ نمایاں کرتی ہے۔
یہ طریقہ وہ لچکدار، وژن پر مبنی استدلال برقرار رکھتا ہے جس میں Browser-Use ماہر ہے، جبکہ جب ضرورت ہو تو آپ کو قطعی براؤزر کنٹرول بھی دیتا ہے۔
اہم نکات اور بہترین طریقے
ایجنٹ بمقابلہ ایکٹر کب استعمال کریں
| منظرنامہ |
ایجنٹ استعمال کریں |
ایکٹر استعمال کریں |
| متحرک لے آؤٹس |
جی ہاں، AI صفحہ کی تبدیلیوں کے مطابق ڈھل سکتا ہے |
نہیں، توڑنے والے سلیکٹرز مختلف ہو سکتے ہیں |
| معروف ساخت |
نہیں، ایجنٹ براہ راست کنٹرول سے آہستہ ہوتا ہے |
جی ہاں، تیز اور درست |
| عناصر کی تلاش |
جی ہاں، قدرتی زبان اچھی کام کرتی ہے |
نہیں، صحیح سلیکٹرز چاہیے ہوتے ہیں |
| وقت کا کنٹرول |
نہیں، کم پیش بینی کی جا سکتی ہے |
جی ہاں، انتظار اور دوبارہ کوششوں پر مکمل کنٹرول |
| پیچیدہ ورک فلو |
جی ہاں، غیر متوقع UI حالتوں کو سنبھالتا ہے |
نہیں، واضح شاخ بندی کی ضرورت ہے |
Browser-Use کے بہترین طریقے
- تلاش اور متحرک نیویگیشن کے لیے ایجنٹ کے ساتھ شروع کریں۔
- جب تعامل پیش بینی کے قابل ہو تو براہ راست صفحہ کنٹرول پر سوئچ کریں۔
- منظم آؤٹ پٹ ماڈلز استعمال کریں تاکہ نکالا گیا ڈیٹا تصدیق شدہ اور ٹائپ-سیف ہو۔
- ایسے عمل کے بعد جو نظر آنے والے UI تبدیلیوں کو متحرک کرتے ہیں، حکمت عملی کے تحت تاخیرات شامل کریں۔
- پھیرنے کے دوران اسکرین شاٹس لیں تاکہ ناکامیوں کو آسانی سے ڈیبگ کیا جا سکے۔
- یہ توقع کریں کہ ویب سائٹس تبدیل ہوں گی اور پاپ اپس اور لے آؤٹ شفٹس کے لیے بیک اپ حکمت عملی بنائیں۔
- لچک اور درستگی دونوں کے لیے ایجنٹ اور ایکٹر پیٹرنز کو ملا کر استعمال کریں۔
براؤزر ایجنٹس کے لیے حفاظتی گارڈریل
براؤزر ایجنٹس زندہ ویب سائٹس پر کام کرتے ہیں، لہٰذا انہیں اسکرپٹ کی نسبت زیادہ سخت حد بندی کی ضرورت ہوتی ہے جو صرف ایک جانا پہچانا API کال کرتا ہے۔ نوٹ بک ڈیمو سے حقیقی ورک فلو میں جانے سے پہلے، یہ طے کریں کہ ایجنٹ کیا دیکھ سکتا ہے، کلک کر سکتا ہے، اور جمع کر سکتا ہے۔
- براؤزنگ ماحول کا دائرہ کار مقرر کریں۔ ایجنٹ کو مخصوص براؤزر پروفائل یا سینڈباکس میں چلائیں، اور اسے اس ٹاسک کے ضروری ڈومینز تک محدود کریں۔
- مشاہدہ کو عمل سے جدا کریں۔ پہلے ایجنٹ کو تلاش کرنے دیں، پڑھنے دیں، اور ڈیٹا نکالنے دیں؛ فارم جمع کروانے، پیغامات بھیجنے، سفر کی بکنگ کرنے، خریداری کرنے، ریکارڈز حذف کرنے، یا اکاؤنٹ کی ترتیبات بدلنے سے پہلے واضح منظوری کا مرحلہ لازمی بنائیں۔
- خفیہ معلومات کو پرامپٹ اور ٹریس سے باہر رکھیں۔ ماڈل کے کانٹیکسٹ میں پاس ورڈز، ادائیگی کی تفصیلات، سیشن کوکیز، یا ذاتی ڈیٹا شامل نہ کریں۔ تصدیق کے لیے صارف کو ذمہ داری دیں اور حساس فیلڈز کو لاگز سے خارج کریں۔
- صفحہ کے مواد کو غیر معتبر ان پٹ سمجھیں۔ ایک ویب سائٹ میں ایسی ہدایات ہو سکتی ہیں جو ایجنٹ کے لیے ہوں، صارف کے لیے نہیں۔ ایجنٹ کو ایسے صفحہ متن کی نظربندی کرنی چاہیے جو اپنا مقصد بدلنے، ڈیٹا ظاہر کرنے، حفاظتی اقدامات غیر فعال کرنے، یا غیر متعلقہ سائٹس پر جانے کو کہے۔
- خطرناک مراحل کے گرد قطعی چیکز استعمال کریں۔ کوڈ کے ذریعے موجودہ URL، صفحہ کا عنوان، منتخب شے، قیمت، وصول کنندہ، اور عمل کا خلاصہ تصدیق کریں اس سے پہلے کہ صارف کو آخری اقدام کی منظوری کے لیے کہا جائے۔
- بجٹ اور رکنے کی شرائط مقرر کریں۔ ایکشنز، دوبارہ کوششوں، ٹیبز، اور منٹوں کی تعداد پر حد لگائیں جو ایجنٹ استعمال کر سکتا ہے۔ جب صفحہ کی حالت غیر واضح ہو تو کلک کرنا بند کر دیں۔
- مفید ثبوت ریکارڈ کریں، سب کچھ نہیں۔ ایکشن خلاصے، ٹائم اسٹیمپس، URLs، منتخب عنصر کی وضاحتیں، اور اسکرین شاٹ حوالہ جات محفوظ کریں تاکہ ناکامیوں کا جائزہ لیا جا سکے بغیر غیر ضروری حساس مواد محفوظ کرنے کے۔
Airbnb کے نمونے میں، محفوظ ڈیفالٹ یہ ہے کہ لسٹنگز تلاش کریں اور قیمتیں نکالیں۔ سائن ان کرنا، ہوسٹ سے رابطہ کرنا، یا بکنگ مکمل کرنا ایک الگ صارف کی منظوری والا عمل ہونا چاہیے۔
حقیقی دنیا کی درخواستیں
- سفر کی بکنگ اور قیمت کی نگرانی
- ای کامرس قیمت موازنہ اور دستیابی کی جانچ
- متحرک ویب سائٹس سے منظم استخراج
- وژن سے آگاہ UI کی جانچ اور تصدیق
- ویب سائٹ مانیٹرنگ اور الرٹنگ
- متعدد مراحل کے بہاؤ میں ذہین فارم بھرنا
حقیقی دنیا کی مثال: Microsoft Project Opal
اس سبق میں آپ جو ایجنٹ بنائیں گے وہ ایک چھوٹا، مقامی ورژن ہے کمپیوٹر یوز ایجنٹ (CUA) کا — ایک پروگرام جو براؤزر کو اسی طرح چلاتا ہے جیسے انسان کرتا ہے۔ مائیکروسافٹ اسی خیال کو ادارے میں لا رہا ہے Project Opal (Frontier) کے ذریعے، جو Microsoft 365 Copilot کی ایک صلاحیت ہے۔
Project Opal کے ساتھ، آپ ایک کام بیان کرتے ہیں اور ایجنٹ آپ کی جانب سے کمپیوٹر یوز کو ایک محفوظ Windows 365 Cloud PC پر استعمال کرتے ہوئے کام کرتا ہے، آپ کی تنظیم کی براؤزر پر مبنی ایپلیکیشنز، سائٹس، اور ڈیٹا کے درمیان کام کرتا ہے۔ یہ پس منظر میں غیر متحرک طریقے سے کام کرتا ہے، اور آپ کام کی رہنمائی کر سکتے ہیں یا کسی بھی وقت کنٹرول سنبھال سکتے ہیں۔ مثال کے کاموں میں شامل ہیں:
- سیکیورٹی گروپ ممبرشپ درخواستوں کا انتظام
- تعمیل جائزوں کے لیے آڈٹ ثبوت جمع کرنا اور تصدیق کرنا
- IT حادثات کی تقسیم (ٹکٹ کی حیثیت کو اپ ڈیٹ کرنا، مالکان تفویض کرنا، نقول بند کرنا)
- ایکسل ڈیٹا کو مالیاتی کلوز ڈیک میں مرتب کرنا
Opal اس بات کے لیے ایک مفید حوالہ ہے کہ ایک پروڈکشن گریڈ، قابل اعتماد کمپیوٹر یوز ایجنٹ کیسا ہوتا ہے — اور یہ پہلے کے اسباق کے تصورات کو مضبوط کرتا ہے:
| اس کورس کا تصور |
Project Opal اس پر کیسے عمل کرتا ہے |
| انسانی شمولیت (سبق 06) |
Opal لاگ ان کے لیے رکتا ہے، حساس معلومات یا مبہم ہدایات کے لیے توقف کرتا ہے، اور بغیر واضح تصدیق کے پاس ورڈ داخل نہیں کرتا یا فارم جمع نہیں کرتا۔ آپ عمل کے دوران کنٹرول سنبھال اور کنٹرول واپس کر سکتے ہیں۔ |
| قابل اعتماد اور محفوظ ایجنٹس (اسباق 06 اور 18) |
ایک علیحدہ Windows 365 Cloud PC میں چلتا ہے، براؤزر-صرف ہے (دوسرے کمپیوٹر رسائی بلاک، Intune کے ذریعے نافذ)، آپ کی شناخت استعمال کرتا ہے تاکہ صرف مجاز چیزوں تک رسائی حاصل کی جا سکے، اور ہر عمل کو آڈٹ کے لیے لاگ کرتا ہے۔ |
| منصوبہ بندی اور میٹا کوگنیشن (اسباق 07 اور 09) |
Opal پہلے کام کا منصوبہ بناتا ہے، پھر ہر قدم پر اپنی استدلال کی نگرانی کرتا ہے اور اگر مشکوک سرگرمی محسوس کرے تو رکتا ہے۔ |
| دوبارہ استعمال ہونے والی صلاحیتیں / اوزار (سبق 04) |
Skills آپ کو تکراری کاموں کے لیے ہدایات لکھنے دیتی ہے (جو .md فائل سے درآمد یا Opal کے ساتھ تیار کی گئی ہوں) اور انہیں گفتگو کے دوران دوبارہ استعمال کریں۔ |
دستیابی: Project Opal اس وقت Frontier ابتدائی رسائی پروگرام میں Microsoft 365 Copilot سبسکرپشن کے ساتھ صارفین کے لیے دستیاب ہے، اور آپ کے ایڈمنسٹریٹر کو ترتیب مکمل کرنا ضروری ہے۔ چونکہ یہ ایک تجرباتی Frontier کی خصوصیت ہے، صلاحیتیں وقت کے ساتھ تبدیل ہو سکتی ہیں۔
علم کی جانچ
اگلے سبق پر جانے سے پہلے اپنی سمجھ کا جائزہ لیں۔
1. براؤزر پر مبنی کمپیوٹر یوز ایجنٹ API-صرف ورک فلو سے کب بہتر ہوتا ہے؟
جواب
جب کام ویب UI میں نظر آنے والی چیزوں پر منحصر ہو، سائٹ مطلوبہ API پیش نہ کرے، یا صفحہ اتنی بار تبدیل ہو کہ مقررہ API یا سلیکٹر لاجک کمزور ہو جائے تو براؤزر ایجنٹ استعمال کریں۔ اگر اسی کام کے لیے مستحکم API موجود ہو تو API کو ترجیح دیں کیونکہ وہ عموماً تیز، آسان جانچنے والا، اور محفوظ ہوتا ہے۔
2. ہائبریڈ ورک فلو میں کون سے حصے ایجنٹ کو سنبھالنے چاہیے اور کون سے براہ راست Playwright کوڈ کو؟
جواب
ایجنٹ کو کھلے نیویگیشن اور متحرک UI حالات سنبھالنے دیں، جیسے صحیح صفحہ تلاش کرنا یا غیر متوقع پاپ اپس کو رد کرنا۔ جب صفحہ کی ساخت معلوم ہو اور عمل میں درستگی، ریٹریز، انتظار، یا قطعی توثیق کی ضرورت ہو تو براہ راست Playwright کنٹرول پر سوئچ کریں۔
3. Airbnb کے نمونے میں ایک لسٹنگ ملتی ہے جسے صارف بک کرنا چاہتا ہے۔ ورک فلو سائن ان کرنے، ہوسٹ سے رابطہ کرنے، یا بکنگ مکمل کرنے سے پہلے کیا ہونا چاہیے؟
جواب
ورک فلو کو رکاوٹ دینی چاہیے اور واضح صارف کی منظوری لینی چاہیے۔ پوچھنے سے پہلے منتخب شدہ لسٹنگ، موجودہ URL، قیمت، تاریخیں، اور مطلوبہ عمل کا صاف خلاصہ دکھانا چاہیے۔ تلاش اور قیمتیں نکالنا خود مختار ہو سکتا ہے؛ اکاؤنٹ کی رسائی، پیغامات، خریداری، اور بکنگ صارف کی منظوری کے تابع ہونے چاہیے۔
4. ایک ویب صفحہ ایجنٹ کو کہتا ہے کہ وہ اپنی اصل ہدایات کو نظر انداز کرے، کسی اور سائٹ پر جائے، اور محفوظ کردہ اسناد ظاہر کرے۔ ایجنٹ کو اس متن کا کیسے سلوک کرنا چاہیے؟
جواب
اسے غیر معتبر صفحہ کے مواد کے طور پر سمجھیں، نہ کہ ڈویلپر یا صارف کی ہدایت کے طور پر۔ ایجنٹ کو اجازت شدہ ڈومین اور ٹاسک کے دائرہ میں رہنا چاہیے، راز ظاہر کرنے سے انکار کرنا چاہیے، اور ایسے صفحہ متن کی پیروی نہیں کرنی چاہیے جو مقصد بدلنے، حفاظتی اقدامات کو غیر فعال کرنے، یا غیر متعلقہ سائٹس پر جانے کا کہے۔
5. جب براؤزر ایجنٹ چل رہا ہو تو کون سا ثبوت محفوظ کرنا کارآمد ہوتا ہے اور کیا بچنا چاہیے؟
جواب
عمل کے خلاصے، ٹائم اسٹیمپس، URLs، منتخب عنصر کی وضاحتیں، توثیق کے نتائج، اور اسکرین شاٹ حوالہ جات رکھیں تاکہ کارروائی کا جائزہ لیا جا سکے۔ پاس ورڈز، ادائیگی کی تفصیلات، سیشن کوکیز، خام ذاتی ڈیٹا، یا مکمل صفحہ کا مواد رکھنے سے گریز کریں جب تک کہ خاص رکھنے اور پرائیویسی کی وجہ نہ ہو۔
اضافی وسائل
پچھلا سبق
Microsoft Agent Framework کی دریافت
اگلا سبق
قابل توسیع ایجنٹس کی تعیناتی
ڈس کلیمر:
یہ دستاویز AI ترجمہ سروس Co-op Translator کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔