عاملهای استفاده از کامپیوتر میتوانند همانند یک انسان با وبسایتها تعامل داشته باشند: با باز کردن یک مرورگر، بررسی صفحه و انجام بهترین اقدام بعدی بر اساس آنچه مشاهده میکنند. در این درس، شما یک عامل اتوماسیون مرورگر میسازید که در Airbnb جستجو میکند، دادههای ساختاریافتهٔ آگهیها را استخراج میکند و ارزانترین اقامت در استکهلم را شناسایی میکند.
این درس ترکیبی از Browser-Use برای ناوبری با هوش مصنوعی، Playwright و پروتکل Chrome DevTools (CDP) برای کنترل مرورگر، Azure OpenAI برای استدلال مبتنی بر بینایی، و Pydantic برای استخراج ساختاریافته است.
این درس شامل موارد زیر است:
پس از اتمام این درس، شما خواهید آموخت که چگونه:
این درس شامل یک دفترچه یادداشت آموزشی است:
بستههای استفاده شده در دفترچه یادداشت را نصب کنید:
pip install browser_use playwright python-dotenv
playwright install chromium
متغیرهای محیطی Azure OpenAI که توسط دفترچه استفاده میشوند را تنظیم کنید:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# اختیاری: در صورت حذف، به طور پیشفرض به آخرین نسخه API تنظیم میشود
AZURE_OPENAI_API_VERSION=...
این دفترچه یک جریان کاری اتوماسیون مرورگر ترکیبی را نشان میدهد:
این رویکرد استدلال مبتنی بر بینایی منعطفای را که Browser-Use در آن مهارت دارد حفظ میکند و در عین حال کنترل قطعی مرورگر را وقتی نیاز دارید به شما میدهد.
| سناریو | استفاده از عامل | استفاده از بازیگر |
|---|---|---|
| چیدمانهای پویا | بله، هوش مصنوعی میتواند با تغییرات صفحه سازگار شود | خیر، انتخابکنندههای شکننده ممکن است خراب شوند |
| ساختار شناخته شده | خیر، عامل کندتر از کنترل مستقیم است | بله، سریع و دقیق |
| پیدا کردن عناصر | بله، زبان طبیعی خوب عمل میکند | خیر، انتخابکنندههای دقیق لازم است |
| کنترل زمانبندی | خیر، کمتر قابل پیشبینی است | بله، کنترل کامل روی انتظارها و تلاشهای مجدد |
| جریانهای کاری پیچیده | بله، وضعیتهای غیرمنتظره UI را مدیریت میکند | خیر، به انشعاب واضح نیاز دارد |
عوامل مرورگر روی وبسایتهای زنده عمل میکنند، بنابراین نیاز به محدودیتهای محکمتری نسبت به اسکریپتی دارند که صرفاً یک API شناخته شده را فراخوانی میکند. قبل از انتقال از دمو دفترچه یادداشت به یک جریان کاری واقعی، کنترلهای اطراف اینکه عامل چه چیزهایی را میبیند، کلیک میکند و ارسال میکند را تعریف کنید.
در نمونه Airbnb، حالت ایمن پیشفرض جستجوی آگهیها و استخراج قیمتها است. ورود به حساب، تماس با میزبان یا تکمیل رزرو باید اقدام جداگانه و با تایید کاربر باشد.
عاملی که در این درس میسازید یک نسخه کوچک و محلی از یک عامل استفاده از کامپیوتر (CUA) است — برنامهای که مرورگر را همانند انسان هدایت میکند. مایکروسافت همین ایده را به سازمانها با پروژه Opal (Frontier) در Microsoft 365 Copilot میآورد.
با پروژه Opal، شما یک کار را توصیف میکنید و عامل به نمایندگی از شما با استفاده از استفاده از کامپیوتر بر روی یک کامپیوتر ابری امن ویندوز ۳۶۵، در برنامهها، سایتها و دادههای مبتنی بر مرورگر سازمان شما کار میکند. به صورت نامتزامن در پسزمینه عمل میکند و شما میتوانید کار را هدایت کنید یا در هر زمان کنترل را در دست بگیرید. نمونه وظایف شامل:
Opal مرجع مفیدی است برای اینکه یک عامل استفاده از کامپیوتر قابل اعتماد و تولیدی چگونه است — و مفاهیم درسهای قبلی را تقویت میکند:
| مفهوم در این دوره | نحوه اعمال پروژه Opal |
|---|---|
| انسان در حلقه (درس ۰۶) | Opal برای اطلاعات ورود، دادههای حساس یا دستورالعملهای مبهم توقف میکند و هرگز بدون تایید صریح، رمز عبور وارد نمیکند یا فرمها را ارسال نمیکند. شما میتوانید در حین انجام کار کنترل را بگیرید یا بازگردانید. |
| عوامل قابل اعتماد و امن (درسهای ۰۶ و ۱۸) | در یک کامپیوتر ابری ویندوز ۳۶۵ ایزوله اجرا میشود، به صورت پیشفرض فقط مرورگر است (دسترسی دیگر کامپیوترها مسدود شده، توسط Intune اجرا میشود)، از هویت شما استفاده میکند تا فقط به موارد مجاز دسترسی داشته باشد و هر اقدام را برای حسابرسی ثبت میکند. |
| برنامهریزی و فراموشی (متاکاگنیشن) (درسهای ۰۷ و ۰۹) | Opal ابتدا یک برنامه کاری تولید میکند، سپس استدلال خودش را در هر مرحله نظارت میکند و در صورت تشخیص فعالیت مشکوک توقف میکند. |
| توانمندیها / ابزارهای قابل استفاده مجدد (درس ۰۴) | مهارتها به شما اجازه میدهد دستورالعملهایی برای کارهای تکراری (وارد شده از فایل .md یا نوشته شده با Opal) بنویسید و در گفتگوها دوباره استفاده کنید. |
دسترسی: پروژه Opال در حال حاضر در برنامه دسترسی زودهنگام Frontier با اشتراک Microsoft 365 Copilot در دسترس کاربران است و مدیر شما باید راهاندازی را کامل کند. چون یک ویژگی آزمایشی Frontier است، توانمندیها ممکن است با گذشت زمان تغییر کنند.
سلب مسئولیت: این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما در تلاش برای دقت هستیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادرستیهایی باشند. سند اصلی به زبان مادری خود باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفهای انسانی توصیه میشود. ما در قبال هرگونه سوء تفاهم یا برداشت نادرست ناشی از استفاده از این ترجمه مسئولیتی نداریم.