بناء وكلاء استخدام الكمبيوتر (CUA)
يمكن لوكلاء استخدام الكمبيوتر التفاعل مع المواقع الإلكترونية بنفس الطريقة التي يتصرف بها الإنسان: بفتح متصفح، فحص الصفحة، واتخاذ الإجراء الأفضل التالي بناءً على ما يرونه. في هذا الدرس، ستبني وكيل أتمتة متصفح يبحث في Airbnb، يستخرج بيانات قوائم هيكلية، ويحدد أرخص إقامة في ستوكهولم.
يجمع الدرس بين Browser-Use للملاحة المدفوعة بالذكاء الاصطناعي، وPlaywright وChrome DevTools Protocol (CDP) للتحكم في المتصفح، وAzure OpenAI للتفكير المعزز بالرؤية، وPydantic للاستخراج المهيكل.
مقدمة
سيغطي هذا الدرس:
- فهم متى يكون استخدام وكلاء الكمبيوتر أفضل من الأتمتة التي تعتمد فقط على API
- دمج Browser-Use مع Playwright وCDP لإدارة دورة حياة المتصفح بشكل موثوق
- استخدام رؤية Azure OpenAI وإخراج Pydantic الهيكلي لاستخراج بيانات القوائم من صفحات الويب الديناميكية
- اتخاذ قرار متى تستخدم تدفق عمل أتمتة المتصفح قائمًا على الوكيل أولاً، الممثل أولاً، أو مزيج منهما
أهداف التعلم
بعد إتمام هذا الدرس، ستعرف كيف:
- تهيئة Browser-Use مع Azure OpenAI وPlaywright
- بناء تدفق عمل لأتمتة المتصفح يتنقل في موقع ويب حي ويتعامل مع عناصر واجهة مستخدم ديناميكية
- استخراج نتائج مكتوبة من محتوى الصفحة المرئي وتحويلها إلى منطق أعمال لاحق
- الاختيار بين نمط الوكيل والممثل استنادًا إلى مدى توقع مهمة المتصفح
عينة الكود
يتضمن هذا الدرس دفتر ملاحظات تعليمي واحد:
- 15-browser-user.ipynb: يبدأ جلسة Chrome عبر CDP، يبحث في Airbnb عن قوائم ستوكهولم، يستخرج الأسعار باستخدام رؤية Browser-Use، ويعيد الخيار الأرخص كبيانات مهيكلة.
المتطلبات الأساسية
- Python 3.12+
- نشر Azure OpenAI مهيأ في بيئتك
- تثبيت Chrome أو Chromium محليًا
- تثبيت تبعيات Playwright
- معرفة أساسية بـ Python غير المتزامن
الإعداد
ثبّت الحزم المستخدمة في دفتر الملاحظات:
pip install browser_use playwright python-dotenv
playwright install chromium
عيّن متغيرات بيئة Azure OpenAI المستخدمة بواسطة دفتر الملاحظات:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# اختياري: القيمة الافتراضية هي أحدث إصدار من الـ API عند الإغفال عنه
AZURE_OPENAI_API_VERSION=...
نظرة عامة على البنية
يعرض دفتر الملاحظات تدفق عمل أتمتة متصفح مختلط:
- يبدأ Chrome مع تمكين CDP بحيث يمكن لكل من Playwright وBrowser-Use مشاركة نفس جلسة المتصفح.
- يتولى وكيل Browser-Use المهام المفتوحة مثل فتح Airbnb، رفض النوافذ المنبثقة، والبحث عن ستوكهولم.
- تُفحص الصفحة النشطة باستخدام مخطط Pydantic مهيكل لاستخراج عناوين القوائم، الأسعار الليلية، التقييمات، وروابط URL.
- تقارن منطق بايثون القوائم المستخرجة وتبرز الأرخص.
هذا النهج يحافظ على التفكير المرن المعتمد على الرؤية الذي يتميز به Browser-Use مع منحك تحكمًا حتميًا في المتصفح عند الحاجة.
النقاط الرئيسية وأفضل الممارسات
متى تستخدم الوكيل مقابل الممثل
| السيناريو |
استخدام الوكيل |
استخدام الممثل |
| تخطيطات ديناميكية |
نعم، يمكن للذكاء الاصطناعي التكيف مع تغييرات الصفحة |
لا، المحددات الهشة قد تنكسر |
| هيكل معروف |
لا، الوكيل أبطأ من التحكم المباشر |
نعم، سريع ودقيق |
| العثور على العناصر |
نعم، اللغة الطبيعية تعمل جيدًا |
لا، المحددات الدقيقة مطلوبة |
| تحكم بتوقيت |
لا، أقل توقعًا |
نعم، تحكم كامل في الانتظار والمحاولات |
| تدفقات عمل معقدة |
نعم، يتعامل مع حالات واجهة مستخدم غير متوقعة |
لا، يتطلب فرعًا محددًا صريحًا |
أفضل ممارسات Browser-Use
- ابدأ بوكيل للاستكشاف والملاحة الديناميكية.
- انتقل إلى التحكم المباشر في الصفحة عندما يصبح التفاعل متوقعًا.
- استخدم نماذج إخراج مهيكلة لضمان صحة البيانات المستخرجة وسلامة الأنواع.
- أضف تأخيرات بشكل استراتيجي بعد الإجراءات التي تؤدي لتغييرات مرئية في واجهة المستخدم.
- التقط لقطات شاشة أثناء التكرار لتسهيل استكشاف الأخطاء وإصلاحها.
- توقع تغييرات على المواقع وصمم استراتيجيات بديلة للنوافذ المنبثقة وتحولات التخطيط.
- ادمج نمطي الوكيل والممثل للحصول على كل من المرونة والدقة.
ضوابط السلامة لوكلاء المتصفح
يعمل وكلاء المتصفح على مواقع ويب حية، لذا يحتاجون إلى حدود أكثر إحكامًا مقارنة بنص برمجي يستدعي API معروف فقط. قبل الانتقال من عرض دفتر ملاحظات إلى تدفق عمل حقيقي، حدد الضوابط حول ما يمكن للوكيل رؤيته، النقر عليه، وإرساله.
- حدد نطاق بيئة التصفح. شغّل الوكيل في ملف تعريف متصفح مخصص أو صندوق رمل، وقيده بالنطاقات المطلوبة للمهمة فقط.
- فصل المراقبة عن الإجراء. دع الوكيل يبحث، يقرأ، ويستخرج البيانات أولاً؛ واطلب خطوة موافقة صريحة قبل إرسال النماذج، إرسال الرسائل، حجز السفر، تنفيذ المشتريات، حذف السجلات، أو تغيير إعدادات الحساب.
- ابق الأسرار خارج الحث والأساليب. لا تضع كلمات المرور، تفاصيل الدفع، ملفات تعريف الارتباط للجلسة، أو البيانات الشخصية الخام في سياق النموذج. دع المستخدم يتولى المصادقة ويحجب الحقول الحساسة من السجلات.
- تعامل مع محتوى الصفحة كمدخل لا يثق به. قد تحتوي الصفحة على تعليمات موجهة للوكيل وليست للمستخدم. يجب أن يتجاهل الوكيل نص الصفحة الذي يطالبه بتغيير هدفه، كشف بيانات، تعطيل الحمايات، أو زيارة مواقع غير ذات صلة.
- استخدم تحققًا حتميًا حول الخطوات الخطرة. تحقق من عنوان URL الحالي، عنوان الصفحة، العنصر المحدد، السعر، المستلم، وملخص الإجراء باستخدام الكود قبل طلب موافقة المستخدم على الخطوة النهائية.
- حدد الميزانيات وشروط التوقف. حدود عدد الإجراءات، المحاولات، علامات التبويب، والدقائق المسموح بها للوكيل. توقف عندما يكون حالة الصفحة غير واضحة بدلاً من الاستمرار بالنقر.
- سجل الأدلة المفيدة، لا كل شيء. احتفظ بملخصات الإجراءات، الطوابع الزمنية، عناوين URL، أوصاف العناصر المحددة، ومرجع لقطات الشاشة حتى يمكن مراجعة الفشل دون تخزين محتويات صفحات غير ضرورية وحساسة.
في مثال Airbnb، الخيار الآمن الافتراضي هو البحث في القوائم واستخراج الأسعار. يجب أن يكون تسجيل الدخول، الاتصال بالمضيف، أو إكمال الحجز إجراءً منفصلًا يتم الموافقة عليه من المستخدم.
تطبيقات العالم الحقيقي
- الحجز ومراقبة الأسعار في السفر
- مقارنة الأسعار والتوافر في التجارة الإلكترونية
- الاستخراج الهيكلي من المواقع الديناميكية
- اختبار واجهة المستخدم مع الوعي البصري والتحقق منها
- مراقبة المواقع الإلكترونية والتنبيه
- ملء النماذج الذكي عبر تدفقات متعددة الخطوات
مثال واقعي: مشروع Microsoft Opal
الوكيل الذي تبنيه في هذا الدرس هو نسخة محلية صغيرة من وكيل استخدام الكمبيوتر (CUA) — برنامج يقود المتصفح كما يفعل الإنسان. تقدم مايكروسوفت نفس الفكرة للمؤسسات عبر مشروع Opal (Frontier)، ميزة في Microsoft 365 Copilot.
مع مشروع Opal، تصف مهمة ويعمل الوكيل نيابة عنك باستخدام استخدام الكمبيوتر على Windows 365 Cloud PC آمن، ويعمل عبر تطبيقات الويب، المواقع، والبيانات في مؤسستك. يعمل بشكل غير متزامن في الخلفية، ويمكنك توجيه العمل أو السيطرة عليه في أي وقت. تشمل الوظائف:
- إدارة طلبات عضوية مجموعات الأمان
- جمع والتحقق من أدلة التدقيق لمراجعات الامتثال
- تصنيف حوادث تكنولوجيا المعلومات (تحديث حالة التذاكر، تعيين مالكين، إغلاق النسخ المكررة)
- تجميع بيانات Excel في عرض إغلاق مالي
يعتبر Opal مرجعًا مفيدًا لما يبدو عليه وكيل استخدام كمبيوتر موثوق الإنتاج — ويعزز مفاهيم من الدروس السابقة:
| المفهوم في هذا المقرر |
كيف يطبق مشروع Opal ذلك |
| بشري في الحلقة (الدرس 06) |
يتوقف Opal لبيانات تسجيل الدخول والمعلومات الحساسة أو التعليمات الغامضة، ولا يدخل كلمات المرور أو يرسل النماذج دون تأكيد صريح. يمكنك تولي السيطرة وإعادة السيطرة أثناء المهمة. |
| وكلاء موثوقون وآمنون (الدروس 06 و18) |
يعمل في Windows 365 Cloud PC معزول، ويقتصر على المتصفح فقط افتراضيًا (يتم حظر الوصول إلى الكمبيوتر عبر Intune)، يستخدم هويتك لذا يصل فقط إلى ما سمح لك به، ويسجل كل إجراء لأغراض التدقيق. |
| التخطيط والإدراك الذاتي (الدروس 07 و09) |
يولد Opal خطة للمهمة أولاً، ثم يشرف على تفكيره في كل خطوة ويتوقف إذا اكتشف نشاطًا مريبًا. |
| القدرات / الأدوات القابلة لإعادة الاستخدام (الدرس 04) |
تتيح لك المهارات كتابة تعليمات للمهام المتكررة (مستوردة من ملف .md أو مكتوبة مع Opal) وإعادة استخدامها عبر المحادثات. |
التوفر: مشروع Opal متاح حاليًا للمستخدمين في برنامج الوصول المبكر Frontier مع اشتراك Microsoft 365 Copilot، ويجب على المسؤول إعداد الإعدادات. نظرًا لأنها ميزة تجريبية في Frontier، قد تتغير القدرات مع الوقت.
اختبار المعرفة
اختبر فهمك قبل الانتقال إلى الدرس التالي.
1. متى يكون وكيل استخدام الكمبيوتر القائم على المتصفح أفضل من تدفق عمل يعتمد فقط على API؟
الإجابة
استخدم وكيل المتصفح عندما تعتمد المهمة على ما يظهر في واجهة المستخدم على الويب، أو عندما لا يوفر الموقع API المطلوب، أو عندما تتغير الصفحة كثيرًا بحيث يصبح من الصعب الاعتماد على API ثابت أو منطق محددات. إذا كان هناك API مستقر لنفس المهمة، ففضل استخدام API لأنه عادة أسرع، أسهل في الاختبار، وأسهل في الأمان.
2. في تدفق عمل هجين، أي الأجزاء يجب أن يتولاها الوكيل وأي الأجزاء يجب أن تتحكم بها أكواد Playwright المباشرة؟
الإجابة
دَع الوكيل يتولى الملاحة المفتوحة وحالات واجهة المستخدم الديناميكية، مثل العثور على الصفحة الصحيحة أو رفض النوافذ المنبثقة غير المتوقعة. انتقل إلى التحكم المباشر باستخدام Playwright عندما يكون هيكل الصفحة معروفًا ويحتاج الإجراء إلى دقة، محاولات، انتظار، أو تحقق حتمي.
3. في مثال Airbnb، يجد الوكيل قائمة قد يرغب المستخدم في حجزها. ماذا يجب أن يحدث قبل أن يقوم تدفق العمل بتسجيل الدخول، الاتصال بمضيف، أو إكمال الحجز؟
الإجابة
يجب أن يتوقف تدفق العمل ويطلب موافقة صريحة من المستخدم. وقبل الطلب، يجب أن يعرض ملخصًا واضحًا للقائمة المحددة، URL الحالي، السعر، التواريخ، والإجراء المقصود. يمكن أن يكون البحث واستخراج الأسعار مستقلاً؛ أما الوصول إلى الحساب، الرسائل، المشتريات، والحجوزات فيجب أن توافق عليها المستخدم.
4. تخبر صفحة ويب الوكيل بتجاهل تعليماته الأصلية، زيارة موقع آخر، وكشف بيانات الاعتماد المحفوظة. كيف يجب أن يعامل الوكيل ذلك النص؟
الإجابة
اعتبره محتوى صفحة غير موثوق به، وليس تعليمات من المطور أو المستخدم. يجب على الوكيل البقاء ضمن النطاق ومجال المهمة المسموح به، ورفض كشف الأسرار، وتجنب اتباع نص الصفحة الذي يغير الهدف، يعطل الحمايات، أو يرسله إلى مواقع غير ذات صلة.
5. ما الأدلة المفيدة التي يجب الاحتفاظ بها عند تشغيل وكيل المتصفح، وما الذي يجب تجنبه؟
الإجابة
احتفظ بملخصات الإجراءات، الطوابع الزمنية، عناوين URL، أوصاف العناصر المحددة، نتائج التحقق، ومراجع لقطات الشاشة بحيث يمكن مراجعة التشغيل. تجنب تخزين كلمات المرور، تفاصيل الدفع، ملفات تعريف الارتباط للجلسة، البيانات الشخصية الخام، أو محتويات الصفحات الكاملة إلا إذا كان هناك سبب محدد للاحتفاظ بها وحماية الخصوصية.
موارد إضافية
الدرس السابق
استكشاف إطار عمل وكلاء Microsoft
الدرس التالي
نشر وكلاء قابلين للتوسع
تنويه:
تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي Co-op Translator. بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة.