סוכני שימוש מחשב יכולים לתקשר עם אתרי אינטרנט באותה צורה שאדם היה עושה זאת: על ידי פתיחת דפדפן, בדיקת הדף, ולקיחת הפעולה הטובה הבאה ממה שהם רואים. בשיעור זה, תבנה סוכן אוטומציה לדפדפן המחפש ב-Airbnb, מחלץ נתוני רשימות מובנים, ומזהה את השהייה הזולה ביותר בסטוקהולם.
השיעור משלב Browser-Use לניווט מונחה AI, Playwright ופרוטוקול Chrome DevTools (CDP) לשליטה בדפדפן, Azure OpenAI להסקת דעות מבוססת ראייה, ו-Pydantic לחליצה מובנית.
בשיעור זה יכוסו:
לאחר השלמת שיעור זה, תדע כיצד:
בשיעור זה יש מדריך פנקס אחד:
התקן את החבילות שמשמשות בפנקס:
pip install browser_use playwright python-dotenv
playwright install chromium
הגדר את משתני הסביבה של Azure OpenAI שמשמשים בפנקס:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# אפשרי: ברירת מחדל לגרסת ה-API העדכנית ביותר כאשר לא מצוין
AZURE_OPENAI_API_VERSION=...
הפנקס מדגים תהליך אוטומציה היברידי של דפדפן:
גישה זו שומרת על הסקת דעות גמישה מבוססת ראייה ש-Browser-Use מתמחה בה, ומעניקה לך שליטה דטרמיניסטית בדפדפן כאשר אתה זקוק לה.
| תרחיש | להשתמש בסוכן | להשתמש בשחקן |
|---|---|---|
| פריסות דינמיות | כן, AI יכול להתאים לשינויים בדף | לא, בוחרים שבירים עלולים להישבר |
| מבנה ידוע | לא, סוכן איטי יותר מבקרה ישירה | כן, מהיר ומדויק |
| מציאת אלמנטים | כן, שפה טבעית עובדת טוב | לא, נדרשים בוחרים מדויקים |
| שליטה בזמנים | לא, פחות צפוי | כן, שליטה מלאה על המתנות וניסיונות חוזרים |
| תהליכים מורכבים | כן, מטפל במצבים בלתי צפויים בממשק המשתמש | לא, דורש הסתעפויות מפורשות |
סוכני דפדפן פועלים באינטרנט חי, ולכן הם זקוקים לגבולות הדוקים יותר מאשר סקריפט שמפעיל רק API ידוע. לפני המעבר מהדגמת פנקס לתהליך עובד אמיתי, הגדר את הבקרות סביב מה שהסוכן יכול לראות, ללחוץ ולהגיש.
בדוגמת Airbnb, ברירת המחדל הבטוחה היא לחפש רשימות ולחלץ מחירים. כניסה, יצירת קשר עם מארח, או השלמת הזמנה צריכים להיות פעולה נפרדת המאושרת על ידי המשתמש.
הסוכן שתבנה בשיעור זה הוא גרסה קטנה ומקומית של סוכן שימוש מחשב (CUA) — תוכנה שמפעילה דפדפן כמו אדם. מיקרוסופט מביאה את הרעיון הזה לארגונים עם Project Opal (Frontier), יכולת במסגרת Microsoft 365 Copilot.
עם Project Opal, אתה מתאר משימה והסוכן פועל מטעמך באמצעות שימוש מחשב ב-Windows 365 Cloud PC מאובטח, הפועל על פני יישומי, אתרי אינטרנט ונתונים מבוססי דפדפן בארגון שלך. הוא פועל באופן אסינכרוני ברקע, ואתה יכול לכוון את העבודה או לקחת שליטה בכל רגע. דוגמאות לתפקידים כוללות:
Opal הוא רפרנס שימושי לסוכן שימוש מחשב אמין ורמת ייצור — ומחזק מושגים משיעורים קודמים:
| מושג בקורס זה | איך Project Opal מיישם אותו |
|---|---|
| אדם בלולאה (שיעור 06) | Opal עוצר לקבלת אישורי כניסה, נתונים רגישים או הוראות עמומות, ואף פעם לא מזין סיסמאות או מגיש טפסים בלי אישור מפורש. אפשר לקחת שליטה ולהחזיר שליטה באמצע המשימה. |
| סוכנים אמינים ומאובטחים (שיעורים 06 ו-18) | פועל ב-Windows 365 Cloud PC מבודד, משרת דפדפן בלבד כבררת מחדל (גישה אחרת למחשב חסומה, מאוכפת דרך Intune), משתמש בזהות שלך ולכן ניגש רק למה שאתה מורשה לו, ומתעד כל פעולה לצורך ביקורת. |
| תכנון ומטא-קוגניציה (שיעורים 07 ו-09) | Opal מייצר תוכנית למשימה תחילה, ואז מפקח על ההסקה העצמית שלו בכל שלב ועוצר אם מזהה פעילות חשודה. |
| יכולות / כלים לשימוש חוזר (שיעור 04) | מיומנויות מאפשרות לך לכתוב הוראות למשימות חוזרות (מיובאות מקובץ .md או נכתבות עם Opal) ולשחזר אותן בשיחות. |
זמינות: Project Opal זמין כעת למשתמשים בתוכנית גישה מוקדמת Frontier עם מנוי Microsoft 365 Copilot, ומנהל המערכת שלך צריך להשלים את ההגדרה. מכיוון שמדובר בתכונת Frontier ניסיונית, היכולות עשויות להשתנות עם הזמן.
כתב ויתור: מסמך זה תורגם באמצעות שירות תרגום אוטומטי Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. יש להחשיב את המסמך המקורי בשפתו הטבעית כמקור הסמכות. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אדם. אנו לא אחראים לכל אי-הבנה או פירוש שגוי הנובע מהשימוש בתרגום זה.