Агенти за коришћење рачунара могу да комуницирају са вебсајтовима на исти начин као и особа: отварањем прегледача, прегледањем странице и предузимањем најбоље следеће радње на основу онога што виде. У овој лекцији направићете агента за аутоматизацију прегледача који претражује Airbnb, извлачи структуиране податке о огласима и идентификује најјефтинији смештај у Стокхолму.
Лекција комбинује Browser-Use за навигацију вођену вештачком интелигенцијом, Playwright и Chrome DevTools Protocol (CDP) за контролу прегледача, Azure OpenAI за разматрање уз визуелне податке и Pydantic за структуирано извлачење.
Ова лекција обухваћа:
Након завршетка ове лекције, знаћете како да:
Ова лекција укључује један уџбенички бележник:
Инсталирајте пакете коришћене у бележнику:
pip install browser_use playwright python-dotenv
playwright install chromium
Поставите Azure OpenAI променљиве окружења коришћене у бележнику:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Опционо: подразумева најновију верзију API-ја када се прескочи
AZURE_OPENAI_API_VERSION=...
Бележник демонстрира хибридни радни процес аутоматизације прегледача:
Овај приступ задржава флексибилно, на визију засновано разматрање у чему је Browser-Use добар, а истовремено вам пружа детерминистичку контролу над прегледачем кад вам је потребна.
| Сценарио | Користити Агента | Користити Глумца |
|---|---|---|
| Динамични распореди | Да, ВИ адаптира на промене странице | Не, крхки селектори могу да се сломе |
| Позната структура | Не, агент је спорији од директне контроле | Да, брз и прецизан |
| Пронаћи елементе | Да, природни језик добро функционише | Не, захтевају се тачни селектори |
| Контрола времена | Не, мање предвидљиво | Да, потпуна контрола над чекањима и поновним покушајима |
| Комплексни радни токови | Да, рукује неочекиваним UI стањима | Не, захтева експлицитне разгранате функције |
Агенти прегледача раде на живим вебсајтовима, па им је потребно строжије ограничење него скрипти која само позива познати API. Пре преласка са демо бележника на прави радни ток, дефинишите контроле око тога шта агент може да види, клика и подноси.
У примеру са Airbnb, безбедна подразумевана радња је претраживање огласа и извлачење цена. Пријава, контактирање домаћина или завршавање резервације треба да буде посебна радња коју одобри корисник.
Агент који правите у овој лекцији је мала, локална верзија агента за коришћење рачунара (CUA) — програма који управља прегледачем као што би то чинила особа. Microsoft уноси ову идеју у предузећа са Project Opal (Frontier), могућношћу у оквиру Microsoft 365 Copilot.
Са Project Opal-ом, описујете задатак, а агент ради у ваше име користећи коришћење рачунара на безбедном Windows 365 Cloud PC, делујући кроз апликације, сајтове и податке засноване на прегледачу ваше организације. Ради асинхроно у позадини, а ви можете усмеравати рад или преузети контролу у било ком тренутку. Примери послова укључују:
Opal је корисна референца шта изгледа као производно квалитетан, поуздан агент за коришћење рачунара — и појачава концепте из претходних лекција:
| Концепт у овом курсу | Како Project Opal то примењује |
|---|---|
| Човек у петљи (Лекција 06) | Opal пуза за пријавне податке, осетљиве податке или неодређене инструкције и никада не уноси лозинке или подноси формуларе без експлицитног потврђивања. Можете Преузети Контролу и Вратити Контролу током задатка. |
| Поуздани и безбедни агенти (Лекције 06 и 18) | Ради у изолованом Windows 365 Cloud PC, подразумевано је само прегледач (други приступ рачунару блокиран, омогућен преко Intune), користи ваш идентитет тако да приступа само овлашћеном, и бележи сваку акцију ради ревизије. |
| Планирање и метакогниција (Лекције 07 и 09) | Opal прво генерише план за посао, затим надгледа сопствено размишљање у сваком кораку и пуза ако уочи сумњиву активност. |
| Поново употребљиве могућности / алати (Лекција 04) | Вештине вам омогућавају да напишете упутства за понављајуће задатке (импортоване из .md фајла или написане са Opal-ом) и поново их користите у разговорима. |
Доступност: Project Opal је тренутно доступан корисницима у Frontier програму раног приступа уз Microsoft 365 Copilot претплату, и ваш администратор мора завршити подешавање. Пошто је експериментална Frontier функција, могућности се могу мењати током времена.
Истраживање Microsoft Agent Framework
Деплојовање скалабилних агената
Изјава о одрицању одговорности: Овај документ је преведен коришћењем услуге за аутоматски превод Co-op Translator. Иако тежимо тачности, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални људски превод. Нисмо одговорни за било каква неспоразума или погрешна тумачења која произилазе из коришћења овог превода.