Агентите за използване на компютър могат да взаимодействат с уебсайтове по същия начин, както един човек: като отворят браузър, инспектират страницата и предприемат следващото най-добро действие въз основа на това, което виждат. В този урок ще изградите агент за автоматизация на браузър, който търси в Airbnb, извлича структурирани данни за обяви и идентифицира най-евтиното настаняване в Стокхолм.
Урокът комбинира Browser-Use за AI-управлявана навигация, Playwright и Chrome DevTools Protocol (CDP) за управление на браузъра, Azure OpenAI за разсъждения с активирано зрение и Pydantic за структурирано извличане.
Този урок ще обхване:
След завършване на този урок ще знаете как да:
Този урок включва един учебен ноутбук:
Инсталирайте пакетите, използвани в ноутбука:
pip install browser_use playwright python-dotenv
playwright install chromium
Задайте средните променливи на Azure OpenAI, използвани в ноутбука:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# По избор: по подразбиране използва най-новата версия на API, когато е изпуснато
AZURE_OPENAI_API_VERSION=...
Ноутбукът демонстрира хибриден работен процес за автоматизация на браузър:
Този подход запазва гъвкавото, основано на визия разсъждение, с което Browser-Use е добър, като същевременно ви дава детерминирана браузърна контрола, когато ви трябва.
| Сценарий | Използвайте агент | Използвайте актьор |
|---|---|---|
| Динамични оформления | Да, AI може да се адаптира към промени в страницата | Не, крехки селектори могат да се счупят |
| Позната структура | Не, агентът е по-бавен от директния контрол | Да, бърз и прецизен |
| Намиране на елементи | Да, естественият език работи добре | Не, изискват се точни селектори |
| Контрол на времето | Не, по-малко предсказуем | Да, пълен контрол върху изчаквания и опити |
| Сложни работни потоци | Да, се справя с неочаквани UI състояния | Не, изисква явни разклонения |
Браузърните агенти работят на живи уебсайтове, затова имат нужда от по-стриктни ограничения в сравнение със скрипт, който просто извиква известен API. Преди да преминете от демонстрация в ноутбук към реален работен процес, дефинирайте контролите за това какво агентът може да вижда, кликва и изпраща.
В примера с Airbnb, безопасният по подразбиране подход е да се търсят обяви и да се извличат цени. Входът, контакт с домакин или завършване на резервация трябва да бъде отделно действие, одобрено от потребителя.
Агентът, който изграждате в този урок, е малка, локална версия на агент за използване на компютър (CUA) — програма, която задвижва браузър по същия начин, както човек. Microsoft внедрява тази идея в бизнеса с Project Opal (Frontier), възможност в Microsoft 365 Copilot.
С Project Opal описвате задача и агентът работи от ваше име, използвайки използване на компютър на защитен Windows 365 Cloud PC, работещ през браузърните приложения, сайтове и данни на вашата организация. Той работи асинхронно във фонов режим, а вие можете да напътствате работата или да поемете контрола по всяко време. Примерни задачи включват:
Opal е полезен ориентир за това как изглежда продуктово зрял, надежден агент за използване на компютър — и подкрепя концепции от предишни уроци:
| Концепция в този курс | Как Project Opal я прилага |
|---|---|
| Човек в процеса (Урок 06) | Opal спира за данни за влизане, чувствителна информация или неясни инструкции, и никога не въвежда пароли или не изпраща формуляри без явна потвърждение. Можете да поемете контрол и да върнете контрола по време на задачата. |
| Доверени и защитени агенти (Уроци 06 и 18) | Работи в изолиран Windows 365 Cloud PC, по подразбиране е само браузърен (достъп до друг компютър блокиран, налаган чрез Intune), използва вашата идентичност, така че достъпва само това, за което сте упълномощени, и записва всичко за одит. |
| Планиране и метакогниция (Уроци 07 и 09) | Opal първо генерира план за задачата, след това наблюдава собствените си разсъждения на всеки етап и спира, ако открие подозрително поведение. |
| Повторно използваеми възможности/инструменти (Урок 04) | Уменията ви позволяват да пишете инструкции за повтарящи се задачи (импортирани от .md файл или създадени с Opal) и да ги използвате в различни разговори. |
Наличност: Project Opal е в момента достъпен за потребители в програмата за раннен достъп Frontier с абонамент за Microsoft 365 Copilot и администраторът трябва да извърши настройка. Тъй като е експериментална функция на Frontier, възможностите ѝ може да се променят с времето.
Разглеждане на Microsoft Agent Framework
Деплойване на мащабируеми агенти
Отказ от отговорност: Този документ е преведен с помощта на AI преводачески услуга Co-op Translator. Въпреки че се стремим към точност, моля имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод.