Агенты для использования компьютера могут взаимодействовать с веб-сайтами так же, как человек: открывая браузер, исследуя страницу и предпринимая следующие лучшие действия на основе увиденного. В этом уроке вы создадите агента для автоматизации браузера, который ищет на Airbnb, извлекает структурированные данные о списках и определяет самый дешевый вариант проживания в Стокгольме.
Урок объединяет Browser-Use для навигации с помощью ИИ, Playwright и Chrome DevTools Protocol (CDP) для управления браузером, Azure OpenAI для визуального мышления и Pydantic для структурированного извлечения.
В этом уроке будут рассмотрены:
После завершения этого урока вы будете уметь:
В уроке представлен один блокнот-учебник:
Установите пакеты, используемые в блокноте:
pip install browser_use playwright python-dotenv
playwright install chromium
Установите переменные окружения Azure OpenAI, используемые в блокноте:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Необязательно: по умолчанию используется последняя версия API при пропуске
AZURE_OPENAI_API_VERSION=...
В блокноте продемонстрирован гибридный рабочий процесс автоматизации браузера:
Такой подход сохраняет гибкость рассуждений на основе зрения, которыми хорош Browser-Use, при этом обеспечивая детерминированное управление браузером, когда это необходимо.
| Сценарий | Использовать агента | Использовать актера |
|---|---|---|
| Динамические макеты | Да, ИИ может адаптироваться к изменениям страницы | Нет, хрупкие селекторы могут сломаться |
| Известная структура | Нет, агент работает медленнее прямого управления | Да, быстро и точно |
| Поиск элементов | Да, естественный язык хорошо работает | Нет, нужны точные селекторы |
| Контроль времени | Нет, менее предсказуемо | Да, полный контроль над ожиданиями и повторными попытками |
| Сложные рабочие процессы | Да, справляется с неожиданными состояниями UI | Нет, требует явных ветвлений |
Агенты браузера работают на живых сайтах, поэтому им нужны более строгие границы, чем скриптам, которые только вызывают известное API. Перед переходом от демонстрации в блокноте к реальному рабочему процессу определите ограничения того, что агент может видеть, на что нажимать и что отправлять.
В примере с Airbnb безопасный стандарт — искать списки и извлекать цены. Вход в систему, контакт с хозяином или завершение бронирования должны быть отдельными действиями с одобрением пользователя.
Агент, которого вы создаете в этом уроке — это небольшая локальная версия агента для использования компьютера (CUA) — программы, которая управляет браузером так, как это сделал бы человек. Microsoft внедряет эту же идею для предприятий с помощью Project Opal (Frontier), функции в Microsoft 365 Copilot.
С Project Opal вы описываете задачу, и агент выполняет её от вашего имени, используя использование компьютера на защищенном облачном ПК Windows 365, работая с браузерными приложениями, сайтами и данными вашей организации. Он работает асинхронно в фоновом режиме, и вы можете управлять процессом или взять управление в любой момент. Примеры заданий:
Opal — полезный пример того, как выглядит производственный, надежный агент для использования компьютера — и он дополняет концепции из предыдущих уроков:
| Концепция из курса | Как Project Opal её реализует |
|---|---|
| Человек в цикле (Урок 06) | Opal приостанавливается для ввода учетных данных, чувствительных данных или неоднозначных инструкций и никогда не вводит пароли и не отправляет формы без явного подтверждения. Вы можете взять управление и вернуть управление во время выполнения задачи. |
| Надежные и безопасные агенты (Уроки 06 и 18) | Работает в изолированном Windows 365 Cloud ПК, по умолчанию только в браузере (остальной доступ к компьютеру заблокирован, обеспечивается через Intune), использует вашу идентичность, чтобы получить доступ только к разрешенным ресурсам, и ведет журналы всех действий для аудита. |
| Планирование и метапознание (Уроки 07 и 09) | Opal сначала создает план выполнения задачи, затем контролирует свои рассуждения на каждом шаге и приостанавливается при обнаружении подозрительной активности. |
| Повторно используемые возможности / инструменты (Урок 04) | Навыки позволяют писать инструкции для повторяемых заданий (импортируемые из .md файла или написанные в Opal) и использовать их в разных разговорах. |
Доступность: Project Opal сейчас доступен пользователям в рамках программы раннего доступа Frontier с подпиской Microsoft 365 Copilot, и ваш администратор должен завершить настройку. Поскольку это экспериментальная функция Frontier, возможности могут меняться со временем.
Изучение Microsoft Agent Framework
Развертывание масштабируемых агентов
Отказ от ответственности: Этот документ был переведен с использованием сервиса машинного перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, имейте в виду, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обратиться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования этого перевода.