Os agentes de utilização de computador podem interagir com websites da mesma forma que uma pessoa: abrindo um navegador, inspecionando a página e tomando a melhor ação seguinte com base no que veem. Nesta lição, irá construir um agente de automação do navegador que pesquisa no Airbnb, extrai dados estruturados das listagens e identifica a estadia mais barata em Estocolmo.
A lição combina Browser-Use para navegação orientada por IA, Playwright e Chrome DevTools Protocol (CDP) para controlo do navegador, Azure OpenAI para raciocínio habilitado por visão e Pydantic para extração estruturada.
Esta lição cobrirá:
Após completar esta lição, saberá como:
Esta lição inclui um tutorial em notebook:
Instale os pacotes usados no notebook:
pip install browser_use playwright python-dotenv
playwright install chromium
Defina as variáveis de ambiente Azure OpenAI usadas pelo notebook:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Opcional: assume por defeito a versão mais recente da API quando omitido
AZURE_OPENAI_API_VERSION=...
O notebook demonstra um fluxo de automação de navegador híbrido:
Esta abordagem mantém o raciocínio flexível e baseado em visão pelo qual o Browser-Use é bom, enquanto ainda oferece controlo determinístico do navegador quando necessário.
| Cenário | Usar Agente | Usar Ator |
|---|---|---|
| Layouts dinâmicos | Sim, IA pode adaptar-se a mudanças na página | Não, seletores frágeis podem quebrar |
| Estrutura conhecida | Não, um agente é mais lento que controlo direto | Sim, rápido e preciso |
| Encontrar elementos | Sim, linguagem natural funciona bem | Não, são necessários seletores exatos |
| Controlo de temporização | Não, menos previsível | Sim, controlo total sobre esperas e re-tentativas |
| Fluxos de trabalho complexos | Sim, lida com estados UI inesperados | Não, requer ramificação explícita |
Agentes de navegador operam em websites ao vivo, portanto necessitam de limites mais apertados do que um script que apenas chama uma API conhecida. Antes de passar de uma demo em notebook para um fluxo de trabalho real, defina os controlos sobre o que o agente pode ver, clicar e submeter.
No exemplo Airbnb, o padrão seguro é pesquisar listagens e extrair preços. Fazer login, contactar um anfitrião ou concluir uma reserva deve ser uma ação separada aprovada pelo utilizador.
O agente que constrói nesta lição é uma pequena versão local de um agente de utilização de computador (CUA) — um programa que conduz um navegador como uma pessoa faria. A Microsoft está a trazer esta mesma ideia para as empresas com o Project Opal (Frontier), uma funcionalidade do Microsoft 365 Copilot.
Com o Project Opal, descreve uma tarefa e o agente trabalha em seu nome usando utilização de computador num PC Cloud Windows 365 seguro, operando entre as aplicações, sites e dados baseados no navegador da sua organização. Funciona assíncronamente em segundo plano, e pode orientar o trabalho ou assumir controlo a qualquer momento. Exemplos de tarefas incluem:
O Opal é uma referência útil para o aspeto de um agente de utilização de computador fiável e preparado para produção — e reforça conceitos de lições anteriores:
| Conceito neste curso | Como o Project Opal o aplica |
|---|---|
| Human-in-the-loop (Lição 06) | O Opal para para credenciais de login, dados sensíveis ou instruções ambíguas, e nunca introduz palavras-passe ou envia formulários sem confirmação explícita. Pode Assumir Controlo e Devolver Controlo a meio da tarefa. |
| Agentes fiáveis e seguros (Lições 06 & 18) | Corre num PC Cloud Windows 365 isolado, é apenas navegador por padrão (outro acesso de computador bloqueado, aplicado via Intune), usa a sua identidade para só aceder ao que tem autorização, e regista cada ação para auditabilidade. |
| Planeamento & metacognição (Lições 07 & 09) | O Opal gera primeiro um plano para a tarefa, depois supervisiona o seu próprio raciocínio em cada passo e para se detetar atividade suspeita. |
| Capacidades / ferramentas reutilizáveis (Lição 04) | As Competências permitem escrever instruções para trabalhos repetíveis (importadas de um ficheiro .md ou criadas com Opal) e reutilizá-las em conversas. |
Disponibilidade: O Project Opal está atualmente disponível para utilizadores no programa de acesso antecipado Frontier com uma subscrição Microsoft 365 Copilot, e o seu administrador deve completar a configuração. Por ser uma funcionalidade experimental Frontier, as capacidades podem mudar ao longo do tempo.
Explorando o Microsoft Agent Framework
Aviso Legal: Este documento foi traduzido utilizando o serviço de tradução automática Co-op Translator. Embora nos esforcemos pela precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes da utilização desta tradução.