Agentes de uso de computador podem interagir com websites do mesmo jeito que uma pessoa faria: abrindo um navegador, inspecionando a página e tomando a melhor decisão a partir do que veem. Nesta lição, você construirá um agente de automação de navegador que busca no Airbnb, extrai dados estruturados de anúncios e identifica a estadia mais barata em Estocolmo.
A lição combina Browser-Use para navegação dirigida por IA, Playwright e Chrome DevTools Protocol (CDP) para controle do navegador, Azure OpenAI para raciocínio habilitado por visão, e Pydantic para extração estruturada.
Esta lição abordará:
Após completar esta lição, você saberá como:
Esta lição inclui um tutorial em notebook:
Instale os pacotes usados no notebook:
pip install browser_use playwright python-dotenv
playwright install chromium
Defina as variáveis de ambiente Azure OpenAI usadas pelo notebook:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Opcional: padrão para a versão mais recente da API quando omitido
AZURE_OPENAI_API_VERSION=...
O notebook demonstra um fluxo híbrido de automação de navegador:
Essa abordagem mantém o raciocínio flexível baseado em visão que Browser-Use faz bem, enquanto te dá controle determinístico do navegador quando necessário.
| Cenário | Usar Agente | Usar Ator |
|---|---|---|
| Layouts dinâmicos | Sim, IA pode se adaptar a mudanças na página | Não, seletores frágeis podem quebrar |
| Estrutura conhecida | Não, agente é mais lento que controle direto | Sim, rápido e preciso |
| Encontrar elementos | Sim, linguagem natural funciona bem | Não, seletores exatos são necessários |
| Controle de tempo | Não, menos previsível | Sim, controle total sobre esperas e tentativas |
| Fluxos complexos | Sim, lida com estados inesperados da UI | Não, requer ramificações explícitas |
Agentes de navegador operam em sites ao vivo, então precisam de limites mais rigorosos que um script que só chama uma API conhecida. Antes de sair de um demo em notebook para um fluxo real, defina controles sobre o que o agente pode ver, clicar e enviar.
No exemplo do Airbnb, o padrão seguro é buscar anúncios e extrair preços. Fazer login, contactar um anfitrião ou concluir uma reserva deve ser uma ação separada aprovada pelo usuário.
O agente que você constrói nesta lição é uma versão pequena e local de um agente de uso de computador (CUA) — um programa que dirige um navegador da mesma forma que uma pessoa. A Microsoft está levando essa mesma ideia para a empresa com o Project Opal (Frontier), uma funcionalidade do Microsoft 365 Copilot.
Com o Project Opal, você descreve uma tarefa e o agente trabalha em seu nome usando uso do computador em um Windows 365 Cloud PC seguro, operando entre os aplicativos, sites e dados baseados em navegador da sua organização. Funciona assincronamente em segundo plano, e você pode guiar o trabalho ou assumir o controle a qualquer momento. Exemplos de tarefas incluem:
Opal é uma referência útil para como é um agente de uso de computador de nível de produção e confiável — e reforça conceitos de lições anteriores:
| Conceito neste curso | Como o Project Opal aplica |
|---|---|
| Humano no loop (Lição 06) | Opal pausa para credenciais de login, dados sensíveis ou instruções ambíguas, e nunca insere senhas nem envia formulários sem confirmação explícita. Você pode Assumir Controle e Devolver Controle no meio da tarefa. |
| Agentes seguros e confiáveis (Lições 06 & 18) | Roda em um Windows 365 Cloud PC isolado, é somente navegador por padrão (outro acesso ao computador bloqueado via Intune), usa sua identidade para acessar só o autorizado, e registra cada ação para auditoria. |
| Planejamento & metacognição (Lições 07 & 09) | Opal gera um plano da tarefa primeiro, depois supervisiona seu próprio raciocínio em cada passo e pausa se detectar atividade suspeita. |
| Capacidades / ferramentas reutilizáveis (Lição 04) | Skills deixam você escrever instruções para trabalhos repetíveis (importadas de arquivo .md ou criadas com Opal) e reutilizá-las em conversas. |
Disponibilidade: O Project Opal está atualmente disponível para usuários no programa de acesso antecipado Frontier com assinatura Microsoft 365 Copilot, e seu administrador deve completar a configuração. Por ser um recurso experimental Frontier, as capacidades podem mudar com o tempo.
Explorando o Microsoft Agent Framework
Desenvolvendo Agentes Escaláveis
Aviso Legal: Este documento foi traduzido usando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos pela precisão, por favor, esteja ciente de que traduções automatizadas podem conter erros ou imprecisões. O documento original em seu idioma nativo deve ser considerado a fonte autorizada. Para informações críticas, recomenda-se tradução profissional humana. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes do uso desta tradução.