Agenci używający komputera mogą wchodzić w interakcje ze stronami internetowymi tak samo, jak robiłaby to osoba: otwierając przeglądarkę, przeglądając stronę i podejmując najlepszą kolejną akcję na podstawie tego, co widzą. W tej lekcji zbudujesz agenta automatyzującego przeglądarkę, który wyszukuje w serwisie Airbnb, wyodrębnia ustrukturyzowane dane ogłoszeń i identyfikuje najtańszy nocleg w Sztokholmie.
Lekcja łączy Browser-Use do nawigacji sterowanej przez AI, Playwright i Chrome DevTools Protocol (CDP) do kontroli przeglądarki, Azure OpenAI do rozumowania z wykorzystaniem widzenia oraz Pydantic do ustrukturyzowanego wyodrębniania danych.
Ta lekcja obejmie:
Po ukończeniu tej lekcji będziesz potrafił:
Ta lekcja zawiera jeden tutorial w notatniku:
Zainstaluj pakiety używane w notatniku:
pip install browser_use playwright python-dotenv
playwright install chromium
Ustaw zmienne środowiskowe Azure OpenAI używane przez notatnik:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Opcjonalne: domyślnie najnowsza wersja API, jeśli pominięta
AZURE_OPENAI_API_VERSION=...
Notatnik demonstruje hybrydowy workflow automatyzacji przeglądarki:
To podejście utrzymuje elastyczne, oparte na widzeniu rozumowanie, z którego Browser-Use słynie, jednocześnie dając deterministyczną kontrolę nad przeglądarką, gdy jest potrzebna.
| Scenariusz | Użyj agenta | Użyj aktora |
|---|---|---|
| Dynamiczne układy | Tak, AI może dostosować się do zmian strony | Nie, kruche selektory mogą się zepsuć |
| Znana struktura | Nie, agent jest wolniejszy niż bezpośrednia kontrola | Tak, szybki i precyzyjny |
| Znajdowanie elementów | Tak, język naturalny działa dobrze | Nie, wymagane są precyzyjne selektory |
| Kontrola czasu | Nie, mniej przewidywalne | Tak, pełna kontrola nad oczekiwaniami i ponownymi próbami |
| Złożone workflow | Tak, obsługuje nieoczekiwane stany UI | Nie, wymaga jawnych rozgałęzień |
Agenci przeglądarki działają na żywych stronach internetowych, więc potrzebują ściślejszych ograniczeń niż skrypt, który wywołuje tylko znane API. Zanim przejdziesz z demonstracji w notatniku do prawdziwego workflow, zdefiniuj kontrolę nad tym, co agent może widzieć, klikać i wysyłać.
W przykładzie Airbnb bezpiecznym domyślnym działaniem jest wyszukiwanie ogłoszeń i wyodrębnianie cen. Logowanie, kontakt z gospodarzem lub finalizacja rezerwacji powinny być osobnymi działaniami zatwierdzanymi przez użytkownika.
Agent, którego tworzysz w tej lekcji, to mała, lokalna wersja agenta używającego komputera (CUA) — programu, który prowadzi przeglądarkę tak jak człowiek. Microsoft wprowadza tę samą ideę do przedsiębiorstw za pomocą Project Opal (Frontier), funkcji w Microsoft 365 Copilot.
W Project Opal opisujesz zadanie, a agent działa w Twoim imieniu, korzystając z użycia komputera w bezpiecznym Windows 365 Cloud PC, operując w aplikacjach, witrynach i danych przeglądarkowych Twojej organizacji. Działa asynchronicznie w tle, a Ty możesz w dowolnym momencie prowadzić pracę lub przejąć kontrolę. Przykładowe zadania obejmują:
Opal jest użytecznym odniesieniem, jak wygląda producencki, wiarygodny agent używający komputera — i wzmacnia koncepcje z poprzednich lekcji:
| Koncepcja w tym kursie | Jak Project Opal ją stosuje |
|---|---|
| Człowiek w pętli (Lekcja 06) | Opal zatrzymuje się na dane logowania, dane wrażliwe lub niejednoznaczne instrukcje i nigdy nie wpisuje haseł ani nie wysyła formularzy bez wyraźnego potwierdzenia. Możesz Przejąć kontrolę i Zwrócić kontrolę w trakcie zadania. |
| Wiarygodni i bezpieczni agenci (Lekcje 06 i 18) | Uruchamia się w izolowanym Windows 365 Cloud PC, domyślnie tylko w przeglądarce (inne dostępy do komputera zablokowane, egzekwowane przez Intune), korzysta z Twojej tożsamości, więc ma dostęp tylko do tego, co jesteś uprawniony, i rejestruje każdą akcję dla audytu. |
| Planowanie i metapoznanie (Lekcje 07 i 09) | Opal najpierw generuje plan zadania, potem nadzoruje własne rozumowanie na każdym kroku i zatrzymuje się, jeśli wykryje podejrzaną aktywność. |
| Możliwości / narzędzia wielokrotnego użytku (Lekcja 04) | Skills pozwalają pisać instrukcje dla powtarzalnych zadań (importowane z pliku .md lub tworzone w Opal) i używać ich w wielu konwersacjach. |
Dostępność: Project Opal jest obecnie dostępny dla użytkowników w programie wczesnego dostępu Frontier z subskrypcją Microsoft 365 Copilot, a administrator musi zakończyć konfigurację. Ponieważ jest to eksperymentalna funkcja Frontier, możliwości mogą się z czasem zmieniać.
Eksploracja Microsoft Agent Framework
Wdrażanie skalowalnych agentów
Zastrzeżenie: Niniejszy dokument został przetłumaczony za pomocą usługi tłumaczenia AI Co-op Translator. Choć dążymy do dokładności, prosimy pamiętać, że automatyczne tłumaczenia mogą zawierać błędy lub niedokładności. Oryginalny dokument w jego języku źródłowym należy uznawać za autorytatywne źródło. W przypadku informacji krytycznych zalecane jest skorzystanie z profesjonalnego tłumaczenia wykonanego przez człowieka. Nie ponosimy odpowiedzialności za jakiekolwiek nieporozumienia lub błędne interpretacje wynikające z użycia tego tłumaczenia.