Computer Use Agents können mit Websites genauso interagieren wie eine Person: indem sie einen Browser öffnen, die Seite inspizieren und die nächstbeste Aktion basierend auf dem, was sie sehen, ausführen. In diesem Unterricht bauen Sie einen Browser-Automatisierungsagenten, der Airbnb durchsucht, strukturierte Angebotsdaten extrahiert und den günstigsten Aufenthalt in Stockholm ermittelt.
Die Lektion kombiniert Browser-Use für KI-gesteuerte Navigation, Playwright und das Chrome DevTools Protocol (CDP) für Browsersteuerung, Azure OpenAI für visionbasiertes Schlussfolgern und Pydantic für strukturierte Extraktion.
Diese Lektion behandelt:
Nach Abschluss dieser Lektion wissen Sie, wie Sie:
Diese Lektion beinhaltet ein Notebook-Tutorial:
Installieren Sie die im Notebook verwendeten Pakete:
pip install browser_use playwright python-dotenv
playwright install chromium
Stellen Sie die Azure OpenAI-Umgebungsvariablen ein, die vom Notebook verwendet werden:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Optional: Standardmäßig wird die neueste API-Version verwendet, wenn sie weggelassen wird
AZURE_OPENAI_API_VERSION=...
Das Notebook demonstriert einen hybriden Browser-Automatisierungsworkflow:
Dieser Ansatz bewahrt die flexible, visionbasierte Schlussfolgerung, für die Browser-Use bekannt ist, bietet jedoch gleichzeitig deterministische Browsersteuerung, wenn Sie sie benötigen.
| Szenario | Agent verwenden | Actor verwenden |
|---|---|---|
| Dynamische Layouts | Ja, KI passt sich an Seitenänderungen an | Nein, fragile Selektoren können brechen |
| Bekannte Struktur | Nein, ein Agent ist langsamer als direkte Steuerung | Ja, schnell und präzise |
| Elemente finden | Ja, natürliche Sprache funktioniert gut | Nein, exakte Selektoren sind erforderlich |
| Timing-Steuerung | Nein, weniger vorhersehbar | Ja, vollständige Kontrolle über Wartezeiten und Wiederholungen |
| Komplexe Workflows | Ja, handhabt unerwartete UI-Zustände | Nein, erfordert explizite Verzweigungen |
Browser-Agenten arbeiten auf Live-Websites, daher benötigen sie engere Grenzen als ein Skript, das nur eine bekannte API aufruft. Bevor Sie von einer Notebook-Demo zu einem echten Workflow wechseln, definieren Sie Kontrollen darüber, was der Agent sehen, klicken und absenden kann.
Im Airbnb-Beispiel ist der sichere Standard, Angebote zu suchen und Preise zu extrahieren. Anmelden, einen Gastgeber kontaktieren oder eine Buchung abschließen sollte eine vom Benutzer genehmigte separate Aktion sein.
Der in dieser Lektion erstellte Agent ist eine kleine, lokale Version eines Computer Use Agent (CUA) – ein Programm, das einen Browser genauso steuert wie ein Mensch. Microsoft bringt diese Idee mit Project Opal (Frontier) in Microsoft 365 Copilot unter die Unternehmen.
Mit Project Opal beschreiben Sie eine Aufgabe, und der Agent arbeitet in Ihrem Auftrag unter Verwendung von Computer Use auf einem sicheren Windows 365 Cloud-PC, der über die browserbasierten Anwendungen, Sites und Daten Ihrer Organisation hinweg operiert. Er arbeitet asynchron im Hintergrund, und Sie können die Arbeit jederzeit lenken oder übernehmen. Beispielaufgaben umfassen:
Opal ist ein nützlicher Referenzpunkt dafür, wie ein Produktionsreifer, vertrauenswürdiger Computer Use Agent aussieht – und verstärkt Konzepte aus früheren Lektionen:
| Konzept in diesem Kurs | Wie Project Opal es anwendet |
|---|---|
| Human-in-the-loop (Lektion 06) | Opal pausiert für Login-Daten, sensible Informationen oder unklare Anweisungen und gibt niemals Passwörter ein oder sendet Formulare ohne ausdrückliche Bestätigung. Sie können während der Aufgabe die Kontrolle übernehmen und zurückgeben. |
| Vertrauenswürdige & sichere Agenten (Lektionen 06 & 18) | Läuft isoliert auf einem Windows 365 Cloud-PC, ist standardmäßig browserbasiert (anderer Computerzugriff wird über Intune blockiert), verwendet Ihre Identität, sodass nur autorisierte Zugriffe möglich sind, und protokolliert jede Aktion zur Auditierbarkeit. |
| Planung & Metakognition (Lektionen 07 & 09) | Opal erstellt zuerst einen Plan für die Aufgabe, überwacht dann in jedem Schritt ihre eigene Logik und pausiert, wenn es verdächtige Aktivitäten erkennt. |
| Wiederverwendbare Fähigkeiten/Tools (Lektion 04) | Skills erlauben es Ihnen, Anweisungen für wiederholbare Aufgaben zu schreiben (importiert aus einer .md-Datei oder mit Opal erstellt) und diese in verschiedenen Konversationen wiederzuverwenden. |
Verfügbarkeit: Project Opal ist derzeit im Frontier Early Access Program mit einem Microsoft 365 Copilot-Abonnement für Nutzer verfügbar, und Ihr Administrator muss die Einrichtung abschließen. Da es eine experimentelle Frontier-Funktion ist, können sich Fähigkeiten im Laufe der Zeit ändern.
Erkundung des Microsoft Agent Framework
Bereitstellung skalierbarer Agenten
Haftungsausschluss: Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ursprungssprache gilt als maßgebliche Quelle. Bei kritischen Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die aus der Verwendung dieser Übersetzung entstehen.