Οι πράκτορες χρήσης υπολογιστή μπορούν να αλληλεπιδρούν με ιστοσελίδες με τον ίδιο τρόπο που θα το έκανε ένα άτομο: ανοίγοντας έναν περιηγητή, εξετάζοντας τη σελίδα και λαμβάνοντας την επόμενη καλύτερη ενέργεια με βάση όσα βλέπουν. Σε αυτό το μάθημα, θα δημιουργήσετε έναν πράκτορα αυτοματοποίησης περιηγητή που αναζητά στο Airbnb, εξάγει δομημένα δεδομένα καταχωρίσεων και εντοπίζει τη φθηνότερη διαμονή στη Στοκχόλμη.
Το μάθημα συνδυάζει το Browser-Use για πλοήγηση με AI-driven, το Playwright και το Chrome DevTools Protocol (CDP) για έλεγχο περιηγητή, το Azure OpenAI για οπτικά ενεργοποιημένη συλλογιστική και το Pydantic για δομημένη εξαγωγή.
Αυτό το μάθημα θα καλύψει:
Μετά την ολοκλήρωση αυτού του μαθήματος, θα ξέρετε πώς να:
Αυτό το μάθημα περιλαμβάνει ένα σημειωματάριο διδασκαλίας:
Εγκαταστήστε τα πακέτα που χρησιμοποιούνται στο σημειωματάριο:
pip install browser_use playwright python-dotenv
playwright install chromium
Ορίστε τις μεταβλητές περιβάλλοντος Azure OpenAI που χρησιμοποιεί το σημειωματάριο:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Προαιρετικό: χρησιμοποιεί την πιο πρόσφατη έκδοση API όταν παραλείπεται
AZURE_OPENAI_API_VERSION=...
Το σημειωματάριο παρουσιάζει μια υβριδική ροή εργασίας αυτοματοποίησης περιηγητή:
Αυτή η προσέγγιση διατηρεί την ευέλικτη, βασισμένη στην όραση συλλογιστική που έχει το Browser-Use ενώ παράλληλα παρέχει ντετερμινιστικό έλεγχο περιηγητή όταν χρειάζεται.
| Σενάριο | Χρησιμοποιήστε Πράκτορα | Χρησιμοποιήστε Ηθοποιό |
|---|---|---|
| Δυναμικές διατάξεις | Ναι, το AI προσαρμόζεται καλά σε αλλαγές σελίδας | Όχι, εύθραυστοι επιλογείς μπορούν να σπάσουν |
| Γνωστή δομή | Όχι, ένας πράκτορας είναι πιο αργός από τον άμεσο έλεγχο | Ναι, γρήγορος και ακριβής |
| Εύρεση στοιχείων | Ναι, η φυσική γλώσσα λειτουργεί καλά | Όχι, απαιτούνται ακριβείς επιλογείς |
| Έλεγχος χρονοδιαγράμματος | Όχι, λιγότερο προβλέψιμο | Ναι, πλήρης έλεγχος σε αναμονές και επαναλήψεις |
| Πολύπλοκες ροές εργασίας | Ναι, χειρίζεται απροσδόκητες καταστάσεις UI | Όχι, απαιτεί ρητή διακλάδωση |
Οι πράκτορες περιηγητή λειτουργούν σε ζωντανές ιστοσελίδες, γι’ αυτό έχουν αυστηρότερα όρια από ένα σενάριο που καλεί μόνο ένα γνωστό API. Πριν περάσετε από επίδειξη σημειωματαρίου σε πραγματική ροή εργασίας, ορίστε τους ελέγχους γύρω από το τι μπορεί να δει, να κάνει κλικ και να υποβάλει ο πράκτορας.
Στο παράδειγμα του Airbnb, η ασφαλής προεπιλογή είναι να αναζητούνται καταχωρίσεις και να εξάγονται οι τιμές. Η σύνδεση, η επικοινωνία με οικοδεσπότη ή η ολοκλήρωση κράτησης πρέπει να είναι ξεχωριστές ενέργειες με έγκριση χρήστη.
Ο πράκτορας που δημιουργείτε σε αυτό το μάθημα είναι μια μικρή, τοπική έκδοση ενός πράκτορα χρήσης υπολογιστή (CUA) — ένα πρόγραμμα που χειρίζεται έναν περιηγητή όπως ένας άνθρωπος. Η Microsoft φέρνει αυτή την ίδια ιδέα στην επιχείρηση με το Project Opal (Frontier), μια δυνατότητα στο Microsoft 365 Copilot.
Με το Project Opal, περιγράφετε μια εργασία και ο πράκτορας εργάζεται εκ μέρους σας χρησιμοποιώντας χρήση υπολογιστή σε ασφαλές Windows 365 Cloud PC, λειτουργώντας σε όλες τις εφαρμογές, τις τοποθεσίες και τα δεδομένα της οργάνωσής σας που βασίζονται σε περιηγητή. Λειτουργεί ασύγχρονα στο παρασκήνιο, και μπορείτε να καθοδηγήσετε τη δουλειά ή να αναλάβετε τον έλεγχο οποιαδήποτε στιγμή. Παραδείγματα εργασιών περιλαμβάνουν:
Το Opal είναι μια χρήσιμη αναφορά για το πώς μοιάζει ένας πρακτικός, αξιόπιστος πράκτορας χρήσης υπολογιστή — και ενισχύει έννοιες από προηγούμενα μαθήματα:
| Έννοια σε αυτό το μάθημα | Πώς το Project Opal το εφαρμόζει |
|---|---|
| Άνθρωπος στη βρόχο (Μάθημα 06) | Το Opal σταματά για διαπιστευτήρια σύνδεσης, ευαίσθητα δεδομένα ή ασαφείς οδηγίες, και ποτέ δεν εισάγει κωδικούς ή δεν υποβάλλει φόρμες χωρίς ρητή επιβεβαίωση. Μπορείτε να αναλάβετε τον έλεγχο και να επιστρέψετε τον έλεγχο στη μέση μιας εργασίας. |
| Αξιόπιστοι & ασφαλείς πράκτορες (Μαθήματα 06 και 18) | Τρέχει σε απομονωμένο Windows 365 Cloud PC, είναι μόνο περιηγητής από προεπιλογή (απαγόρευση άλλης πρόσβασης σε υπολογιστή μέσω Intune), χρησιμοποιεί τη δική σας ταυτότητα ώστε να έχει πρόσβαση μόνο σε αυτά που είστε εξουσιοδοτημένοι, και καταγράφει κάθε ενέργεια για έλεγχο. |
| Σχεδιασμός & μεταγνωστική λειτουργία (Μαθήματα 07 και 09) | Το Opal δημιουργεί αρχικά ένα πλάνο για την εργασία, στη συνέχεια επιβλέπει τη συλλογιστική του σε κάθε βήμα και σταματά αν ανιχνεύσει ύποπτη δραστηριότητα. |
| Επαναχρησιμοποιήσιμες δυνατότητες / εργαλεία (Μάθημα 04) | Οι Δεξιότητες σας επιτρέπουν να γράψετε οδηγίες για επαναλαμβανόμενες εργασίες (εισαγόμενες από αρχείο .md ή δημιουργημένες με το Opal) και να τις επαναχρησιμοποιήσετε σε συζητήσεις. |
Διαθεσιμότητα: Το Project Opal είναι προς το παρόν διαθέσιμο σε χρήστες στο πρόγραμμα πρώιμης πρόσβασης Frontier με συνδρομή Microsoft 365 Copilot, και ο διαχειριστής σας πρέπει να ολοκληρώσει τη ρύθμιση. Επειδή είναι πειραματική δυνατότητα Frontier, οι λειτουργίες μπορεί να αλλάξουν με την πάροδο του χρόνου.
Εξερεύνηση του Microsoft Agent Framework
Ανάπτυξη Κλιμακούμενων Πρακτόρων
Αποποίηση ευθυνών: Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη Co-op Translator. Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.