ai-agents-for-beginners

Tietokoneen käyttöhallitusten (CUA) rakentaminen

Tietokoneen käyttöhallitukset voivat olla vuorovaikutuksessa verkkosivustojen kanssa samalla tavalla kuin ihminen: avaamalla selaimen, tutkimalla sivua ja tekemällä seuraavan parhaan toimenpiteen näkemänsä perusteella. Tässä oppitunnissa rakennat selaimen automaatioagentin, joka hakee Airbnb:stä, poimii rakenteellista kohdetietoa ja löytää halvimman majoituksen Tukholmassa.

Oppitunti yhdistää Browser-Use:n tekoälypohjaiseen navigointiin, Playwrightin ja Chrome DevTools Protocolin (CDP) selaimen ohjaukseen, Azure OpenAI:n näkökykyyn perustuvaan päättelyyn sekä Pydanticin rakenteelliseen poimintaan.

Johdanto

Tässä oppitunnissa käsitellään:

Oppimistavoitteet

Oppitunnin suorittamisen jälkeen osaat:

Koodiesimerkki

Tämä oppitunti sisältää yhden muistiinpanon tutoriaalin:

Esivaatimukset

Asennus

Asenna muistiinpanossa käytetyt paketit:

pip install browser_use playwright python-dotenv
playwright install chromium

Aseta Azure OpenAI:n ympäristömuuttujat, joita muistiinpano käyttää:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# Valinnainen: oletuksena viimeisin API-versio, jos jätetään pois
AZURE_OPENAI_API_VERSION=...

Arkkitehtuurin yleiskatsaus

Muistiinpano demonstroi hybridiselaimen automaatiotyönkulkua:

  1. Chrome käynnistyy CDP päällä, jotta sekä Playwright että Browser-Use voivat jakaa saman selaimesession.
  2. Browser-Use-agentti hoitaa avoimena pysyviä navigointitehtäviä, kuten Airbnb:n avaamista, ponnahdusikkunoiden sulkemista ja hakua Tukholmalle.
  3. Aktiivinen sivu tutkitaan rakenteellisella Pydantic-kaavalla poimien ilmoitusten otsikot, yökohtaiset hinnat, arvostelut ja URL-osoitteet.
  4. Python-logiikka vertaa poimittuja tietoja ja korostaa halvimman tuloksen.

Tämä lähestymistapa säilyttää Browser-Use:n joustavan, näkökykyyn perustuvan päättelyn, mutta antaa samalla määrityspoikkeamatonta selaimen hallintaa tarpeen mukaan.

Keskeiset opit ja parhaat käytännöt

Milloin käyttää agenttia vs. toimijaa

Tilanne Käytä agenttia Käytä toimijaa
Dynaamiset asettelut Kyllä, tekoäly mukautuu sivun muutoksiin Ei, hauraat selektorit voivat rikkoutua
Tunnettu rakenne Ei, agentti on hitaampi kuin suora ohjaus Kyllä, nopea ja tarkka
Elementtien löytäminen Kyllä, luonnollinen kieli toimii hyvin Ei, tarkat selektorit vaaditaan
Aikahallinta Ei, vähemmän ennustettava Kyllä, täydellinen hallinta odotuksissa ja yrityksissä
Monimutkaiset työnkulut Kyllä, käsittelee odottamattomia käyttöliittymän tiloja Ei, vaatii eksplisiittiset haarautumiset

Browser-Use parhaat käytännöt

  1. Aloita agentilla tutkimiseen ja dynaamiseen navigointiin.
  2. Vaihda suoraan sivun hallintaan, kun vuorovaikutuksesta tulee ennustettavaa.
  3. Käytä rakenteellisia tuotemalleja, jotta poimittu data validoidaan ja on tyypinmukaista.
  4. Lisää viiveitä strategisesti toimien jälkeen, jotka laukaisevat näkyvät käyttöliittymän muutokset.
  5. Ota ruutukaappauksia toistuvasti, jotta virheiden selvitys helpottuu.
  6. Odota verkkosivustojen muuttuvan ja suunnittele varautumissuunnitelmat ponnahdusikkunoille ja asettelujen muutoksille.
  7. Yhdistä agentti- ja toimijamallit saadaksesi sekä joustavuutta että tarkkuutta.

Turvakaiteet selainagenteille

Selainagentit toimivat live-verkkosivustoilla, joten niiden rajat tarvitsevat olla tiukemmat kuin pelkän tunnetun API:n kutsuvan skriptin. Ennen kuin siirryt muistiinpanon demosta oikeaan työnkulkuun, määrittele ohjaukset siitä, mitä agentti voi nähdä, klikata ja lähettää.

  1. Määrittele selausympäristö. Suorita agentti omassa selainprofiilissa tai hiekkalaatikossa ja rajoita se tehtävän vaatimiin domaineihin.
  2. Erottele havainnointi toiminnasta. Anna agentin ensin etsiä, lukea ja poimia tietoa; vaadi eksplisiittinen hyväksyntä ennen lomakkeiden lähettämistä, viestien lähettämistä, matkavarauksia, ostoksia, tietueiden poistoa tai tiliasetusten muuttamista.
  3. Pidä salaisuudet pois käskyistä ja jäljistä. Älä laita salasanoja, maksutietoja, istuntokeksejä tai raakaa henkilökohtaista dataa mallin kontekstiin. Anna käyttäjän hoitaa todennus ja sensuroida arkaluontoiset kentät lokitiedoista.
  4. Kohtele sivun sisältöä epäluotettavana syötteenä. Verkkosivusto voi sisältää ohjeita, jotka on tarkoitettu agentille, ei käyttäjälle. Agentin tulee sivuuttaa sivuteksti, joka pyytää muuttamaan tavoitettaan, paljastamaan tietoja, poistamaan turvatoimia tai vierailemaan epäolennaisilla sivustoilla.
  5. Käytä määrityspoikkeamatonta tarkistusta riskialttiissa vaiheissa. Varmista nykyinen URL-osoite, sivun otsikko, valittu kohde, hinta, vastaanottaja ja toimenpiteen yhteenveto koodilla ennen kuin pyydät käyttäjää hyväksymään lopullisen vaiheen.
  6. Aseta budjetit ja pysäytysehdot. Määrittele toimien, yritysten, välilehtien ja agentin käyttämien minuuttien enimmäismäärät. Lopeta, jos sivun tila on epäselvä sen sijaan, että jatkaisit klikkailua.
  7. Tallenna hyödylliset todisteet, ei kaikkea. Säilytä toimintayhteenvedot, aikaleimat, URL:t, valittujen elementtien kuvaukset ja ruutukaappausviitteet, jotta virheitä voi tarkastella ilman tarpeetonta arkaluontoista sivusisältöä.

Airbnb-esimerkissä turvallinen oletusarvo on hakea ilmoituksia ja poimia hintoja. Kirjautuminen, isäntään ottaminen yhteyttä tai varauksen tekeminen tulisi olla erillinen, käyttäjän hyväksymä toimenpide.

Käytännön sovellukset

Käytännön esimerkki: Microsoft Project Opal

Tässä oppitunnissa rakentamasi agentti on pieni, paikallinen versio tietokoneen käyttöhallituksesta (CUA) — ohjelmasta, joka ohjaa selainta kuten ihminen. Microsoft tuo tätä samaa ideaa yritysmaailmaan Project Opal (Frontier), Microsoft 365 Copilotin ominaisuus.

Project Opalissa kuvaat tehtävän ja agentti työskentelee puolestasi käyttäen tietokoneen käyttöä turvallisessa Windows 365 Cloud PC:ssä, toimiessaan organisaatiosi selaimella käytettävien sovellusten, sivustojen ja datan kautta. Se toimii asynkronisesti taustalla, ja voit ohjata työtä tai ottaa hallinnan milloin tahansa. Esimerkkejä tehtävistä ovat:

Opal on hyödyllinen esimerkki siitä, millainen on tuotantotason, luotettava tietokoneen käyttöhallitus — ja vahvistaa aiemmista oppitunneista tuttuja käsitteitä:

Kurssin käsite Miten Project Opal soveltaa sitä
Ihminen silmukassa (Oppitunti 06) Opal pysähtyy kirjautumistietojen, arkaluonteisen datan tai epäselvien ohjeiden kohdalla, eikä syötä salasanoja tai lähetä lomakkeita ilman nimenomaista vahvistusta. Voit ottaa hallinnan ja palauttaa hallinnan kesken tehtävän.
Luotettavat ja turvalliset agentit (Oppitunnit 06 & 18) Toimii eristetyssä Windows 365 Cloud PC:ssä, on oletuksena vain selainkäyttöinen (muut tietokoneen käyttö estetty Intunen avulla), käyttää sinun identiteettiäsi joten se pääsee vain valtuuttamiisi kohteisiin, ja kirjaa jokaisen toiminnon auditointia varten.
Suunnittelu ja metakognitio (Oppitunnit 07 & 09) Opal laatii ensin suunnitelman tehtävälle, sitten valvoo omaa päättelyään jokaisessa vaiheessa ja pysähtyy, jos havaitsee epäilyttävää toimintaa.
Uudelleenkäytettävät kyvyt / työkalut (Oppitunti 04) Taidot antavat sinun kirjoittaa ohjeita toistuville tehtäville (.md-tiedostosta tuotuja tai Opalilla laadittuja) ja käyttää niitä uudestaan keskusteluissa.

Saatavuus: Project Opal on tällä hetkellä käytettävissä Frontierin varhaiskäyttöohjelmassa Microsoft 365 Copilot -tilaajille, ja järjestelmänvalvojan tulee suorittaa käyttöönotto. Koska kyseessä on kokeellinen Frontier-ominaisuus, sen toiminnot voivat muuttua ajan myötä.

Lisäresurssit

Edellinen oppitunti

Microsoft Agent Frameworkin tutkiminen

Seuraava oppitunti

Skalautuvien agenttien käyttöönotto

Vastuuvapauslauseke: Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, otathan huomioon, että automaattiset käännökset saattavat sisältää virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäiskielellä on virallinen lähde. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.

This site is open source. Improve this page.