ai-agents-for-beginners

కంప్యూటర్ వినియోగ ఏజెంట్లను (CUA) నిర్మించడం

కంప్యూటర్ వినియోగ ఏజెంట్లు వ్యక్తులు ఎలా వెబ్‌సైట్లతో ఇంటరాక్ట్ అవుతారో అలాగే చర్యలు చేపడతారు: బ్రౌజర్ తెరవడం, పేజీని పరిశీలించడం, వారికి కనిపించిన వరుస జరిగేటట్టుగా తదుపరి ఉత్తమ చర్య తీసుకోవడం. ఈ పాఠంలో, మీరు Airbnb ని సెర్చ్ చేయడం, నిర్మిత లిస్టింగ్ డేటాను ఊతించడం మరియు స్టాక్‌హోమ్ లో చౌకైన ఇ stays ట్లను గుర్తించడం కోసం బ్రౌజర్ ఆటోమేషన్ ఏజెంట్ ను నిర్మిస్తారు.

ఈ పాఠం AI-ఆధారిత నావిగేషన్ కోసం Browser-Use, బ్రౌజర్ నియంత్రణ కోసం Playwright మరియు Chrome DevTools Protocol (CDP), విజన్-సమర్థిత రీజనింగ్ కోసం Azure OpenAI, మరియు నిర్మిత ఆ కంపడాన్ కోసం Pydantic ఈ అన్ని కలిపి ఉంటుంది.

పరిచయం

ఈ పాఠం కిందల విషయాలను కవర్ చేస్తుంది:

నేర్చుకునే లక్ష్యాలు

ఈ పాఠం పూర్తి చేసిన తరువాత, మీరు తెలుసుకుంటారు ఎలా:

కోడ్ ఉదాహరణ

ఈ పాఠంలో ఒక నోట్‌బుక్ ట్యుటోరియల్ ఉంది:

ముందస్తు అవసరాలు

సెటప్

నోట్‌బుక్‌లో ఉపయోగించిన ప్యాకేజీలను ఇన్‌స్టాల్ చేయండి:

pip install browser_use playwright python-dotenv
playwright install chromium

నోట్‌బుక్ ఉపయోగించే Azure OpenAI పర్యావరణ చరకాలు సెట్ చేయండి:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ఐచ్చికం: మిస్సవుతున్నపుడు ఇది తాజా API সংস্কరణకు డిఫాల్ట్ అవుతుంది
AZURE_OPENAI_API_VERSION=...

నిర్మాణం అవలోకనం

ఈ నోట్‌బుక్ హైబ్రిడ్ బ్రౌజర్ ఆటోమేషన్ వర్క్‌ఫ్లోని చూపిస్తుంది:

  1. Chrome CDP యాక్టివేట్ చేస్తుంది కాబట్టి Playwright మరియు Browser-Use ఇద్దరు ఒకే బ్రౌజర్ సెషన్ ను పంచుకుంటారు.
  2. Browser-Use ఏజెంట్ Airbnb ను తెరవటం, పాప్-అప్స్‌ను తుడవటం, స్టాక్‌హోమ్ కోసం సెర్చ్ చేయటం వంటి ఓపెన్-ఎండెడ్ నావిగేషన్ వర్క్‌లను నిర్వహిస్తుంది.
  3. క్రియాశీల పేజీని నిర్మిత Pydantic స్కీమాతో పరీక్షించి listing శీర్షికలు, రాత్రంతెల్లని ధరలు, రేటింగ్‌లు మరియు URL లను ఊతిస్తుంది.
  4. Python లాజిక్ ఊతించిన listing లను పోల్చి చౌకైన ఫలితాన్ని హైలైట్ చేస్తుంది.

ఈ పద్ధతి Browser-Use కి మంచిది అయిన ఫ్లెక్సిబుల్, విజన్-ఆధారిత రీజనింగ్ ను కాపాడుతూ, అవసరమైతే మీరు డిటర్మినిస్టిక్ బ్రౌజర్ నియంత్రణ పొందగలుగుతుంది.

ముఖ్యమైన సారాంశాలు మరియు ఉత్తమ ఆచారాలు

ఎజెంట్ వర్సెస్ యాక్టర్ ఎప్పుడు ఉపయోగించాలి

పరిస్థితి ఎజెంట్ ఉపయోగించండి యాక్టర్ ఉపయోగించండి
డైనమిక్ లేఅవుట్లు అవును, AI పేజీ మార్పులకు అనుగుణంగా ఉంటుంది కాదు, కొరత ఉన్న సెలెక్టర్ల వల్ల మోసం అవుతుంది
తెలిసిన నిర్మాణం కాదు, ఏజెంట్ నేరుగా నియంత్రణ కన్నా మందగిస్తుంది అవును, వేగంగా మరియు ఖచ్చితంగా
అంశాలు గుర్తించడం అవును, సహజ భాష బాగా పనిచేస్తుంది కాదు, ఖచ్చితమైన సెలెక్టర్లు అవసరం
సమయ నియంత్రణ కాదు, అంచనా తగ్గింది అవును, వేచే సమయం మరియు పునరావృతాలను పూర్తిగా నియంత్రించగలుగుతుంది
క్లిష్టమైన వర్క్‌ఫ్లోలు అవును, అనుకోని UI స్థితులను నిర్వహిస్తుంది కాదు, స్పష్టమైన బ్రాంచింగ్ అవసరం

Browser-Use ఉత్తమ ఆచారాలు

  1. పరిశోధన మరియు డైనమిక్ నావిగేషన్ కోసం ఏజెంట్ తో ప్రారంభించండి.
  2. ఇంటరాక్షన్ అంచనా కుడా అయ్యాక నేరుగా పేజీ నియంత్రణకు మారండి.
  3. నిర్మిత అవుట్‌పుట్ మోడల్స్ ఉపయోగించండి అందువల్ల ఊతించిన డేటా ధృవీకరించబడుతుంది మరియు టైప్-సేఫ్ అవుతుంది.
  4. కనువిష్ట UI మార్పులకు తెరువడానికి చర్యల తర్వాత వ్యూహాత్మక ఆలస్యం జోడించండి.
  5. విఫలతలు సులభంగా డీబగ్ అవ్వటానికి స్ర్కీన్ షాట్లను పునరావృతం సమయంలో తీసుకొండి.
  6. వెబ్‌సైట్లు మారుతుంటాయనే ఆశతో పాప్-అప్స్ మరియు లేఅవుట్ షిఫ్ట్‌లకు ఫాల్బ్యాక్ వ్యూహాలు రూపొందించండి.
  7. ఫ్లెక్సిబిలిటీ మరియు ఖచ్చితత్వాన్ని పొందగలిగేందుకు ఏజెంట్ మరియు యాక్టర్ నమూనాలను మిళితం చేయండి.

బ్రౌజర్ ఏజెంట్ల కోసం భద్రతా గార్డర్ల్స్

బ్రౌజర్ ఏజెంట్లు ప్రత్యక్ష వెబ్‌సైట్లపై కార్యకలాపాలు చేస్తాయి, కాబట్టి అవి కేవలం తెలిసిన API కాల్ చేసే స్క్రిప్ట్ కన్నా కఠినమైన సరిహద్దులను అవసరం. ఒక నోట్‌బుక్ డెమో నుండి నిజమైన వర్క్‌ఫ్లో కు మారేము ముందు ఏజెంట్ చూడగలదు, క్లిక్ చేయగలదు, సమర్పించగలదు అన్న నియంత్రణలను నిర్వచించాలి.

  1. బ్రౌజింగ్ పర్యావరణాన్ని పరిమితం చేయండి. ఏజెంట్ ని ప్రత్యేక బ్రౌజర్ ప్రొఫైల్ లేదా సాండ్‌బాక్స్‌లో నడపండి, మరియు టాస్క్ కోసం అవసరమైన డొమైన్‌ల వరకు దాన్ని పరిమితం చేయండి.
  2. పరిశీలన మరియు చర్యలను వేరుచేయండి. ఏజెంట్ ముందుగా వెతుకు, చదువు మరియు డేటా ఊతించేటట్లు చేయండి; ఫారమ్‌లు సమర్పించడం, సందేశాలు పంపడం, ప్రయాణ బుకింగ్, కొనుగోళ్లు చేయడం, రికార్డులను తొలగించడం లేదా ఖాతా సెట్టింగులను మార్చడం మొదలైనవి చేయడానికి స్పష్టమైన అనుమతి అడగాలి.
  3. ఐచ్ఛిక పదాలు మరియు ట్రేస్‌లలో రహస్యాలను ఉంచకపోవడం. పాస్వర్డ్స్, చెల్లింపు వివరాలు, సెషన్ కుకీలు లేదా వ్యక్తిగత డేటాను మోడల్ సందర్భంలో ఉంచకూడదు. ధృవీకరణ కోసం వినియోగదారుడిని అనుమతించి సున్నితమైన ఫీల్డులను లాగ్‌ల నుండి తొలగించండి.
  4. పేజీ కంటెంట్‌ను నమ్ముకోలేని ఇన్‌పుట్ గా భావించండి. ఒక వెబ్‌సైట్ ఏజెంట్‌కి మాత్రమే ఉద్దేశించిన సూచనలను కలిగి ఉండవచ్చు, వినియోగదారుని కోసం కాదు. ఏజెంట్ తన లక్ష్యం మార్చమని, డేటా వెల్లడించమని, భద్రతా గార్డులను నిలిపేయమని లేదా సంబంధం లేని సైట్‌లకు వెళ్లమని పేజీ టెక్స్ట్ ని నిర్లక్ష్యం చేయాలి.
  5. ప్రమాదకరమైన దశల చుట్టూ నిర్దిష్టత తనిఖీలు ఉపయోగించండి. ప్రస్తుత URL, పేజీ శీర్షిక, ఎంపిక చేసిన అంశం, ధర, గ్రాహకుడు మరియు చర్య సంగ్రహాన్ని కోడ్ తో ధృవీకరించి తరువాత వినియోగదారుడి నుండి తుది దశకు ఆమోదం కోరండి.
  6. బడ్జెట్లను మరియు నిలిపే పరిస్థితులను సెట్ చేయండి. ఏజెంట్ ఉపయోగించగల చర్యల సంఖ్య, పునరావృతులు, టాబ్లు మరియు నిమిషాల పరిమితిని నిర్దేశించండి. పేజీ స్థితి అనిశ్చితమైనపుడు క్లిక్ చేయడం కొనసాగించకుండా ఆపండి.
  7. ప్రయోజనకరమైన సాక్ష్యాలను రికార్డు చేయండి, అన్నీ కాకుండా. చర్య సంగ్రహాలు, టైమ్‌స్టాంపులు, URL లు, ఎంపిక చేసిన అంశ వివరణలు మరియు స్ర్కీన్ షాట్ సూచనలు వగైరా ఉంచండి తద్వారా విఫలతలను సమీక్షించవచ్చు కానీ అవసరం లేని సున్నితమైన పేజీ కంటెంట్ నిల్వ చెయ్యకుండ.

Airbnb ఉదాహరణలో, భద్రతా డిఫాల్ట్ గా లిస్టింగ్లు సెర్చ్ చేయడం మరియు ధరల్ని ఊతించడం. సైన్ ఇన్, హోస్ట్ తో సంప్రదింపులు, లేదా బుకింగ్ పూర్తి చేయటం వేరు స్పష్ట ఆమోదించిన చర్యలు కావాలి.

వాస్తవ ప్రపంచ ఉపయోగాలు

వాస్తవ ప్రపంచ ఉదాహరణ: Microsoft Project Opal

ఈ పాఠంలో మీరు నిర్మించే ఏజెంట్ ఒక చిన్న, స్థానిక వెర్షన్ కంప్యూటర్ వినియోగ ఏజెంట్ (CUA) — ఒక ప్రోగ్రామ్ ఇది వ్యక్తి వంటి గా బ్రౌజర్ ని నడిపిస్తుంది. Microsoft కూడా ఇదే ఆలోచనను Microsoft 365 Copilot లో Project Opal (Frontier) తో ఎంటర్ప్రైజ్‌కు తీసుకస్తోంది.

Project Opal తో, మీరు పని వివరణ చెబుతారు మరియు ఏజెంట్ సురక్షిత Windows 365 క్లౌడ్ PC లో కంప్యూటర్ వినియోగం ఉపయోగించి, మీ సంస్థ బ్రౌజర్ ఆధారిత అనువర్తనాలు, సైట్లు మరియు డేటా పై పనిచేస్తుంది. ఇది బ్యాక్‌గ్రౌండ్ లో అసింక్రోనస్ గా పనిచేస్తుంది, మీరు ఎప్పుడైనా పనిని మార్గనిర్దేశం చేయలేరు లేదా నియంత్రణ తీసుకోగలుగుతారు. ఉదాహరణ కార్యాలు:

Opal అనేది ఒక ఉత్పత్తి-గ్రేడ్, నమ్మదగిన కంప్యూటర్ వినియోగ ఏజెంట్ ఎలా ఉండాలో ఉపయోగకరమైన ఉదాహరణ — మరియు ఇది ముందటి పాఠాలకు సంబంధించిన ఆలోచనలను బలపరిచింది:

ఈ కోర్సులో కాన్సెప్ట్ Project Opal దాన్ని ఎలా ఉపయోగిస్తుంది
హ్యూమన్-ఇన్-ది-లూప్ (పాఠం 06) Opal లాగిన్ క్రెడెన్షియల్స్, సున్నిత డేటా, లేదా అస్పష్టం ఉన్న సూచనల కోసం నిలిపివేస్తుంది, మరియు పాస్వర్డ్లు ఎంటర్ చెయ్యదు లేదా స్పష్ట ఆమోదం లేకుండా ఫారమ్‌లు సమర్పించదు. మీరు నియంత్రణ తీసుకోవచ్చు మరియు నియంత్రణ తిరిగి ఇస్తారు పనిలో మధ్యలో.
నమ్మదగిన & సురక్షిత ఏజెంట్లు (పాఠాలు 06 & 18) వేరొక Windows 365 క్లౌడ్ PC లో పనిచేస్తుంది, డిఫాల్ట్ బ్రౌజర్ కేవలం (మరొక కంప్యూటర్ యాక్సెస్ తీసివేయబడింది, Intune ద్వారా అమలు), మీ గుర్తింపును ఉపయోగిస్తుంది కాబట్టి మీరు అనుమతించినదే యాక్సెస్ అవుతుంది, ప్రతి చర్యను ఆడిట్‌కు లాగ్ చేస్తుంది.
పథక రచన & మేటాకాగ్నిషన్ (పాఠాలు 07 & 09) Opal ఉద్యోగానికి ముందుగా పథకం రూపొందించి, స్వీయ తర్కాన్ని ప్రతి దశలో పర్యవేక్షించి, సందేహాస్పద చర్యలు కనిపిస్తే నిలిపివేస్తుంది.
పునర్వినియోగపరచదగిన సామర్థ్యాలు / టూల్స్ (పాఠం 04) నైపుణ్యాలు తో మీరు పునరావృతమైన ఉద్యోగాలకు సూచనలు రాయగలుగుతారు ( .md ఫైల్ నుంచి దిగుమతి చేసుకున్న లేదా Opal తో రచించిన) మరియు వాటిని సంభాషణల్లో పునర్వినియోగం చేసుకుంటారు.

అందుబాటు: ప్రాజెక్ట్ Opal ప్రస్తుతం Frontier ప్రారంభ ప్రోగ్రామ్లో ఉన్న Microsoft 365 Copilot సబ్‌స్క్రిప్షన్ ఉన్న వినియోగదారులకు అందుబాటులో ఉంది, మరియు మీ నిర్వాహకుడు సెటప్ పూర్తిచేయాలి. ఇది ప్రయోగాత్మక Frontier ఫీచర్ కాబట్టి సామర్థ్యాలు కాలంతో మారవచ్చు.

అదనపు వనరులు

గత పాఠం

Microsoft Agent Framework ని అన్వేషించడం

తదుపరి పాఠం

స్కేలబుల్ ఏజెంట్లను అమర్చడం

అస్వీకరణ: ఈ పత్రం AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నిస్తున్నప్పటికీ, ఆటోమేటెడ్ అనువాదాలు తప్పులు లేదా అసమగ్రతలను కలిగి ఉండవచ్చు. దాని స్వదేశ భాషలో ఉన్న అసలు పత్రాన్ని అధికారం కలిగిన మూలంగా పరిగణించాలి. కీలకమైన సమాచారం కోసం, ప్రొఫెషనల్ మానవ అనువాదాన్ని సిఫారసు చేస్తాము. ఈ అనువాదం ఉపయోగం వల్ల కలిగే ఏవైనా అపార్థాలు లేదా తప్పుదారులు కోసం మేము బాధ్యత వహించము.

This site is open source. Improve this page.