ai-agents-for-beginners

కంప్యూటర్ వాడకం ఏజెంట్లు (CUA) నిర్మించడం

కంప్యూటర్ వాడకం ఏజెంట్లు ఒక వ్యక్తి చేసే విధంగా వెబ్‌సైట్లతో పరిచయం కావచ్చు: బ్రౌజర్‌ను తెరవడం, పేజీని పరిశీలించడం, మరియు వీక్షించబడిన దాంట్లో నుండి తదుపరి ఉత్తమ చర్య తీసుకోవడం. ఈ పాఠంలో, మీరు Airbnb‌ను శోధించే, నిర్మిత లిస్టింగ్ డేటాను తీసుకునే, మరియు స్టాక్‌హోమ్‌లో అతి తక్కువ ధర గల నిద్రాశాఖను గుర్తించే బ్రౌజర్ ఆటోమేషన్ ఏజెంట్‌ను నిర్మిస్తారు.

ఈ పాఠం బ్రౌజర్-ఉపయోగాన్ని AI-ప్రేరిత నావిగేషన్ కోసం, Playwright మరియు Chrome DevTools ప్రోటోకాల్ (CDP) బ్రౌజర్ నియంత్రణ కోసం, Azure OpenAI దృశ్య-సक्षम తర్కానికి, మరియు Pydantic నిర్మిత ఎగ్జ్ట్రాక్షన్ కోసం కలిపి చూపిస్తుంది.

పరిచయం

ఈ పాఠం కిందివి కవర్ చేస్తుంది:

నేర్చుకోవడం లక్ష్యాలు

ఈ పాఠం పూర్తి చేసిన తర్వాత, మీరు ఎలా చేయాలో తెలుసుకుంటారు:

కోడ్ ఉదాహరణ

ఈ పాఠం ఒక నోటుబుక్ పాఠం కలిగి ఉంది:

ముందస్తు అవసరాలు

సెటప్

నోటుబుక్ లో ఉపయోగించే ప్యాకేజీలు ఇన్‌స్టాల్ చేయండి:

pip install browser_use playwright python-dotenv
playwright install chromium

నోటుబుక్ ఉపయోగించే Azure OpenAI పర్యావరణ వేరియబుల్స్ సెట్ చేయండి:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ఐచ్ఛికం: మిస్ అయినపుడు తుది API సంస్కరణకు డిఫాల్ట్ అవుతుంది
AZURE_OPENAI_API_VERSION=...

నిర్మాణ సమీక్ష

నోటుబుక్ ఒక హైబ్రిడ్ బ్రౌజర్ ఆటోమేషన్ వర్క్‌ఫ్లోను చూపిస్తుంది:

  1. Chrome CDP సహితంగా ప్రారంభమవుతుంది కాబట్టి Playwright మరియు Browser-Use రెండువి ఒకే బ్రౌజర్ సెషన్‌ను పంచుకుంటాయి.
  2. Browser-Use ఏజెంట్ Airbnb తెరవడం, పాప్-అప్లను తొలగించడం, మరియు స్టాక్‌హోమ్ కోసం శోధించడం వంటి తెరవబడని నావిగేషన్ టాస్క్‌లను నిర్వహిస్తుంది.
  3. యాక్టివ్ పేజీని నిర్మిత Pydantic స్కీమాతో పరిశీలించి, లిస్టింగ్ శీర్షికలు, రాత్రి ధరలు, రేటింగ్‌లు, మరియు URLs ను తీసుకుంటుంది.
  4. Python తర్కం ఎగ్జ్ట్రాక్టెడ్ లిస్టింగ్స్‌ను సరిపోల్చి అతి తక్కువ ధరను ప్రదర్శిస్తుంది.

ఈ విధానం Browser-Use కి మంచిది అయిన సులభమైన, దృశ్య ఆధారిత తర్కాన్ని ఇస్తూ, మీరు కోరుకున్నప్పుడు నిర్దిష్ట బ్రౌజర్ నియంత్రణను కూడా అందిస్తుంది.

ప్రధాన భావాలు మరియు ఉత్తమ ఆచారాలు

ఏజెంట్ vs నటుడు ఎప్పుడు ఉపయోగించాలి

పరిస్థితి ఏజెంట్ ఉపయోగించాలి నటుడు ఉపయోగించాలి
డైనమిక్ లేఅవుట్లు అవును, AI పేజీ మార్పులకు సరిపోయేలా ఉంటుంది కాదు, సడలిన సెలెక్టర్లు తలమునకలు కలిగిస్తాయి
తెలిసిన నిర్మాణం కాదు, ఏజెంట్ ప్రత్యక్ష నియంత్రణ కంటే మెల్లగా ఉంటుంది అవును, వేగంగా మరియు ఖచ్చితంగా ఉంటుంది
మూలకాలు కనుగొనడం అవును, సహజ భాష బాగుంటుంది కాదు, ఖచ్చితమైన సెలెక్టర్లు అవసరం
సమయ నియంత్రణ కాదు, తక్కువ ఊహించదగినది అవును, వేచులు, పునఃప్రయత్నాలు పూర్ణ నియంత్రణలో ఉంటాయి
సంక్లిష్ట వర్క్‌ఫ్లోలు అవును, అనూహ్య UI పరిస్థితులను నిర్వహిస్తుంది కాదు, స్పష్టమైన బ్రాంచింగ్ అవసరం

Browser-Use ఉత్తమ ఆచారాలు

  1. అన్వేషణ మరియు డైనమిక్ నావిగేషన్ కోసం మొదట ఏజెంట్ తో ప్రారంభించండి.
  2. పరస్పర చర్య ఊహించదగినదైతే ప్రత్యక్ష పేజీ నియంత్రణకు మారండి.
  3. ఎగ్జ్ట్రాక్ట్ చేయబడింది డేటా సరిచూసుకోబడిన మరియు టైప్-సురక్షితమయ్యేలా నిర్మిత ఔట్‌పుట్ మోడల్స్ ఉపయోగించండి.
  4. కనిపించే UI మార్పులను ప్రేరేపించే చర్యల తర్వాత వ్యూహాత్మక ఆలస్యం జోడించండి.
  5. విఫలమవుతుంటే మరింత సులభంగా డీబగ్ చేయడానికి స్క్రీన్‌షాట్లను డబ్బకుండా తీసుకోండి.
  6. వెబ్‌సైట్ల మార్పును ఊహించి పాప్-అప్స్ మరియు లేఅవుట్ మార్పులకు ప్రతిస్పందించే వ్యూహాలను రూపొందించండి.
  7. ఏజెంట్ మరియు నటుడు నమూనాలను కలిపి సౌలభ్యం మరియు ఖచ్చితత్వాన్ని పొందండి.

బ్రౌజర్ ఏజెంట్ల సురక్షిత గార్డర్లు

బ్రౌజర్ ఏజెంట్లు ప్రత్యక్ష వెబ్‌సైట్లపై పనిచేస్తాయి, కాబట్టి అవి కేవలం గుర్తించిన APIని పిలుస్తూ స్క్రిప్ట్ కంటే ఎక్కువ పరిమితులు అవసరం. నోటుబుక్ డెమో నుండి వాస్తవ వర్క్‌ఫ్లోకు వెళ్ళేముందు, ఏజెంట్ చూడగలిగే, క్లిక్ చేయగలిగే, మరియు సమర్పించగలిగే నియంత్రణలను నిర్వచించండి.

  1. బ్రౌజింగ్ వాతావరణాన్ని పరిమితం చేయండి. ఏజెంట్‌ను ప్రత్యేక బ్రౌజర్ ప్రొఫైల్ లేదా శాండ్‌బాక్స్‌లో నడపండి, పని కోసం కావాల్సిన డొమైన్‌లకు పరిమితం చేయండి.
  2. పరిశీలనను చర్య నుండి వేరు చేయండి. ఏజెంట్ మొదట శోధించాలి, చదవాలి, డేటా తీసుకోవాలి; ఇంతకు ముందు ఫారమ్‌లు సమర్పించడం, సందేశాలు పంపడం, ప్రయాణ బుకింగ్ చేయడం, కొనుగోలు చేయడం, రికార్డులను తొలగించడం లేదా ఖాతా సెట్టింగులను మార్చడం పైన స్పష్టమైన ఆమోదం కావాలి.
  3. సంకేతాలను ప్రాంప్ట్స్ మరియు ట్రేస్‌లలో పెట్టవద్దు. పాస్‌వర్డ్‌లు, చెల్లింపు వివరాలు, సెషన్ కుకీలు, లేదా వ్యక్తిగత డేటాను మోడల్ సందర్భంలో పెట్టవద్దు. వినియోగదారు ఆథెంటికేషన్ కోసం మంజూరు తీసుకోవాలండి, మరియు logs నుండి సున్నితమైన ఫీల్డ్స్ తొలగించండి.
  4. పేజీ విషయాలను అనవసరమైన ఇన్‌పుట్‌గా పరిగణించండి. ఒక వెబ్‌సైట్ ఏజెంట్ కోసం సూచనలు ఉండవచ్చు, వినియోగదారుని అయితే కాదు. ఏజెంట్ దాని అసలు లక్ష్యాన్ని మార్చుకోవలసిన సూచనలు, డేటా బయటపెట్టడం, సేఫ్‌గార్డ్స్ నిలిపివేయడం, లేదా అనుసంధాన నేను వెబ్‌సైట్లకు వెళ్లడం బహిర్గతంగా పేజీ వచనం త‌ప్పించాలి.
  5. అదుపులో కాకపోవటానికి ప్రమాదకరమైన దశల చుట్టూ నిర్దిష్ట తనిఖీలను ఉపయోగించండి. ప్రస్తుతం URL, పేజీ శీర్షిక, ఎంచుకున్న అంశం, ధర, గ్రహీత, మరియు చర్య సంక్షిప్త వివరాన్ని కోడ్‌తో ధృవీకరించుకొని తుది దశకు వినియోగదారుని ఆమోదాన్ని అడగండి.
  6. బడ్జెట్లు మరియు ఆగిపోయే పరిస్థితులను సెట్ చేయండి. ఏజెంట్ ఉపయోగించే చర్యల, పునఃప్రయత్నాలకు, ట్యాబ్స్‌కు మరియు నిమిషాల సంఖ్యకు సరిహద్దులు ఉంచండి. పేజీ స్థితి అనిశ్చితమైనప్పుడు క్లిక్ చేయడంను ఎగదంటే ఆపండి.
  7. అన్ని సాక్ష్యాలను కాదు, ఉపయోగకరమైన సాక్ష్యాలను మాత్రమే రికార్డు చేయండి. చర్య సంక్షిప్తాలు, టైమ్‌స్టాంపులు, URLs, ఎంచుకున్న అంశ వివరణలు, మరియు స్క్రీన్‌షాట్ల సూచనలను ఉంచండి కాబట్టి విఫలమయిన దశలను పునశ్చర్య చేయవచ్చు, కానీ అవసరమైన అంతర్వేదిక పేజీ విషయాలను నిల్వ చేయకుండా ఉండండి.

Airbnb ఉదాహరణలో, సురక్షిత సడలింపు లిస్టింగ్లను శోధించడం మరియు ధరలను తీసుకోవడం. సైన్ ఇన్ కావడం, హోస్ట్‌ను సంప్రదించడం లేదా బుకింగ్ పూర్తి చేయడం వాడుకరి ఆమోదం తీసుకునే వేరు చర్య కావాలి.

వాస్తవ ప్రపంచ అప్లికేషన్లు

వాస్తవ ప్రపంచ ఉదాహరణ: Microsoft Project Opal

మీరు ఈ పాఠంలో నిర్మించే ఏజెంట్ ఒక చిన్న, స్థానిక సంస్కరణ కంప్యూటర్ వాడకం ఏజెంట్ (CUA) — ఒక వ్యక్తి చేసేటటువంటి ఒక్క బ్రౌజర్ ను నడుపుతుంది. Microsoft ఈ సిద్ధాంతాన్ని Project Opal (Frontier) ద్వారా Microsoft 365 Copilot లో సంస్థలకు అందిస్తోంది.

Project Opal తో, మీరు ఒక టాస్క్ వర్ణిస్తారు మరియు ఏజెంట్ మీ కోసం నిరోధిత Windows 365 Cloud PC లో కంప్యూటర్ వాడకం ద్వారా సంస్థ యొక్క బ్రౌజర్ ఆధారిత అనువర్తనాలు, సైట్ల, మరియు డేటా పై పనిచేస్తుంది. ఇది పరిశీలనలేని నేపథ్యంలో సమాంతరంగా పనిచేస్తుంది, మీరు పని పర్యవేక్షణ లేదా నియంత్రణ చేపట్టవచ్చు. ఉదాహరణ ఉద్యోగాలు:

Opal ఉత్పత్తి-గుణాత్మకమైన, విశ్వసనీయ కంప్యూటర్ వాడకం ఏజెంట్ ఏలా ఉండాలో ఒక ఉపయోగకరమైన సూచకంలా ఉంది — మరియు ఇది గత పాఠాల నుండి భావాలను పునరుద్ఘరించింది:

ఈ కోర్సు లో భావన Project Opal దానిని ఎలా వర్తిస్తుంది
మనుష్యుడు-మీద-నిలుపు (పాఠం 06) Opal లాగిన్ క్రెడెన్షియల్స్, సున్నితమైన డేటా, లేక నిర్దిష్ట సూచనల కోసం నిలిపివేస్తుంది, మరియు ఎప్పుడూ పాస్‌వర్డ్లు లేదా ఫారమ్‌లు వచ్చే ముందు స్పష్టమైన ఒప్పందం కోరుతుంది. మీరు మధ్యలో నియంత్రణ తీసుకోవచ్చు మరియు నియంత్రణ తిరిగి ఇవ్వచ్చు.
విశ్వసనీయ & సురక్షిత ఏజెంట్లు (పాఠాలు 06 & 18) వేరెటింగ్ Windows 365 Cloud PC లో నడుస్తుంది, బ్రౌజర్ మాత్రమే డిఫాల్ట్ (ఇతర కంప్యూటర్ యాక్సెస్ నిరోధించబడింది, Intune ద్వారా అమలు), మీ గుర్తింపును ఉపయోగించి మీరు అధికారం ఉన్న సమాచారానికి మాత్రమే యాక్సెస్, ప్రతిఎంతో పనులకు లాగ్స్.
ప్లానింగ్ & మెటాకగ్నిషన్ (పాఠాలు 07 & 09) Opal మొదట పనికి ప్లాన్ తయారుచేస్తుంది, ఆపై ప్రతి దశలో తాను చేసే తర్కాన్ని తనిఖీ చేస్తుంది, అనుమానాస్పద చర్య గుర్తించినప్పుడు ఆగిపోవచ్చు.
మళ్ళీ ఉపయోగించదగిన సామర్థ్యాలు / సకాల్లు (పాఠం 04) Skills ఇలా మళ్ళీ వాడే పనులకు స్క్రిప్టులను (.md ఫైల్ నుంచి దిగుమతి లేదా Opal తో రచించబడినవి) మీకు రాయనివ్వడం.

అందుబాటు: Project Opal ప్రస్తుతానికి Frontier మొంతవరుస ప్రోగ్రామ్ లో Microsoft 365 Copilot సబ్స్క్రిప్షన్ తో ఉన్న వినియోగదారులకు అందుబాటులో ఉంది, మరియు మీ అడ్మినిస్ట్రేటర్ సెటప్ పూర్తి చేయాలి. ఇది ప్రయోగాత్మక Frontier ఫీచర్ కాబట్టి సామర్థ్యాలు కాలంతో మారవచ్చు.

విజ్ఞాన పరీక్ష

తదుపరి పాఠానికి వెళ్లేముందు మీ అర్థం పరీక్షించుకోండి.

1. బ్రౌజర్ ఆధారిత కంప్యూటర్ వాడకం ఏజెంట్ API-మాత్రమే వర్క్‌ఫ్లో కంటే ఎప్పుడు మంచిది?

సమాధానం పని వెబ్ UI లో కనిపించే దానిపై ఆధారపడితే, సైట్ కావాల్సిన API ను అందించకపోతే, లేదా పేజీ తరచుగా మారిపోతే స్థిర API లేదా సెలెక్టర్ లాజిక్ సడలిపోవచ్చు. ఒక స్థిర API ఉంటే, అది సాధారణంగా వేగంగా, పరీక్షించడానికి సులభంగా, సురక్షితంగా ఉంటువందున APIని ప్రయోజన పడించండి.

2. ఒక హైబ్రిడ్ వర్క్‌ఫ్లోలో ఏ భాగాలను ఏజెంట్ నిర్వహించాలి మరియు ఏ భాగాలను ప్రత్యక్ష Playwright కోడ్ నిర్వహించాలి?

సమాధానం ఏజెంట్ తెరవని నావిగేషన్ మరియు డైనమిక్ UI పరిస్థితులను నిర్వహించాలి, ఉదాహరణకు సరైన పేజీ కనుగొనడం లేదా అనూహ్య పాప్-అప్లను తొలగించడం. పేజీ నిర్మాణం తెలిసినప్పుడు, ఖచ్చితత్వం, పునఃప్రయత్నాలు, వేచులు, లేదా నిర్దిష్ట ధృవీకరణ అవసరమైతే ప్రత్యక్ష Playwright నియంత్రణకు మారండి.

3. Airbnb ఉదాహరణలో, యూజర్ బుక్ చేసుకోవాలనుకుంటే లిస్టింగ్ ను కనుగొంటుంది. వర్క్‌ఫ్లో సైన్ ఇన్ చేయడం, హోస్ట్‌ను సంప్రదించడం, లేదా బుకింగ్ పూర్తి చేయడం ముందు ఏం జరిగాలి?

సమాధానం వర్క్‌ఫ్లో ఆగి యూజర్ స్పష్టమైన ఆమోదం అడగాలి. అడిగేముందు ఎంచుకున్న లిస్టింగ్, ప్రస్తుత URL, ధర, తేదీలు మరియు ఉద్దేశించిన చర్య యొక్క సంక్షిప్త వివరణ చూపించాలి. శోధన మరియు ధర ఎగ్జ్ట్రాక్షన్ స్వతంత్రంగా ఉండవచ్చు; ఖాతా యాక్సెస్, సందేశాలు, కొనుగోళ్లు, మరియు బుకింగ్లు వినియోగదారుల ఆమోదంతో మాత్రమే జరగాలి.

4. ఒక వెబ్ పేజీ ఏజెంట్ను దాని అసలు సూచనలను నిర్లక్ష్యించమని, మరో సైట్‌ను సందర్శించమని, మరియు సేవ్ చేసిన క్రెడెన్షియల్స్ బయటపెట్టమని చెప్తే ఏజెంట్ ఆ వచనాన్ని ఎలా పరిష్కరించాలి?

సమాధానం దాన్ని అనవసరమైన పేజీ విషయంగా పరిగణించండి, డెవలపర్ లేదా వినియోగదారి సూచనగా కాదు. ఏజెంట్ అనుమతించిన డొమైన్ మరియు పనుల పరిధిలో ఉండాలి, సీక్రెట్లు బయటపెట్టడాన్ని నిరాకరించాలి, లక్ష్యం మార్చే, సేఫ్‌గార్డ్స్ నిలిపేసే, లేదా అసంబంధిత సైట్లకు పంపే పేజీ వచనాన్ని అనుసరించవద్దు.

5. బ్రౌజర్ ఏజెంట్ నడవగా నిలుపుకునే సాక్ష్యం ఏమిటి, మరియు ఏమి నివారించాలి?

సమాధానం చర్య సంక్షిప్తాలు, టైమ్‌స్టాంపులు, URLs, ఎంచుకున్న అంశ వివరణలు, ధృవీకరణ ఫలితాలు, మరియు స్క్రీన్‌షాట్ సూచనలను ఉంచండి, తద్వారా నడుపును ఫిర్యాదు చేసుకోవచ్చు. పాస్‌వర్డ్‌లు, చెల్లింపు వివరాలు, సెషన్ కుకీలు, క్రూడ్ వ్యక్తిగత డేటా, లేదా పూర్తి పేజీ విషయాలను నిల్వ చేయడం నివారించండి, ఇతర ఏదైనా నిల్వ ఉద్దేశ్యం లేదా గోప్యత కారణం లేకపోతే.

అదనపు వనరులు

గత పాఠం

Microsoft ఏజెంట్ ఫ్రేమ్‌వర్క్ అన్వేషణ

తదుపరి పాఠం

విస్తరించదగిన ఏజెంట్లను అమరిక చెయ్యడం


అస్వీకరణ: ఈ పత్రం AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నిస్తున్నప్పటికీ, ఆటోమేటెడ్ అనువాదాలు తప్పులు లేదా అసమగ్రతలను కలిగి ఉండవచ్చు. దాని స్వదేశ భాషలో ఉన్న అసలు పత్రాన్ని అధికారం కలిగిన మూలంగా పరిగణించాలి. కీలకమైన సమాచారం కోసం, ప్రొఫెషనల్ మానవ అనువాదాన్ని సిఫారసు చేస్తాము. ఈ అనువాదం ఉపయోగం వల్ల కలిగే ఏవైనా అపార్థాలు లేదా తప్పుదారులు కోసం మేము బాధ్యత వహించము.