കമ്പ്യൂട്ടർ ഉപയോഗ ഏജന്റുകൾ (CUA) നിർമ്മിക്കുന്നത്
കമ്പ്യൂട്ടർ ഉപയോഗ ഏജന്റുകൾ ഒരാളുപോലെ വെബ്സൈറ്റുകളുമായി സംവദിക്കാം: ബ്രൗസർ തുറന്ന് പേജ് പരിശോധിച്ച് അവിടെ കാണുന്ന ഏറ്റവും മികച്ച അടുത്ത നടപടി സ്വീകരിച്ച്. ഈ പാഠത്തിൽ, നിങ്ങൾ Airbnb തിരയുന്ന, ഘടനാപരമായ ലിസ്റ്റിംഗ് ഡാറ്റ എടുക്കുന്ന, സ്റ്റോക്ക്ഹോംസിൽ ചെലവുകുറഞ്ഞ താമസം കണ്ടെത്തുന്ന ഒരു ബ്രൗസർ ഓട്ടോമേഷൻ ഏജന്റ് നിർമ്മിക്കും.
ഈ പാഠം AI-ഓടിയുള്ള നാവിഗേഷനായി Browser-Use, ബ്രൗസർ നിയന്ത്രണത്തിനായി Playwright, Chrome DevTools Protocol (CDP), ദൃശ്യസഹായകമായ വിവേകത്തിനായി Azure OpenAI, ഘടനാപരമായ എടുക്കലിനായി Pydantic എന്നിവ സംയോജിപ്പിക്കുന്നു.
പരിചയം
ഈ പാഠത്തിൽ ചർച്ചചെയ്യുന്നത്:
- API-മാത്രമുള്ള ഓട്ടോമേഷനേക്കാളും കമ്പ്യൂട്ടർ ഉപയോഗ ഏജന്റുകൾ മികച്ചപ്പോൾ മനസ്സിലാക്കൽ
- വിശ്വസനീയമായ ബ്രൗസർ ലൈഫ്സൈക്കിൾ മാനേജ്മെന്റിന് Browser-Use, Playwright, CDP സംയോജിപ്പിക്കൽ
- ഡൈനാമിക് വെബ് പേജുകളിൽ നിന്ന് ലിസ്റ്റിംഗ് ഡാറ്റ എടുക്കാൻ Azure OpenAI ദൃശ്യവും Pydantic ഘടനാപരമായ ഔട്ട്പുട്ടും ഉപയോഗിക്കൽ
- ഏജന്റ്-ആദ്യവും, ആക്റ്റർ-ആദ്യവും, ഹൈബ്രിഡ് ബ്രൗസർ ഓട്ടോമേഷൻ പ്രവൃത്തി പ്രവാഹങ്ങൾ എപ്പോൾ ഉപയോഗിക്കാം എന്ന് തീരുമാനിക്കൽ
പഠന ലക്ഷ്യങ്ങൾ
ഈ പാഠം പൂർത്തിയാക്കിയ ശേഷം, നിങ്ങൾക്ക് അറിയാം:
- Azure OpenAIയും Playwrightഉം കൊണ്ടുള്ള Browser-Use ക്രമീകരിക്കൽ
- യഥാർത്ഥ വെബ്സൈറ്റിൽ നാവിഗേറ്റ് ചെയ്യുന്ന, ഡൈനാമിക് UI ഘടകങ്ങൾ കൈകാര്യം ചെയ്യുന്ന ബ്രൗസർ ഓട്ടോമേഷൻ പ്രവൃത്തി പ്രവാഹം നിർമ്മിക്കൽ
- കാണുന്ന പേജ് ഉള്ളടക്കത്തിൽ നിന്നുള്ള ടൈപ്പുചെയ്ത ഫലങ്ങൾ എടുക്കുകയും അവ ബിസിനസ് ലജിക്കിലേക്ക് മാറ്റുകയും ചെയ്യുക
- ബ്രൗസർ ടാസ്ക് എത്രത്തോളം പ്രവചിക്കാൻ കഴിയുന്നു എന്നതിന്റെ അടിസ്ഥാനത്തിൽ ഏജന്റ്-ആണോ ആക്റ്റർ മോഡലാണോ തിരഞ്ഞെടുക്കുക
കോഡ് സാമ്പിൾ
ഈ പാഠത്തിൽ ഒരു നോട്ട്ബുക്ക് ട്യൂട്ടോറിയൽ ഉൾക്കൊള്ളുന്നു:
- 15-browser-user.ipynb: CDP വഴി ഒരു ക്രോം സെഷൻ ആരംഭിക്കുകയും, സ്റ്റോക്ക്ഹോം ലിസ്റ്റിങ്ങുകൾ Airbnbയിൽ തിരയുകയും, Browser-Use ദൃശ്യം ഉപയോഗിച്ച് വിലകൾ എടുക്കുകയും, ഏറ്റവും കുറഞ്ഞ ഓപ്ഷൻ ഘടനാപരമായി തിരികെ നൽകുകയും ചെയ്യുന്നു.
മുൻഔഷധങ്ങൾ
- Python 3.12+ വേണം
- നിങ്ങളുടെ പരിസര میں Azure OpenAI ഡിപ്ലോയ്മെന്റ് ക്രമീകരിച്ചിരിക്കണം
- ക്രോം അല്ലെങ്കിൽ ക്രോമിയം ലോക്കൽ ഇൻസ്റ്റാൾ ചെയ്തിരിക്കണം
- Playwright ആശ്രിതങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്തിരിക്കണം
- അസിങ്ക് Python അടിസ്ഥാന പരിചയം
ക്രമീകരണം
നോട്ട്ബുക്കിൽ ഉപയോഗിക്കുന്ന പാക്കേജുകൾ ഇൻസ്റ്റാൾ ചെയ്യുക:
pip install browser_use playwright python-dotenv
playwright install chromium
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ഐച്ഛികം: ഒഴിവാക്കുമ്പോൾ ഏറ്റവും പുതിയ API പതിപ്പിലേക്ക്默നെ എത്തും
AZURE_OPENAI_API_VERSION=...
- CDP പ്രവർത്തനസജ്ജമാക്കി ക്രോം ആരംഭിക്കുന്നു അതിനാൽ Playwrightനും Browser-Useനും ഒരേ ബ്രൗസർ സെഷൻ പങ്ക് വയ്ക്കാം.
- Airbnb തുറക്കുക, പോപ്പ്-അപ്പുകൾ കളയുക, സ്റ്റോക്ക്ഹോം തിരയുക എന്ന പോലുള്ള തുറന്ന നാവിഗേഷൻ ടാസ്കുകൾ Browser-Use ഏജന്റ് കൈകാര്യം ചെയ്യുന്നു.
- സജീവ പേജ് Pydantic ഘടനാപരമായ സ്കീമ ഉപയോഗിച്ച് ലിസ്റ്റിംഗ് തലക്കെട്ടുകൾ, രാത്രിമൂല്യങ്ങൾ, റേറ്റിങ്ങുകൾ, URLs എന്നിവ എടുക്കാൻ പരിശോധിക്കുന്നു.
| സ്ഥിതി |
ഏജന്റ് ഉപയോഗിക്കുക |
ആക്റ്റർ ഉപയോഗിക്കുക |
| ഡൈനാമിക് ലേയ്ഔട്ടുകൾ |
ഉണ്ട്, AI പേജ് മാറ്റങ്ങൾക്കു അനുയോജ്യമായി മാറും |
ഇല്ല, തകർച്ചയായ സെലക്ടർമാർ ബ്രേക്കാകും |
| അറിയപ്പെടുന്ന ഘടന |
ഇല്ല, ഏജന്റ് നേരിട്ടു നിയന്ത്രിക്കുന്നതിനേക്കാൾ മന്ദമാണ് |
ഉണ്ട്, വേഗത്തോടെ ശരിയാക്കി |
| ഘടകങ്ങൾ കണ്ടെത്തൽ |
ഉണ്ട്, സ്വാഭാവിക ഭാഷ നല്ലതാണ് |
ഇല്ല, കൃത്യമായ സെലക്ടറുകൾ വേണം |
| സമയ നിയന്ത്രണം |
ഇല്ല, പ്രവചിക്കാനാവാത്തതാണ് |
ഉണ്ട്, കാത്തിരിക്കുന്നത്, പുനരത്യക്കലുകൾ എന്നിവ പൂർണ്ണ നിയന്ത്രണം |
- ആകസംശോധനംയും ചലനാത്മകമായ നാവിഗേഷനുമായി ഏജന്റ് ഉപയോഗിച്ച് ആരംഭിക്കുക.
- ഇടപെടൽ പ്രവചിക്കാൻ കഴിയുന്നപ്പോൾ നേരിട്ടു പേജ് നിയന്ത്രണത്തിലേക്ക് മാറുക.
- എടുക്കുന്ന ഡാറ്റ സ്ഥിരീകരിക്കപ്പെട്ടും ടൈപ്പ് സുരക്ഷിതവുമാകാൻ ഘടനാപരമായ模式ുകൾ ഉപയോഗിക്കുക.
- കണപ്രവർത്തനങ്ങൾ എപ്പോൾ UI മാറ്റങ്ങൾ ഉണ്ടാക്കുന്നു അവരുടെ ശേഷം സംയമിതമായ വൈകിപ്പിക്കലുകൾ ചേർക്കുക.
- പിഴവുകൾ എളുപ്പത്തിൽ കണ്ടെത്താൻ സ്ക്രീൻഷോട്ടുകൾ എടുക്കുക.
-
വെബ്സൈറ്റുകളിൽ മാറ്റം സംഭവിക്കുമെന്ന് കരുതി പോപ്പ്-അപ്പുകൾക്കും ലേയ്ഔട്ട് മാറ്റങ്ങൾക്കും ബാക്ക്അപ്പ് നയങ്ങൾ രൂപകല്പന ചെയ്യുക.
- ബ്രൗസിംഗ് പരിസ്ഥിതി പരിധിയിടുക. ഏജന്റ് ഒരു സമർപ്പിത ബ്രൗസർ പ്രൊഫൈലിലോ സാൻഡ്ബോക്സിലോ പ്രവർത്തിപ്പിക്കുക, ടാസ്കിനായി ആവശ്യമുള്ള ഡൊമൈൻമാർക്ക് മാത്രമേ അഡ്രസ് ചെയ്യാവൂ.
- കാണൽ പ്രവർത്തനത്തിൽ നിന്നു വേർതിരിക്കുക. ആദ്യം ഏജന്റ് തിരയുകയും വായിക്കുകയും ഡാറ്റ എടുക്കുകയും ചെയ്യട്ടെ; ഫോം സമർപ്പിക്കൽ, സന്ദേശങ്ങൾ അയയ്ക്കൽ, യാത്ര ബുക്ക് ചെയ്യൽ, ഓർഡറുകൾ മാറ്റൽ, അക്കൗണ്ട് ക്രമീകരണങ്ങൾ മാറ്റൽ എന്നിവ നിബന്ധനാസ്പദമായ അംഗീകാരത്തോടെ ആകട്ടെ.
- സ്വകാര്യ വിവരങ്ങൾ പ്രംപ്റ്റുകളും ട്രേസുകളും വിട്ട് വെയ്ക്കരുത്. പാസ്വേഡുകൾ, പെയ്മെന്റ് വിശദാംശങ്ങൾ, സഷൻ കുക്കികൾ, വ്യക്തിഗത കച്ചവടം മോഡലിന്റെ കോൺടെക്സ്റ്റ് നൽകരുത്. ഉപയോക്താവ് ഓത്തന്റിക്കേഷൻ ഏറ്റെടുത്ത് ലോഗുകളിൽ നിന്ന് сезേഹം ഉള്ള ഫീൽഡുകൾ നീക്കംചെയ്യണം.
- പേജ് ഉള്ളടക്കം വിശ്വാസമില്ലാത്ത ഇൻപുട്ടായി പരിഗണിക്കുക. ഒരു വെബ്സൈറ്റ് ഏജന്റിനായി മാത്രമാണ് വേണ്ടി സൂചനകൾ നൽകിയിരിക്കുന്നത്, ഉപയോക്താവിനല്ല. ലക്ഷ്യം മാറ്റുക, സുരക്ഷാ സംവിധാനങ്ങൾ അപ്രാപ്തമാക്കുക, ബന്ധമില്ലാത്ത സൈറ്റുകൾ സന്ദർശിക്കുക തുടങ്ങിയ തീയറ്ററുകൾ ഏജന്റ് അവഗണിക്കണം.
- അപായകരമായ ഘട്ടങ്ങൾ ചുറ്റും നിർവ്വചിത പരിശോധനകൾ നടത്തുക. ഇപ്പോഴുള്ള URL, പേജ് ഹെഡർ, തെരഞ്ഞെടുക്കപ്പെട്ട ഇനങ്ങൾ, വില, സ്വീകരിച്ചയാളുടെ വിവരങ്ങൾ, നടപടി സംഗ്രഹം എന്നിവ കോഡിലൂടെ സ്ഥിരീകരിച്ച് ഉപയോക്താവിന്റെ അംഗീകാരം ചോദിക്കുക.
- ബജറ്റുകളും നിർത്തൽ നിബന്ധനകളും സജ്ജമാക്കുക. ഏജന്റ് അനുവദിക്കാവുന്ന പ്രവർത്തനങ്ങൾ, പുനരാവർത്തനങ്ങൾ, ടാബുകൾ, സമയം എന്നിവ പരിധിയിടുക. പേജ് അവസ്ഥ അർത്ഥവത്തല്ലെങ്കിൽ ക്ലിക്കിംഗ് തുടർന്നാൽ പകരം നിർത്തുക.
| കോഴ്സിലെ ആശയം |
Project Opal അത് എങ്ങനെ പ്രയോഗിക്കുന്നു |
| മനുഷ്യൻ ഇടപെടൽ (പാഠം 06) |
Opal ലോഗിൻ ക്രെഡൻഷ്യലുകൾ, സംവേദനാത്മക ഡാറ്റ, അനിശ്ചിത നിർദ്ദേശങ്ങൾക്കായി നിർത്തുന്നു, പാസ്വേഡുകൾ നൽകാതെയും ഫോം സമർപ്പിക്കാതെയും വേണ്ടതിൽ തുടരും. നിങ്ങൾ ഇടപെടുകയും നിയന്ത്രണം തിരികെ വാങ്ങുകയും ചെയ്യാം. |
| വിശ്വസനീയവും സുരക്ഷിതവുമായ ഏജന്റുകൾ (പാഠങ്ങൾ 06 & 18) |
വിഛേദിച്ച Windows 365 ക്ലൗഡ് PC-ൽ പ്രവർത്തിക്കുന്നു, ഡീഫോൾടായി ബൗസർ മാത്രമേ പ്രവർത്തിക്കൂ (മറ്റ് ഉപകരണ പ്രവേശനം തടയപ്പെട്ടിട്ടുണ്ട്, Intune വഴി), നിങ്ങളുടെ ഐഡൻറിറ്റി ഉപയോഗിച്ച് അനുമതികൾ ഉള്ള മുകളിൽ മാത്രമേ പ്രവേശിക്കൂ, ഓഡിറ്റിനായി എല്ലാ പ്രവർത്തനങ്ങളും ലോഗ് ചെയ്യുന്നു. |
| പ്ലാനിങ് & മെറ്റാകോഗ്നിഷൻ (പാഠങ്ങൾ 07 & 09) |
Opal ജോലി മുമ്പേ ഒരു പദ്ധതി രൂപകൽപ്പന ചെയ്ത് ഓരോ ഘട്ടത്തിലും സ്വന്തം വിവേകത്തിന് മേൽനോട്ടം വഹിക്കുകയും, സംശയാസ്പദ പ്രവർത്തനം കണ്ടെത്തിയാൽ നിർത്തിയും ചെയ്യുന്നു. |
വെബ് UIയിൽ കാണുന്നതിൽ ടാസ്ക് ആശ്രയിച്ചിരിക്കുകയെങ്കിൽ, സൈറ്റ് ആവശ്യമായ API ലഭ്യമാക്കിയിരിക്കുന്നില്ലെങ്കിൽ, പേജ് മാറ്റം സ്വഭാവമുണ്ട് എങ്കിൽ ബ്രൗസർ ഏജന്റ് ഉപയോഗിക്കുക. സ്ഥിരമായ API ഉണ്ടെങ്കിൽ അത് ഉപയോഗിക്കുക; അത് വേഗത്തിൽ, പരീക്ഷിക്കാൻ എളുപ്പവും, സുരക്ഷിതവുമാണ്.
തുറന്ന നാവിഗേഷനും ചലനാത്മക UI അവസ്ഥകളും ഏജന്റ് കൈകാര്യം ചെയ്യട്ടെ, ഉദാഹരണത്തിന് അനുയോജ്യമായ പേജ് കണ്ടെത്തൽ, അനായാസ പോപ്പ്-അപ്പുകൾ കളയൽ. പേജ് ഘടന നിശ്ചിതമാണ്, നീട്ടലുകൾ, കാത്തിരിപ്പുകൾ, പുനരവലംബ പരിശോധന ആവശ്യമാണ് എങ്കിൽ നേരിട്ടുള്ള Playwright നിയന്ത്രണം ഉപയോഗിക്കുക.
പ്രവൃത്തി പ്രവാഹം നിർത്തുകയും വ്യക്തമായ ഉപയോക്തൃ അംഗീകാരം ആവശ്യപ്പെടുകയും വേണം. ആവശ്യപ്പെടുന്നതിന് മുമ്പ് തിരഞ്ഞെടുക്കപ്പെട്ട ലിസ്റ്റിംഗ്, നിലവിലെ URL, വില, തീയതികൾ, ലക്ഷ്യമിട്ട പ്രവർത്തനം വ്യക്തമാക്കുന്ന ഒരു സംഗ്രഹം കാണിക്കണം. തിരയും വില എടുക്കലും സ്വയംടുന്ന autonomously ചെയ്യാം; അക്കൗണ്ട് പ്രവേശനം, സന്ദേശങ്ങൾ, വാങ്ങൽ, ബുക്കിങ് എന്നിവ ഉപയോക്തൃ അംഗീകാരമുള്ളവ ആകണം.
ഇത് വിശ്വാസമില്ലാത്ത പേജ് ഉള്ളടക്കമായും, ഡെവലപ്പർ അല്ലെങ്കിൽ ഉപയോക്തൃ നിർദ്ദേശമായും പരിഗണിക്കരുത്. ഏജന്റ് അനുവദിച്ചിരിക്കുന്ന ഡൊമെയ്ൻ പരിധിയിലും ടാസ്ക് പരിധിയിലും തുടരുകയും രഹസ്യങ്ങൾ വെളിപ്പെടുത്താൻ മുടക്കുകയും ലക്ഷ്യം മാറ്റുന്ന, സുരക്ഷ ഓർക്കാ ചെയ്യുന്ന, ബന്ധമില്ലാത്ത സൈറ്റുകൾ സന്ദർശിക്കുന്ന പേജ് ടെക്സ്റ്റ് പിന്തുടരുന്നതിൽ നിന്ന് ഒഴിവാകണം.
പ്രവർത്തന സംഗ്രഹങ്ങൾ, ടൈംസ്റ്റാമ്പുകൾ, URLs, തെരഞ്ഞെടുക്കപ്പെട്ട ഘടകങ്ങളുടെ വിവരണങ്ങൾ, സ്ഥിരീകരണ ഫലങ്ങൾ, സ്ക്രീൻഷോട്ട് രേഖകൾ സംരക്ഷിക്കുക ώστε പ്രവർത്തനം പരിശോധിക്കാൻ കഴിയും. പാസ്വേഡുകൾ, പെയ്മെന്റ് വിശദാംശങ്ങൾ, കുക്കികൾ, വ്യക്തിഗത കച്ചവടം, പൂർണ പേജ് ഉള്ളടക്കം സൂക്ഷിക്കാനുള്ള പ്രത്യേക കാരണങ്ങളില്ലാതെ ഒഴിവാക്കണം.
## അധിക സ്രോതസുകൾ
- [Project Opal (Frontier) ആരംഭിക്കുക](https://support.microsoft.com/en-us/microsoft-365-copilot/get-started-with-project-opal-frontier)
- [Browser-Use Playwright സംയോജനം ടെംപ്ലേറ്റ്](https://docs.browser-use.com/examples/templates/playwright-integration)
- [Browser-Use ആക്റ്റർ പാരാമീറ്ററുകളും ഉള്ളടക്കം എടുക്കലും](https://docs.browser-use.com/customize/actor/all-parameters)
- [കോഴ്സ് ക്രമീകരണം](/ai-agents-for-beginners/translations/ml/00-course-setup/)
## മുൻ പാഠം
[Microsoft ഏജന്റ് ഫ്രെയിംവർക്ക് എക്സ്പ്ലോറിംഗ്](/ai-agents-for-beginners/translations/ml/14-microsoft-agent-framework/)
## അടുത്ത പാഠം
[സ്കെയിലബിൾ ഏജന്റുകൾ വിനിയോഗിക്കൽ](/ai-agents-for-beginners/translations/ml/16-deploying-scalable-agents/)
---
**അറിയിപ്പ്**:
ഈ രേഖ AI പരിഭാഷാ സേവനം [Co-op Translator](https://github.com/Azure/co-op-translator) ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല.