ကွန်ပျူတာအသုံးပြု အေးဂျင့်များ (CUA) တည်ဆောက်ခြင်း
ကွန်ပျူတာအသုံးပြု အေးဂျင့်များသည် လူတစ်ဦးက ပြုလုပ်သလို ဝဘ်ဆိုက်များနှင့် အပြန်အလှန် ဆက်သွယ်နိုင်သည်။ ဥပမာ - ဘရောဇာကို ဖွင့်ခြင်း၊ စာမျက်နှာကို စစ်ဆေးခြင်း၊ မြင်တွေ့ရသည့်အရာများအရနောက်ထပ်အကောင်းဆုံး လုပ်ဆောင်ချက်ကိုယူခြင်း။ ဒီသင်ခန်းစာမှာတော့ Airbnb ကို ရှာဖွေပြီး၊ ဖော်ပြထားသော ပြဇယားဒေတာများကို ထုတ်ယူကာ စတော့ခ်ဟိုးလ်မှုမြို့က အလျော့ဆုံး နေရာကို စစ်ဆေးဖော်ထုတ်မယ့် ဘရောဇာ အော်တိုမေးရှင်း အေးဂျင့်တစ်ခု ဖန်တီးပါမယ်။
ဒီသင်ခန်းစာမှာ AI ဉာဏ်ရည်လမ်းညွှန်မှုအတွက် Browser-Use ကို အသုံးပြုပြီး Playwright နှင့် Chrome DevTools Protocol (CDP) တို့မှ ဘရောဇာ ထိန်းချုပ်ခြင်း၊ Azure OpenAI အတွက် မြင်ကွင်းစွမ်းဆောင်နိုင်မှုနှင့် Pydantic ဖြင့် ဖွဲ့စည်းထားသော ဒေတာ ထုတ်ယူမှုတို့ကို ပေါင်းစပ်ထားပါသည်။
နိဒါန်း
ဒီသင်ခန်းစာမှာ လေ့လာရမည့်အကြောင်းအရာများမှာ -
- ကွန်ပျူတာအသုံးပြု အေးဂျင့်များသည် API အသုံးပြုခြင်းထက် ဘယ်အချိန်ပို၍ သင့်တော်မလဲ ဆိုတာနားလည်ခြင်း
- Browser-Use ကို Playwright နှင့် CDP တို့နှင့် ပေါင်းစပ်၍ ဘရောဇာ၏ သေချာသည့် လည်ပတ်မှုကို စီမံခန့်ခွဲခြင်း
- Azure OpenAI မြင်ကွင်းစွမ်းဆောင်မှုနှင့် ဖွဲ့စည်းထားသော Pydantic ထွက်ရှိမှုကနေ dynamic ဝဘ်စာမျက်နှာများမှ အချက်အလက်များကို ထုတ်ယူခြင်း
- ဘယ်အချိန်အေးဂျင့်ပထမ၊ အက်တာပထမ သို့မဟုတ် ဟိုက်ဘရစ် ဘရောဇာ အော်တိုမေးရှင်း လုပ်ထုံးလုပ်နည်း ကိုအသုံးပြုရန် ဆုံးဖြတ်ခြင်း
သင်ယူရမည့် ရည်မှန်းချက်များ
ဒီသင်ခန်းစာပြီးမြောက်စေပြီးနောက် -
- Browser-Use ကို Azure OpenAI နှင့် Playwright နှင့် ဖြင့် ကွန်ဖစ်ချာရေးရှင်းပြုလုပ်နည်း ကို သိရှိတတ်မြောက်မည်ဖြစ်သည်။
- မှန်ကန်သော ဝဘ်ဆိုက်တစ်ခု သို့ သွားရောက်ပါက dynamic UI အချက်အလက်ကို ကိုင်တွယ်နိုင်သော ဘရောဇာ အော်တိုမေးရှင်း လမ်းကြောင်း တည်ဆောက်နိုင်မည်။
- မြင်တွေ့ရသော စာမျက်နှာအကြောင်းအရာမှ စနစ်တကျ ရလဒ်များကို ထုတ်ယူကာ နောက်တကြောင်း စီးပွားရေး ဇိမ်ခံအဖြစ် အကောင်အထည်ဖော်နိုင်မည်။
- ဘရောဇာတာဝန်မှာ မည်မျှ ခန့်မှန်းနိုင်သည်ကို စဉ်းစားပြီး အေးဂျင့်နှင့် အက်တာ ပုံစံ များအကြား ရွေးချယ်နိုင်မည်။
ကုဒ်နမူနာ
ဒီသင်ခန်းစာတွင် တစ်ခုတည်းသော နိုက်ဘွတ်ပ် သင်ခန်းစာပါဝင်သည် -
- 15-browser-user.ipynb: CDP မှတစ်ဆင့် Chrome session ကို စတင်ကာ Airbnb တွင် စတော့ခ်ဟိုးလ်မှုစာရင်းများ ရှာဖွေပြီး၊ Browser-Use မြင်ကွင်းစွမ်းဆောင်မှုဖြင့် စျေးနှုန်းများ ထုတ်ယူကာ အလျော့ဆုံးရွေးချယ်စရာကို ဖော်ပြသည်။
လိုအပ်ချက်များ
- Python 3.12+
- သင့်ပတ်ဝန်းကျင်တွင် Azure OpenAI deployment ကို ကောင်းစွာ configuration ပြုလုပ်ထားခြင်း
- Chrome သို့မဟုတ် Chromium ကို ဒေသတွင်းတွင် ထည့်သွင်းထားခြင်း
- Playwright ကို ထည့်သွင်းထားခြင်း
- async Python များအတွက် အခြေခံသိမြင်မှု ရှိခြင်း
စတင်ပြင်ဆင်ခြင်း
နိုက်ဘွတ်ပ်တွင် အသုံးပြုထားသည့် package များကို ထည့်သွင်းပါ။
pip install browser_use playwright python-dotenv
playwright install chromium
နိုက်ဘွတ်ပ်တွင် သုံးသော Azure OpenAI ပတ်ဝန်းကျင် အပြောင်းအလဲများကို သတ်မှတ်ပါ။
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ရွေးချယ်စရာ: ဖျက်ထားလျှင် နောက်ဆုံး API ဗားရှင်းကို အသုံးပြုမည်ဖြစ်သည်
AZURE_OPENAI_API_VERSION=...
စီမံချက်ဆန်းစစ်ခြင်း
နိုက်ဘွတ်ပ်မှာ ဟိုက်ဘရစ် ဘရောဇာ အော်တိုမေးရှင်း လုပ်ထုံးလုပ်နည်းတစ်ခုကို ပြသထားသည် -
- Chrome ကို CDP ဖြင့် စတင်ကာ Playwright နှင့် Browser-Use တို့သည် တူညီသော ဘရောဇာ အစက်အတွဲမှ ဝေမျှ အသုံးပြုနိုင်ရန်။
- Browser-Use အေးဂျင့်သည် Airbnb ဖွင့်ခြင်း၊ ပေါ့ပ်အပ်များ ပိတ်ပင်ခြင်း၊ စတော့ခ်ဟိုးလ်မှုအစီအစဉ် ရှာဖွေခြင်း စသော ဖွင့်လှစ်ထားသည့် လမ်းကြောင်း လုပ်ငန်းများကို ကိုင်တွယ်သည်။
- လက်ရှိ စာမျက်နှာကို Pydantic ဖွဲ့စည်းပုံနှင့် နှိုင်းယှဉ်၍ စာရင်းပိုင်းခေါင်းစဉ်များ၊ တစ်ညစျေးနှုန်းများ၊ အမှတ်အသားများနှင့် URL များ ထုတ်ယူသည်။
- Python လုပ်ငန်းစဉ်သည် ထုတ်ယူထားသော စာရင်းများကို နှိုင်းယှဉ်ပြီး အလျော့ဆုံး ရလဒ်ကို ဖော်ပြသည်။
ဒီနည်းလမ်းက Browser-Use ၏ ချဉ်းကပ်မှု့ ဝါရင့်မြောက်မှုနှင့် ပေါင်းစပ်ကာ ဘရောဇာ ထိန်းချုပ်မှု ပေါ်မှာ သေချာမြဲမြံစွာ ထိန်းချုပ်ပေးသည်။
အဓိကယူဆချက်များနှင့် အကောင်းဆုံး လေ့လာမှုများ
Agent နှင့် Actor တို့ကို ဘယ်အချိန်အသုံးပြုမလဲ
| ကိစ္စရပ် |
Agent အသုံးပြု |
Actor အသုံးပြု |
| Dynamic layout များ |
ဟုတ်ကဲ့၊ AI က စာမျက်နှာပြောင်းလဲမှုများကို ကိုက်ညီစွာ ပြုပြင်နိုင်သည် |
မဟုတ်ပါ၊ ခွဲခြားရခက်သော selector များပျက်ကျနိုင်သည် |
| သိရှိသော ဖွဲ့စည်းပုံ |
မဟုတ်ပါ၊ agent သည် တိုက်ရိုက် ထိန်းချုပ်ခြင်းထက် များအလျင်ရှိသည် |
ဟုတ်ကဲ့၊ မြန်ဆန်ပြီး တိကျသည် |
| သင့်လျော်သော အချက်အလက် ရှာဖွေရန် |
ဟုတ်ကဲ့၊ သဘာဝဘာသာစကား ကောင်းစွာ အလုပ်လုပ်သည် |
မဟုတ်ပါ၊ တိကျသည့် selector များသာ လိုအပ်သည် |
| အချိန် စောင့်ကြည့်မှု |
မဟုတ်ပါ၊ ခန့်မှန်းရန် ပို သိပ်ခက်သည် |
ဟုတ်ကဲ့၊ စောင့်ကြည့်ခြင်းနှင့် ထပ်မံကြိုးစားမှုကို ထိန်းချုပ်မှု ပြည့်စုံသည် |
| လုပ်ငန်းစဉ်ရှုပ်ထွေးမှု |
ဟုတ်ကဲ့၊ မမျှော်လင့်ထားသော UI အခြေအနေများကို ကိုင်တွယ်နိုင်သည် |
မဟုတ်ပါ၊ သေချာသော များဖွားမှုများ လိုအပ်သည် |
Browser-Use အကောင်းဆုံး အလေ့အထ
- စူးစမ်းနောက်တန်း လမ်းတစ်ခုအဖြစ် agent နှင့် dynamic navigation ကို စတင်ပါ။
- အပြန်အလှန် ချိန်ညှိမှုမှာ ထင်ရှားလာသောအခါ တိုက်ရိုက် စာမျက်နှာ ထိန်းချုပ်ခွင့်ကို ပြောင်းလဲပါ။
- ဖွဲ့စည်းထားသော ထွက်ရှိမှု မော်ဒယ်များကို သုံးပါ၊ ရယူထားသော ဒေတာများသည် သက်သေပြ၍ ဘာသာအမျိုးအစား လုံခြုံသည်ဖြစ်ပါစေ။
- မြင်သာသော UI ပြောင်းလဲမှုများကို ဖြစ်စေသော လုပ်ဆောင်ချက်များနောက် ညှိနှိုင်းမှုများ ထည့်ပါ။
- အလုပ်ဖြစ်မှုဆူးစက်များ ရှိနေပါက အဆင့်ဆင့် ပြန်လည်ကြည့်ရှုရေး ရိုက်ချက်များ ဖမ်းယူပါ။
- ဝဘ်ဆိုက်များ ပြောင်းလဲနိုင်တယ်ဟု မျှော်လင့်ပြီး ပေါ့ပ်အပ်များနှင့် layout ရွေ့ပြောင်းမှုများအတွက် အကာအကွယ်လမ်းကြောင်းများကို ဒီဇိုင်းဆွဲပါ။
- အေးဂျင့်နှင့် အက်တာ ပုံစံများကို ပေါင်းစပ်၍ နူးညံ့မှုနှင့် တိကျမှု နှစ်မျိုးလုံး ရရှိစေပါ။
အမှန်တကယ် အသုံးချမှုများ
- ခရီးသွား စာရင်းနှင့် စျေးနှုန်း စောင့်ကြည့်မှု
- အီလက်ထရွန်နစ်ကိရိယာ စျေးနှုန်း နှိုင်းယှဥ်ခြင်းနှင့် ရရှိနိုင်မှု စစ်ဆေးချက်
- Dynamic ဝဘ်ဆိုက်များမှ ဖွဲ့စည်းထားသော ဒေတာ ထုတ်ယူမှု
- မြင်ကွင်း သိမြန် UI စမ်းသပ်ခြင်းနှင့် အတည်ပြုခြင်း
- ဝဘ်ဆိုက် စောင့်ကြည့်ခြင်းနှင့် သတိပေးမှုများ
- အဆင့်အတန်း မျိုးစုံဖြင့် အသေးစိတ်သွင်းခြင်း။
နောက်ထပ် အရင်းအမြစ်များ
ကွဲပြားချက်
ဤစာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှုဖြစ်သော Co-op Translator ကို အသုံးပြုပြီး ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးပမ်းခဲ့သော်လည်း အလိုအလျှောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မှားယွင်းမှုများ ပါဝင်နိုင်ကြောင်း ကျေးဇူးပြု၍ သိရှိထားပါရန်။ ထိုစာတမ်း၏ မူရင်းဘာသာဖြင့် ရေးသားထားသော အကျဉ်းချုပ်သည် အတည်ပြုရမည့် အရင်းအမြစ်ဖြစ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ပညာရှင်များ၏ ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုအား အသုံးပြုပြီး စိုးရိမ်မှုများ သို့မဟုတ် မှားထင်မှားယွင်းမှုများ ဖြစ်ပေါ်လာပါက ကျွန်ုပ်တို့ပိုင်ဆိုင်သော တာဝန်မရှိပါ။