ការបង្កើតភ្នាក់ងារប្រើកុំព្យូទ័រ (CUA)
ភ្នាក់ងារប្រើកុំព្យូទ័រអាចធ្វើអន្តរកម្មជាមួយគេហទំព័រដូចនឹងមនុស្សម្នាក់ ដោយបើកកម្មវិធីរុករកទំព័រ ពិនិត្យមើលទំព័រ ហើយអនុវត្តន៍សកម្មភាពល្អបំផុតបន្ទាប់ពីបានមើលឃើញ។ នៅក្នុងមេរៀននេះ អ្នកនឹងបង្កើតភ្នាក់ងាររុករកដែលស្វែងរក Airbnb, ដកទិន្នន័យបញ្ជីដែលមានរចនាសម្ព័ន្ធ ហើយកំណត់ទីកន្លែងស្នាក់នៅថោកបំផុតនៅក្នុងទីក្រុង Stockholm។
មេរៀននេះបង្កប់ការប្រើប្រាស់ Browser-Use សម្រាប់ការរុករកដោយ AI, Playwright និង Chrome DevTools Protocol (CDP) សម្រាប់ការគ្រប់គ្រងកម្មវិធីរុករក, Azure OpenAI សម្រាប់ការវិភាគដោយចក្ខុវិស័យ និង Pydantic សម្រាប់ការដកទិន្នន័យដែលមានរចនាសម្ព័ន្ធ។
ការណែនាំ
មេរៀននេះនឹងគ្របដណ្តប់៖
- ការយល់ដឹងថាពេលណាភ្នាក់ងារប្រើកុំព្យូទ័រត្រូវបានគេសម្របសម្រួលល្អជាងការអូតូម៉ាស៊ី API តែម្ដង
- ការបង្កបញ្ចូល Browser-Use ជាមួយ Playwright និង CDP សម្រាប់ការគ្រប់គ្រងអាយុកាលកម្មវិធីរុករកយ៉ាងជឿជាក់
- ការប្រើ Azure OpenAI ចក្ខុវិស័យ និងលទ្ធផល Pydantic ដែលមានរចនាសម្ព័ន្ធដើម្បីដកទិន្នន័យបញ្ជីពីទំព័រវេបដែលមានលក្ខណៈញ័រ
- ការសម្រេចចិត្តពេលណាដើម្បីប្រើប្រាស់ភ្នាក់ងារ-ជាមុន អ្នកសម្តែង-ជាមុន ឬប្រភេទចម្រុះនៃដំណើរការរុករកកម្មវិធីរុករក
គោលបំណងត្រូវរៀន
បន្ទាប់ពីបញ្ចប់មេរៀននេះ អ្នកនឹងដឹងវិធី៖
- កំណត់ Browser-Use ជាមួយ Azure OpenAI និង Playwright
- បង្កើតដំណើរការអូតូម៉ាស៊ីកម្មវិធីរុករកដែលនាំអោយរុករកគេហទំព័រពិតប្រាកដ ហើយគ្រប់គ្រងធាតុ UI ដែលមានលក្ខណៈញ័រ
- ដកលទ្ធផលដែលមានប្រភេទពីមាតិកាតែមើលឃើញនៅលើទំព័រ ហើយបំលែងវាជាប្រតិកម្មអាជីវកម្មបន្ត
- ជ្រើសរើសរវាងគំរូភ្នាក់ងារ និងអ្នកសម្តែងផ្អែកលើភាពអាចទស្សន៍ទាយបាននៃភារកិច្ចក្នុងកម្មវិធីរុករក
ឧទាហរណ៍កូដ
មេរៀននេះមានមេរៀនតែមួយក្នុងសៀវភៅកំណត់ត្រា៖
- 15-browser-user.ipynb: ចាប់ផ្តើមសម័យ Chrome តាម CDP, ស្វែងរកបញ្ជី Airbnb របស់ Stockholm, ដកតម្លៃជាមួយ Browser-Use vision, ហើយបញ្ចូនជម្រើសថោកបំផុតជាទិន្នន័យដែលមានរចនាសម្ព័ន្ធ។
ការត្រៀមខ្លួន
- Python 3.12 ឡើងទៅ
- ការតំឡើង Azure OpenAI ដែលបានកំណត់ក្នុងបរិស្ថានរបស់អ្នក
- Chrome ឬ Chromium ត្រូវបានដំឡើងនៅក្នុងតំបន់ផ្ទាល់ខ្លួន
- តំឡើងលក្ខណៈផ្សេងៗរបស់ Playwright
- មានចំណេះដឹងមូលដ្ឋានអំពី async Python
ការតំឡើង
តំឡើងកញ្ចប់ដែលបានប្រើនៅក្នុងសៀវភៅកំណត់ត្រា៖
pip install browser_use playwright python-dotenv
playwright install chromium
កំណត់អថេរបរិស្ថាន Azure OpenAI ដែលបានប្រើនៅក្នុងសៀវភៅកំណត់ត្រា៖
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ជាជម្រើស ៖ អភិប្រាប់ទៅកាន់កំណត់ភាគ API ថ្មីបំផុតនៅពេលមិនបានបញ្ជាក់
AZURE_OPENAI_API_VERSION=...
ទិដ្ឋភាពទូទៅនៃស្ថาปត្យវិទ្យា
សៀវភៅកំណត់ត្រានេះបង្ហាញពីដំណើរការអូតូម៉ាស៊ីកម្មវិធីរុករកចម្រុះ៖
- Chrome ចាប់ផ្តើមដោយបើក CDP ដូច្នេះ Playwright និង Browser-Use អាចចែករំលែកសម័យរុករកដូចគ្នា។
- ភ្នាក់ងារប្រើ Browser-Use គ្រប់គ្រងភារកិច្ចរុករកដែលបើកចំហផ្ទាល់ ដូចជា បើក Airbnb, បិទបង្អួចផ្ទាំងផ្សាយពាណិជ្ជកម្ម, និងស្វែងរក Stockholm។
- ទំព័រដែលសកម្ម ត្រូវបានពិនិត្យជាមួយស្កីម៉ាផ្លូវការពី Pydantic ដើម្បីដកចំណងជើងបញ្ជី តម្លៃរាត្រី ពិន្ទុ និង URL។
- បច្ចេកវិទ្យាភីថាញ់ប្រៀបធៀបបញ្ជីដែលបានដក និងបញ្ចាំងលទ្ធផលថោកបំផុត។
វិធីសាស្ត្រនេះរក្សាទុកការត្រួតពិនិត្យដោយចក្ខុវិស័យដែលមានភាពបត់បែនដែល Browser-Use ល្អចំពោះវា ខណៈផ្តល់កំលាំងក្នុងការគ្រប់គ្រងកម្មវិធីរុករកដែលមានល្បឿនថ្្ចតពេលដែលអ្នកត្រូវការ។
ចំណុចសំខាន់ និងអនុវត្តន៍ល្អបំផុត
ពេលណាដើម្បីប្រើភ្នាក់ងារ បរិបូណ៍អ្នកសម្តែង
| ស្ថានភាព |
ប្រើភ្នាក់ងារ |
ប្រើអ្នកសម្តែង |
| រចនាសម្ព័ន្ធញ័រ |
បាទ/ចាស, AI អាចអនុវត្តឲ្យសម្រួលទៅការផ្លាស់ប្តូរទំព័រ |
ទេ, ជ្រើសរើសដែលងាយខូចធ្វើឲ្យខូច |
| រចនាសម្ព័ន្ធដែលបានដឹង |
ទេ, ភ្នាក់ងារយឺតជាងការត្រួតផ្ទាល់ |
បាទ/ចាស, លឿន និងច្បាស់លាស់ |
| ស្វែងរកធាតុ |
បាទ/ចាស, ភាសាធម្មជាតិដំណើរការល្អ |
ទេ, តម្រូវជ្រើសរើសត្រឹមត្រូវ |
| គ្រប់គ្រងពេលវេលា |
ទេ, អាចមិនទាន់ទស្សន៍ទាយបាន |
បាទ/ចាស, គ្រប់គ្រងពេញលេញលើការរង់ចាំ និងព្យាយាមម្តងទៀត |
| ដំណើរការលំបាក |
បាទ/ចាស, ដំណើរការចំណុច UI មិនគិតពីរបៀបដែលមិនបង្ហាញ |
ទេ, តម្រូវការប branching បញ្ជាក់ |
អនុវត្តន៍ល្អបំផុត Browser-Use
- ចាប់ផ្តើមជាមួយភ្នាក់ងារសម្រាប់ការស្វែងរក និងការរុករកញ័រ។
- ផ្លាស់ទៅគ្រប់គ្រងទំព័រតាមផ្ទាល់ពេលដែលអន្តរកម្មកាន់តែអាចទស្សន៍ទាយបាន។
- ប្រើម៉ូដែលលទ្ធផលដែលមានរចនាសម្ព័ន្ធ ដូច្នេះទិន្នន័យដែលបានដកត្រូវបានផ្ទៀងផ្ទាត់ និងមានប្រភេទសុរាប់
- បន្ថែមការពន្យារពេលយ៉ាងខ្លាំងបន្ទាប់ពីសកម្មភាពដែលបង្កើតបម្រែបម្រួល UI ដែលមើលឃើញ
- ចាប់យករូបភាពអេក្រង់ក្នុងអំឡុងពេល Iteration ដើម្បីឲ្យករណីខូចខាតងាយស្រួលដោះស្រាយ
- រំពឹងថាគេហទំព័រអាចផ្លាស់ប្តូរ និងរចនាសម្ព័ន្ធយុទ្ធសាស្ត្របម្រុងទុកសម្រាប់បង្អួចផ្សាយពាណិជ្ជកម្ម និងការផ្លាស់ប្តូរសម្រួល
- រួមបញ្ចូលគំរូភ្នាក់ងារ និងអ្នកសម្តែង ដើម្បីទទួលបានទាំងភាពបត់បែន និងភាពខ្ជាប់ខ្ជួន
ករណីប្រើប្រាស់ពិតប្រាកដ
- ការកក់ដំណើរកំសាន្ត និងតាមដានតម្លៃ
- ការប្រៀបធៀបទំនិញអេឡិចត្រូនិច និងការត្រួតពិនិត្យស្តុក
- ការដកទិន្នន័យដែលមានរចនាសម្ព័ន្ធពីគេហទំព័រដែលមានលក្ខណៈញ័រ
- ការពិនិត្យ UI ដោយមានចក្ខុវិស័យ និងការផ្ទៀងផ្ទាត់
- ការត្រួតពិនិត្យគេហទំព័រ និងការជូនដំណឹង
- ការបំពេញទម្រង់ឆ្លាតវៃតាមដំណើរការជាច្រើនជំហាន
ឯកសារបន្ថែម
ការដោះលែងពីកាតព្វកិច្ច៖
ឯកសារនេះត្រូវបានបកប្រែដោយប្រើសេវាបកប្រែ AI Co-op Translator។ ខណៈដែលយើងខំប្រឹងសំរាប់ភាពត្រឹមត្រូវ សូមជ្រាបថាការបកប្រែដោយស្វ័យប្រវត្តិអាចមានកំហុស ឬការមិនត្រឹមត្រូវ។ ឯកសារដើមនៅក្នុងភាសាទីតាំងគួរត្រូវបានពិចារណាថាជាអ្នកផ្តល់ព័ត៍មានដែលមានអំណាច។ សម្រាប់ព័ត៌មានសំខាន់ ការបកប្រែដោយអ្នកវិជ្ជាជីវៈមនុស្សត្រូវបានផ្ដល់អនុសាសន៍។ យើងមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកប្រែខុសពីការប្រើប្រាស់ការបកប្រែនេះឡើយ។