ai-agents-for-beginners

ការសម្រុកភ្នាក់ងារប្រើបាស់កុំព្យូទ័រ (CUA)

ភ្នាក់ងារប្រើបាស់កុំព្យូទ័រអាចធ្វើអន្តរកម្មជាមួយគេហទំព័រដូចដែលមនុស្សធ្វើបាន៖ ដោយបើកកម្មវិធីរុករក, ពិនិត្យមើលទំព័រ, ហើយអនុវត្តសកម្មភាពល្អបន្ទាប់ពីតើពួកគេឃើញ។ ក្នុងមេរៀននេះ អ្នកនឹងសម្រុកភ្នាក់ងារស្វ័យប្រវត្តិ រុករកគេហទំព័រ ដែលស្វែងរក Airbnb, ដកទិន្នន័យរៀបចំ បញ្ជីទំនិញ, និងកំណត់ទីតាំងស្នាក់នៅថោកជាងគេនៅ Stockholm។

មេរៀននេះបញ្ចេញការរួមបញ្ចូលរវាង Browser-Use សម្រាប់ការរុករកដោយ AI, Playwright និង Chrome DevTools Protocol (CDP) សម្រាប់ការគ្រប់គ្រងកម្មវិធីរុករក, Azure OpenAI សម្រាប់ការសម្រេចចិត្តមើលឃើញ, និង Pydantic សម្រាប់ការដកស្រង់ដោយរៀបចំ។

អធិប្បាយបណ្តាល

មេរៀននេះនឹងគ្របដណ្តប់៖

• យល់ដឹងពីពេលដែលភ្នាក់ងារប្រើបាស់កុំព្យូទ័រមានសមត្ថភាពល្អជាងសម្ភារជា API តែប៉ុណ្ណោះ
• ការរួមបញ្ចូល Browser-Use ជាមួយ Playwright និង CDP សម្រាប់ការគ្រប់គ្រងរបរជីវិតកម្មវិធីរុករកដែលអាចទុកចិត្តបាន
• ការប្រើប្រាស់ Azure OpenAI vision និងលទ្ធផលរៀបចំដោយ Pydantic ដើម្បីដកស្រង់ទិន្នន័យបញ្ជីពីគេហទំព័រដោយមានលក្ខណៈសកម្ម
• កំណត់ពេលវេលាដែលគួរប្រើនូវបែបបទភ្នាក់ងារ-ដំបូង, តួអង្គ-ដំបូង, ឬបែបបទបញ្ចូលស្វ័យប្រវត្តិកម្មកម្មវិធីរុករក

គោលបំណងរៀន

បន្ទាប់ពីបញ្ចប់មេរៀននេះ អ្នកនឹងដឹងពីរបៀប៖

• កំណត់ Browser-Use ជាមួយ Azure OpenAI និង Playwright
• សម្រុកស្វ័យប្រវត្តិកម្មកម្មវិធីរុករកដែលរុករកគេហទំព័រពិត និងគ្រប់គ្រងធាតុ UI ដ៏ចល័ត
• ដកលទ្ធផលប្រភេទពីមាតិកាទំព័រដែលមើលឃើញ និងបម្លែងវាទៅជាការតភ្ជាប់កម្មវិធីអាជីវកម្មក្រោម
• ជ្រើសរើសរវាងបែបសំណុំភ្នាក់ងារនិងតួអង្គ ដោយផ្អែកលើភាពអាចច็กបាននៃភារកិច្ចរុករក

ឧទាហរណ៍កូដ

មេរៀននេះមានមួយសៀវភៅកំណត់ត្រាទស្សនារៀន៖

• 15-browser-user.ipynb: ចាប់ផ្តើមសម័យ Chrome តាម CDP, ស្វែងរក Airbnb សម្រាប់បញ្ជីទីកន្លែងនៅ Stockholm, ដកតម្លៃជាមួយ Browser-Use vision, ហើយត្រឡប់ជម្រើសទាបបំផុតជាទិន្នន័យរៀបចំ។

លក្ខខណ្ឌជាមុន

• Python 3.12+
• ការតំឡើង Azure OpenAI ដែលបានកំណត់ក្នុងបរិបទរបស់អ្នក
• Chrome ឬ Chromium ត្រូវបានដំឡើងក្នុងម៉ាស៊ីនផ្ទាល់ខ្លួន
• ការតំឡើង dependencies របស់ Playwright
• ស្គាល់មូលដ្ឋានអំពី Python async

ការតំឡើង

តំឡើងកញ្ចប់ដែលប្រើនៅក្នុងសៀវភៅកំណត់ត្រា:

pip install browser_use playwright python-dotenv
playwright install chromium

កំណត់អថេរ​បរិបទ Azure OpenAI ដែលប្រើដោយសៀវភៅកំណត់ត្រា:

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ជាផ្លូវការ: ជាថ្មីបំផុត API កំណែបើគ្មានកំណត់
AZURE_OPENAI_API_VERSION=...

ទិដ្ឋភាពស្ថាបត្យកម្ម

សៀវភៅកំណត់ត្រា បង្ហាញរបបស្វ័យប្រវត្តិកម្មកម្មវិធីរុករកបញ្ចូល៖

1. Chrome ចាប់ផ្តើមជាមួយ CDP enabled ដើម្បីឲ្យ Playwright និង Browser-Use ចែករំលែកសម័យកម្មវិធីរុករកដូចគ្នា។
2. ភ្នាក់ងារ Browser-Use គ្រប់គ្រងភារកិច្ចរុករកបើកផ្ទាំងដូចជា បើក Airbnb, បិទបង្អួច pop-ups, ហើយស្វែងរក Stockholm។
3. ទំព័រដែលសកម្មត្រូវបានពិនិត្យជាមួយ schema Pydantic ដែលរៀបចំ ដើម្បីដកចេញចំណងជើងបញ្ជី, តម្លៃរាត្រី, ពិន្ទុ, និង URL។
4. ដំណើរការភាសា Python ធៀបធៀបបញ្ជីដែលបានដក និងបញ្ជាក់លទ្ធផលថាវាជាទាបបំផុត។

វិធីនេះរក្សាការសម្រេចចិត្តដោយមើលឃើញដែល Browser-Use ឆ្លើយតបបាន លើកលែងតែផ្តល់ការគ្រប់គ្រងកម្មវិធីរុករកប្រកបដោយ យោលជាក់លាក់នៅពេលអ្នកត្រូវការ។

ចំណុចគន្លឹះនិងរបបធ្វើអោយបានល្អបំផុត

ពេលណាគួរប្រើភ្នាក់ងារប្រកៀបតួអង្គ

ស្ថានការណ៍	ប្រើភ្នាក់ងារ	ប្រើតួអង្គ
ការរៀបចំដំណើរការចល័ត	មាន, AI អាចប្តូរតាមការផ្ដូរទំព័រ	គ្មាន, ជ្រើសរើសខ្សោយអាចបែកបាក់
រចនាសម្ព័ន្ធដែលបានស្គាល់	គ្មាន, ភ្នាក់ងារខកចិត្តជាងការគ្រប់គ្រងដោយផ្ទាល់	មាន, លឿន និងច្បាស់លាស់
រកឃើញធាតុ	មាន, ភាសាធម្មជាតិក្នុងការងារល្អ	គ្មាន, ត្រូវបានជ្រើសរើសត្រឹមត្រូវ
គ្រប់គ្រងពេលវេលា	គ្មាន, មិនអាចទុកចិត្តបាន	មាន, គ្រប់គ្រងពេញលេញលើការរង់ចាំ និងការសាកល្បងម្តងទៀត
របបធ្វើការលំបាក	មាន, ដោះស្រាយស្ថានភាព UI មិនបានរំពឹងទុក	គ្មាន, ត្រូវការប្រើប្រាស់ប_branching ច្បាស់លាស់

របបធ្វើអោយបានល្អបំផុតសម្រាប់ Browser-Use

1. ចាប់ផ្តើមជាមួយភ្នាក់ងារសម្រាប់ការស្វែងរក និងរុករកចល័ត។
2. ប្តូរទៅការគ្រប់គ្រងទំព័រដោយផ្ទាល់នៅពេលបច្ចេកទេសក្លាយជាបានច្បាស់លាស់។
3. ប្រើម៉ូដែលលទ្ធផលរៀបចំ ដើម្បីធានាថាទិន្នន័យដែលដកស្រង់មានការផ្ទៀងផ្ទាត់ និងមានប្រភេទសុវត្ថិភាព។
4. បន្ថែមការពន្យាពេលយ៉ាងយកចិត្តទុកដាក់បន្ទាប់ពីសកម្មភាពដែលបង្កើតការផ្លាស់ប្តូរមានរាងមើលឃើញ UI។
5. កត់ត្រារូបភាពបំភ្លឺកំឡុងពេលអនុវត្ត ដូច្នេះករណីបរាជ័យអាចបរិច្ឆេទបានងាយស្រួល។
6. ព្យាករណ៍គេហទំព័រអាចផ្លាស់ប្តូរ ហើយរចនាអនុគ្រោះសម្រាប់ pop-ups និងការផ្លាស់ប្តូររាងផ្ទាំង។
7. បញ្ចូលរបបទាំងភ្នាក់ងារ និងតួអង្គ ដើម្បីទទួលបានរបបបត់បែន និងភាពច្បាស់លាស់ស្របពេល។

គោលការណ៍សុវត្ថិភាពសម្រាប់ភ្នាក់ងាររុករក

ភ្នាក់ងាររុករកដំណើរការលើគេហទំព័រសកម្ម ដូច្នេះពួកគេត្រូវការគ្រោងដែនកំណត់រឹងមាំជាងស្គ្រីបដែលអាចហៅ API ដែលបានស្គាល់តែម្ដង។ មុនពេលផ្លាស់ប្តូរពីការបង្ហាញក្នុងសៀវភៅកំណត់ត្រាទៅកម្មវិធីការងារពិត បញ្ជាក់ការគ្រប់គ្រងអំពីអ្វីដែលភ្នាក់ងារអាចមើលឃើញ, ចុច និងដាក់បញ្ជូន។

1. កំណត់បរិស្ថានរុករក។ ដំណើរការភ្នាក់ងារនៅក្នុងប្រវត្តិប្រូហ្វាយកម្មវិធីរុករកឬសេនបុក ឲ្យមានដែនកំណត់វប្បធម៌ទៅតែ domain ដែលត្រូវការសម្រាប់ភារកិច្ច។
2. បំបែកការពិនិត្យពីសកម្មភាព។ អនុញ្ញាតឲ្យភ្នាក់ងារស្វែងរក, អាន, និងដកព័ត៍មានជាមុន; ត្រូវការជំហានអនុម័តខាងមុខ មុនពេលដាក់បញ្ជូនទម្រង់, ផ្ញើសារ, កក់ដំណើរការ, ធ្វើការទិញ, លុបកំណត់ត្រា, ឬផ្លាស់ប្តូរការកំណត់គណនី។
3. រក្សារឈ្មោះសម្ងាត់ឲ្យចេញពីការស្នើសុំ និងច្រកតាមក្រោយ។ កុំដាក់ពាក្យសម្ងាត់, ប្រាក់បង់, គុគ្គីសកម្ម, ឬទិន្នន័យផ្ទាល់ខ្លួនក្លែងក្លាយនៅក្នុងបរិបទម៉ូដែល។ អនុញ្ញាតឲ្យអ្នកប្រើប្រាស់គ្រប់គ្រងការផ្ទៀងផ្ទាត់ និងលុបវាលរបស់ផ្ទាល់ខ្លួនពីកំណត់ត្រា។
4. ព្យួរមាតិកាទំព័រជាព័ត៌មានមិនទុកចិត្ត។ គេហទំព័រអាចមានការណែនាំដែលមានគោលបំណងសម្រាប់ភ្នាក់ងារ មិនមែនសម្រាប់អ្នកប្រើ។ ភ្នាក់ងារគួរតែភ្លេចខ្លាញ់អត្ថបទទំព័រដែលស្នើឲ្យផ្លាស់ប្តូរគោលដៅ, បង្ហាញទិន្នន័យ, បិទការការពារ, ឬ​ទៅកាន់គេហទំព័រផ្សេងទៀត។
5. ប្រើប្រាស់ការត្រួតពិនិត្យកំណត់លទ្ធផលជុំវិញជំហានហានិភ័យ។ ពិនិត្យ URL បច្ចុប្បន្ន, ចំណងជើងទំព័រ, ធាតុដែលបានជ្រើស, តម្លៃ, អ្នកទទួល, និងសង្ខេបសកម្មភាពជាមួយកូដ មុនស្នើអោយអ្នកប្រើអនុម័តជំហានចុងក្រោយ។
6. កំណត់ថវិកា និងលក្ខខណ្ឌបញ្ឈប់។ កំណត់ចំនួនសកម្មភាព, ការសាកធ្វើម្ដងទៀត, ផ្ទាំង, និងនាទីដែលភ្នាក់ងារអាចប្រើបាន។ បញ្ឈប់នៅពេលស្ថានភាពទំព័រមិនច្បាស់លាស់ ជំនួសការបន្តចុច។
7. កត់ត្រាចំណត់ភស្តុតាងមានប្រយោជន៍ មិនមែនគ្រប់យ៉ាងទេ។ រក្សាសង្ខេបសកម្មភាព, ម៉ោង, URL, ការពិពណ៌នាធាតុបានជ្រើស, និងយោងរូបភាព ដើម្បីអាចពិនិត្យករណីបរាជ័យដោយមិនផ្ទុកមាតិកាទំព័រដែលមានសំងាត់។

ក្នុងឧទាហរណ៍ Airbnb, លំនាំសុវត្ថិភាពគឺស្វែងរកបញ្ជី និងដកតម្លៃ។ ការចូល, ទាក់ទងម្ចាស់ផ្ទះ, ឬបញ្ចប់ការកក់គួរតែជា​សកម្មភាពដែលអ្នកប្រើអនុម័តចែកផ្សេង។

ការដំណើរការពិត

• ការកក់ចំណត និងត្រួតពិនិត្យតម្លៃ
• ការប្រៀបធៀបតម្លៃ និងត្រួតពិនិត្យភាពអាចរកបានក្នុង E-commerce
• ការដកស្រង់រៀបចំពីគេហទំព័រដោយមានលក្ខណៈសកម្ម
• ការធ្វើតេស្ត UI ដែលមានចាប់អារម្មណ៍ពីមើលឃើញ និងការត្រួតពិនិត្យ
• ការត្រួតពិនិត្យគេហទំព័រ និងការជូនដំណឹង
• ការបំពេញទម្រង់ឆ្លាតវៃតាមរយៈដំណើរការច្រើនជំហាន

ឧទាហរណ៍ពិភពពិតៈ Microsoft Project Opal

ភ្នាក់ងារ​ដែលអ្នកសម្រុកក្នុងមេរៀននេះ ជាប្រភេទតូច តំបន់មួយ​នៃ ភ្នាក់ងារប្រើបាស់កុំព្យូទ័រ (CUA) — ប្រព័ន្ធដែលបើកបង្ហាញកម្មវិធីរុករក ដូចនេះដូចមនុស្សម្នាក់។ Microsoft កំពុងយកគំនិតដូចគ្នានេះទៅអង្គការជាមួយ Project Opal (Frontier) ដែលជាសមត្ថភាពមួយក្នុង Microsoft 365 Copilot។

ជាមួយ Project Opal អ្នកពិពណ៌នាពិធីការ ហើយភ្នាក់ងារនឹងអនុវត្តការងារជំនួសអ្នកដោយប្រើប្រាស់ ការប្រើកុំព្យូទ័រលើ Windows 365 Cloud PC ដែលមានសុវត្ថិភាព,ដំណើរការចម្ងាយលើកម្មវិធីរុករក អង្គភាព និងទិន្នន័យរបស់អង្គការអ្នក។ វាដំណើរការជា អស៊ិនខណៈនៅផ្នែកខាងពីក្រោយ, ហើយអ្នកអាចដឹកនាំ ឬគ្រប់គ្រងការងារនៅពេលណាមួយក៏បាន។ ការងារឧទាហរណ៍រួមមាន៖

• គ្រប់គ្រងសំណើរសុំសមាជិកក្រុមសុវត្ថិភាព
• ប្រមូល និងផ្ទៀងផ្ទាត់ភស្តុតាងត្រួតពិនិត្យនានាសម្រាប់ការត្រួតពិនិត្យឆ្គងការងារ
• រៀបចំបញ្ហា IT (បន្ទាន់ស្ថានភាពសន្លឹកផ្សព្វផ្សាយ, ប្រគល់ម្ចាស់, បិទចម្លង)
• រួមបញ្ចូលទិន្នន័យ Excel ទៅក្នុងសៀវភៅស្ថិតិហិរញ្ញវត្ថុ

Opal ជាការយោងដែលមានប្រយោជន៍សម្រាប់មើលពីវត្ថុបែបភ្នាក់ងារប្រើកុំព្យូទ័រមាន ជូនផលិតកម្ម និងទុកចិត្តបាន — ហើយវាធ្វើឲ្យមោទនភាពមកពីគំនិតក្នុងមេរៀនមុនៗ៖

គំនិតក្នុងវគ្គនេះ	របៀប Project Opal អនុវត្ត
មនុស្សនៅក្នុងសង្វាក់ (មេរៀន 06)	Opal បញ្ឈប់សម្រាប់ចុះបញ្ជាក់លិខិតសម្គាល់, ទិន្នន័យរួម និងការណែនាំមិនច្បាស់លាស់, ហើយមិនធ្វើបញ្ចូលពាក្យសម្ងាត់ ឬដាក់បញ្ជូនទម្រង់ដោយគ្មានការអនុញ្ញាត។ អ្នកអាច យកការគ្រប់គ្រង និង ត្រឡប់ការគ្រប់គ្រង នៅកន្លែងណាមួយក្នុងការងារ។
ភ្នាក់ងារទុកចិត្តបាន និងមានសុវត្ថិភាព (មេរៀន 06 និង 18)	ដំណើរការនៅក្នុង Windows 365 Cloud PC ដែលបែងចែក, ប្រើកម្មវិធីរុករកតែប៉ុណ្ណោះ (ការ​ចូល​កុំព្យូទ័រផ្សេងៗត្រូវបានរារាំង តាមរយៈ Intune), ប្រើ អត្តសញ្ញាណរបស់អ្នក ដើម្បីចូលដំណើរការតែតំបន់ដែលអ្នកមានសិទ្ធ, និងកត់ត្រាសកម្មភាពទាំងអស់សម្រាប់ការត្រួតពិនិត្យ។
ផែនការនិងការគ្រប់គ្រងខួរក្បាល (មេរៀន 07 និង 09)	Opal បង្កើតផែនការសម្រាប់ការងារដំបូង, បន្ទាប់មកត្រួតពិនិត្យការសម្រេចចិត្តខ្លួនឯងនៅជំហានៗ និងបញ្ឈប់បើរកឃើញសកម្មភាពសង្ស័យ។
សមត្ថភាព/ឧបករណ៍ដែលអាចប្រើឡើងវិញ (មេរៀន 04)	ជំនាញ អនុញ្ញាតឲ្យអ្នកសរសេរណែនាំសម្រាប់ការងារដដែល (នាំចូលពីឯកសារ .md ឬបង្កើតជាមួយ Opal) និងប្រើឡើងវិញក្នុងការពិភាក្សា។

ភាពមានស្រាប់៖ Project Opal គឺមានស្រាប់សម្រាប់អ្នកប្រើប្រាស់ក្នុងកម្មវិធីចូលដំណើរការពេលដំបូង Frontier early access program ជាមួយជាវ Microsoft 365 Copilot ហើយអ្នកគ្រប់គ្រងរបស់អ្នកត្រូវបញ្ចប់ការតំឡើង។ ដោយសារវាជាលក្ខណៈលក្ខណៈរូងរូង Frontier កំហូរនេះ អាចផ្លាស់ប្តូរជាមួយពេលវេលា។

ធនធានបន្ថែម

• ចាប់ផ្តើមជាមួយ Project Opal (Frontier)
• រចនាទ្រង់ទ្រាយការរួមបញ្ចូល Browser-Use Playwright
• ប៉ារ៉ាម៉ែត្រ និងការដកថាតារាងរបស់ Browser-Use actor
• ការតំឡើងវគ្គ

មេរៀនមុន

ស្វែងរក Microsoft Agent Framework

មេរៀនបន្ទាប់

ការដាក់បញ្ជូនភ្នាក់ងារដែលអាចវិវឌ្ឍន៍បាន

---

ការបដិសេធ: ឯកសារនេះត្រូវបានបម្លែងភាសា ដោយប្រើសេវាបម្លែងភាសា AI Co-op Translator។ ទោះយើងខ្ញុំមានក្តីប្រាថ្នាឱ្យបានច្បាស់លាស់ តែសូមយល់ដឹងថាការបម្លែងដោយស្វ័យប្រវត្តិក៏អាចមានកំហុសឬភាពមិនត្រឹមត្រូវ។ ឯកសារដើមជាភាសាទីតាំងគួរត្រូវបានគេប្រើជាប្រភពច្បាស់លាស់។ សម្រាប់ព័ត៌មានសំខាន់ៗ សូមណែនាំឱ្យប្រើប្រាស់ការប្រែដោយមនុស្សជំនាញ។ យើងខ្ញុំមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកស្រាយខុសបន្ទាប់ពីការប្រើប្រាស់ការបម្លែងនេះនោះទេ។

This site is open source. Improve this page.