ai-agents-for-beginners

ការសាងសង់ភ្នាក់ងារប្រើកុំព្យូទ័រ (CUA)

ភ្នាក់ងារប្រើកុំព្យូទ័រអាចទំនាក់ទំនងជាមួយគេហទំព័រដូចផ្ទាល់ ដូចមនុស្សធ្វើ: ដោយបើកកម្មវិធីរកមើលហ្វ្រៅស្រែរ (browser), ពិនិត្យមើលទំព័រ, ហើយអនុវត្តសកម្មភាពដ៏ល្អបន្ទាប់ពីការមើលឃើញ។ ក្នុងមេរៀននេះ អ្នកនឹងបង្កើតភ្នាក់ងារអូតូម៉ាទ័រមួយសម្រាប់កម្មវិធីរកមើល ដែលស្វែងរក Airbnb, លាតត្រួតទិន្នន័យបញ្ជីតាមរចនាសម្ព័ន្ធ, ហើយកំណត់ទីលំនៅថោកជាងគេនៅ Stockholm។

មេរៀននេះរួមបញ្ចូលការប្រើប្រាស់ Browser-Use សម្រាប់ចរន្តការដឹកនាំដោយ AI, Playwright និង Chrome DevTools Protocol (CDP) សម្រាប់ការត្រួតពិនិត្យកម្មវិធីរកមើល, Azure OpenAI សម្រាប់ការវិភាគដោយមានទស្សនវិស័យ, និង Pydantic សម្រាប់ការដកស្រង់ទ្រង់ទ្រាយត្រួតត្រា។

ការណែនាំ

មេរៀននេះគឺនឹងគ្របដណ្តប់៖

គោលបំណងរៀន

បន្ទាប់ពីបញ្ចប់មេរៀននេះ អ្នកនឹងដឹងពីវិធី៖

ឧទាហរណ៍កូដ

មេរៀននេះរួមមានមេរៀនតាមសៀវភៅកត់ត្រាមួយ៖

ការតម្រូវនិងត្រៀមខ្លួន

ការតំឡើង

ដំឡើងកញ្ចប់ដែលប្រើនៅក្នុងសៀវភៅកត់ត្រា៖

pip install browser_use playwright python-dotenv
playwright install chromium

កំណត់អថេរស៊ីស្ទឹម Azure OpenAI ដែលសៀវភៅកត់ត្រាប្រើ៖

AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ជាជំរើស៖ ពីរបៀបដើមទៅកំណែ API ចុងក្រោយបើមិនបានបញ្ចូល
AZURE_OPENAI_API_VERSION=...

ទិដ្ឋភាពស្ថាបត្យកម្ម

សៀវភៅកត់ត្រាបង្ហាញពីចរន្តអូតូម៉ាទ័រប្រកបដោយភាពរួមបញ្ចូល៖

  1. Chrome ចាប់ផ្តើមជាមួយ CDP ដើម្បីឲ្យទាំង Playwright និង Browser-Use អាចចែករំលែកសម័យកម្មវិធីរកមើលតែមួយ។
  2. ភ្នាក់ងារ Browser-Use គ្រប់គ្រងកិច្ចការដឹកនាំបើកបរ ដែលមានលក្ខណៈបើកចំហ ដូចជា បើក Airbnb បិទបង្ហាញ pop-ups និងស្វែងរក Stockholm។
  3. ទំព័រដំណើរការត្រូវបានពិនិត្យជាមួយរចនាសម្ព័ន្ធ Pydantic ដើម្បីដកស្រង់ចំណងជើងបញ្ជី, តម្លៃរាត្រី, អត្រា, និង URL ក្នុងបែបស្អាត។
  4. លូហ្គិច Python ប្រៀបធៀបចំណុចបញ្ជីដែលបានដកស្រង់ ហើយផ្ដល់សញ្ញារការជម្រើសថោកបំផុត។

វិធីសាស្រ្តនេះរក្សាបាននូវដំណើរការវិភាគដោយមានទស្សនវិស័យ ដែល Browser-Use ងាយយល់ ខណៈដែលបានផ្ដល់ការត្រួតពិនិត្យកម្មវិធីរកមើលជាក់លាក់នៅពេលដែលអ្នកត្រូវការ។

ចំណុចប្រទាក់សំខាន់ និងអនុស្សារណៈល្អ

ពេលណាធ្វើការ​ប្រើភ្នាក់ងារ តួអង្គ

ករណី ប្រើភ្នាក់ងារ ប្រើតួអង្គ
រចនាសម្ព័ន្ធបត់បែន បាទ, AI អាចបង្ហាញខ្លួនឆ្លើយតបកើតមានលំអៀងទំព័រ ទេ, ខូចបានដោយបញ្ជាពិសេសយ៉ាងងាយ
រចនាសម្ព័ន្ធជាក់លាក់ ទេ, ភ្នាក់ងារជាមុខមួយយឺតជាងការគ្រប់គ្រងផ្ទាល់ បាទ, លឿន និងត្រឹមត្រូវ
ស្វែងរកធាតុ បាទ, ភាសារធម្មជាតិកាត់បន្ថយ ទេ, ត្រូវការបញ្ជាពិសេសត្រឹមត្រូវ
ត្រួតពិនិត្យពេលវេលា ទេ, ខ្វះភាពទៀងទាត់ បាទ, គ្រប់គ្រងពេញលេញលើការរង់ចាំ និងព្យាយាមវិញ
ចរន្តសកម្មភាពស្មុគស្មាញ បាទ, ដោះស្រាយស្ថានភាព UI មិនច្បាស់ ទេ, ត្រូវការបញ្ជាពន្លឿនច្បាស់លាស់

អនុស្សារណៈល្អសម្រាប់ Browser-Use

  1. ចាប់ផ្តើមជាមួយភ្នាក់ងារសម្រាប់ការស្វែងរក និងដឹកនាំបត់បែន។
  2. ប្ដូរទៅការត្រួតពិនិត្យផ្ទាល់លើទំព័រពេលដែលអន្តរកម្មគឺអាចទាន់ប៉ាន់ត្រូវបាន។
  3. ប្រើម៉ូដែលលទ្ធផលដោយរចនាសម្ព័ន្ធ ដើម្បីធានាថាទិន្នន័យដែលបានដកស្រង់ត្រូវបានផ្ទៀងផ្ទាត់ និងមានប្រភេទត្រឹមត្រូវ។
  4. បន្ថែមពេលយឺតយ៉ាវយ៉ាងយុទ្ធសាស្រ្តបន្ទាប់ពីសកម្មភាពដែលបង្កការផ្លាស់ប្ដូរទំនាក់ទំនង UI មើលឃើញ។
  5. ថតរូបអេក្រង់ក្នុងពេលជាដំណាក់កាល ដើម្បីងាយស្រួលដោះស្រាយបញ្ហា។
  6. លះបង់ពីការប្រែប្រួលគេហទំព័រ ហើយរចនាយុទ្ធសាស្រ្តជំនួសសម្រាប់ pop-ups និងការប្ដូររចនាសម្ព័ន្ធ។
  7. បញ្ចូលរវាងគំរូភ្នាក់ងារ និងតួអង្គ ដើម្បីទទួលបានទាំងភាពបត់បែន និងភាពត្រឹមត្រូវ។

ការពារសុវត្ថិភាពសម្រាប់ភ្នាក់ងារកម្មវិធីរកមើល

ភ្នាក់ងារកម្មវិធីរកមើលដំណើរការលើគេហទំព័របច្ចុប្បន្ន បរិមាណការតម្រុយត្រឹមត្រូវជាងស្គ្រីបដែលហៅ API ដែលស្គាល់តែប៉ុណ្ណោះ។ មុនផ្លាស់ប្តូរពីការបង្ហាញសៀវភៅកត់ត្រាទៅដំណើរការពិត ពណ៌តែរុក្ខជាតិដែនកំណត់នៃអ្វីដែលភ្នាក់ងារអាចមើលឃើញ ចុច និងដាក់ស្នើ។

  1. កំណត់បរិបទកម្មវិធីរកមើល។ ដំណើរការភ្នាក់ងារនៅក្នុងពណ៌តែមួយឬsandbox ដោយដាក់កំណត់ទៅលើដែនដែលត្រូវការសម្រាប់កិច្ចការ។
  2. បំបែកការសង្កេតពីសកម្មភាព។ អោយភ្នាក់ងារ​ស្វែងរក អាន និងដកស្រង់ទិន្នន័យជាមុន; តម្រូវការជំហានអនុញ្ញាតពិសេសមុនដាក់ស្នើទម្រង់, បញ្ជូនសារ, កក់សណ្ឋាគារ, ទិញទំនិញ, លុបបញ្ជី ឬប្ដូរកំណត់គណនី។
  3. រក្សា​រក្សាប្រសិទ្ធភាពជាអ្នកប្រើ និងការបញ្ជារទិញ។ កុំដាក់ពាក្យសម្ងាត់, ព័ត៌មានបង់ប្រាក់, គុឌូសេស្យុង, ឬទិន្នន័យផ្ទាល់ខ្លួនដើរក្នុងបរិបទម៉ូដែល។ អោយអ្នកប្រើត្រួតពិនិត្យសម្រាប់ការផ្ទៀងផ្ទាត់ និងកាត់ដំណើរការព័ត៌មានដ៏ទាន់សម័យពី​រេកឃើញ។
  4. ពិនិត្យមាតិកាទំព័រជាឯកសារមិនទុកចិត្ត។ គេហទំព័រអាចមានការណែនាំសម្រាប់ភ្នាក់ងារ ជាអ្នកអភិវឌ្ឍន៍ឬអ្នកប្រើ។ ភ្នាក់ងារគួរជៀសវាងអត្ថបទដែលប្ដូរគោលបំណង, បិទការការពារ, ឬចូលទៅគេហទំព័រមិនទាក់ទង។
  5. ប្រើការត្រួតពិនិត្យដាក់កូដជុំវិញជំហានហានិភ័យ។ ផ្ទៀងផ្ទាត់ URL បច្ចុប្បន្ន, ចំណងជើង, ធាតុដែលជ្រើស, តម្លៃ, អ្នកទទួល និងសង្ខេបសកម្មភាពជាមួយកូដ មុនស្នើឲ្យអ្នកប្រើអនុម័តជំហានចុងក្រោយ។
  6. កំណត់ថវិកា និងលក្ខខណ្ឌបញ្ឈប់។ កំណត់ចំនួនសកម្មភាព, ព្យាយាមម្តងទៀត, តាប, និងនាទីដែលភ្នាក់ងារអាចប្រើ។ បញ្ឈប់នៅពេលស្ថានភាពទំព័រមិនច្បាស់ជំនួសការបន្តចុច។
  7. កត់ត្រាបញ្ញត្តិបើមានប្រយោជន៍ មិនមែនគ្រប់យ៉ាងទេ។ រក្សាសង្ខេបសកម្មភាព, ពេលវេលា, URLs, ពណ៌នាធាតុដែលជ្រើស, និងយោងរូបភាពអេក្រង់ ដើម្បីអាចពិនិត្យបាត់បង់បានដោយមិនបង្ហាញមាតិកាទំព័រដែលមិនចាំបាច់។

នៅក្នុងឧទាហរណ៍ Airbnb ជាមុននិងគោលបំណងជាសុវត្ថិភាពគឺស្វែងរកបញ្ជី និងដកស្រង់តម្លៃ។ ការចូល, ទាក់ទងម្ចាស់ផ្ទះ ឬបញ្ចប់ការកក់គួរតែជាកិច្ចការត្រូវបានអ្នកប្រើយល់ព្រមផ្សេងទៀត។

ការអនុវត្តប្រាក់ចំណេញពិតប្រាកដ

ឧទាហរណ៍ពិតប្រាកដ៖ គម្រោង Microsoft Opal

ភ្នាក់ងារដែលអ្នកបង្កើតក្នុងមេរៀននេះគឺជាទ្រង់ទ្រាយតូចមួយរបស់ ភ្នាក់ងារប្រើកុំព្យូទ័រ (CUA) — កម្មវិធីដែលដឹកនាំកម្មវិធីរកមើលដូចមនុស្សធ្វើ។ Microsoft យកគំនិតដូចនេះទៅអង្គការជាមួយ គម្រោង Opal (Frontier) ដែលជាសមត្ថភាពនៅ Microsoft 365 Copilot។

ជាមួយគម្រោង Opal អ្នកពិពណ៌នាកិច្ចការមួយ ហើយភ្នាក់ងារធ្វើការផ្ទាល់ខ្លួនប្រើប្រាស់ ការប្រើកុំព្យូទ័រលើ Windows 365 Cloud PC ដែលមានសុវត្ថិភាព, ដំណើរការឆ្លងកាត់កម្មវិធីរកមើលភ្ជាប់ប្រព័ន្ធអង្គការនិងទិន្នន័យរបស់អ្នក។ វាធ្វើការដោយ សម័យអស៊ីងខេននៅពីក្រោយបន្ទះ, អ្នកអាចណែនាំ ឬគ្រប់គ្រងការងារបានគ្រប់ពេលវេលា។ ការងារដែរជាឧទាហរណ៍រួមមាន៖

Opal គឺជាការចាប់យកយ៉ាងមានប្រយោជន៍សម្រាប់អ្វីដែលភ្នាក់ងារប្រើកុំព្យូទ័របទពិសោធន៍ -ដែលអាចទុកចិត្តបាន- ហើយវាកែលម្អគំនិតពីមេរៀនមុនៗ៖

គំនិតក្នុងវគ្គនេះ របៀបគម្រោង Opal អនុវត្ត
មនុស្សក្នុងដំណើរឆ្នាំរង្វាន់ (មេរៀន 06) Opal ផ្អាកសម្រាប់ពាក្យសម្រាប់ចូល ប្រព័ន្ធទន់ភ្លន់ ឬការណែនាំមិនច្បាស់, មិនបញ្ចូលពាក្យសម្ងាត់ ឬដាក់ស្នើទម្រង់ដោយគ្មានការបញ្ជាក់ច្បាស់។ អ្នកអាច គ្រប់គ្រង និង ត្រឡប់គ្រប់គ្រង នៅពេលកំពុងបំពេញកិច្ចការ។
ភ្នាក់ងារដែលអាចទុកចិត្ត និងមានសុវត្ថិភាព (មេរៀន 06 និង 18) រត់នៅ Windows 365 Cloud PC ផ្ទាល់ខ្លួន, គឺជាកម្មវិធីរកមើលតែប៉ុណ្ណោះ (ការចូលប្រើកុំព្យូទ័រផ្សេងត្រូវបានរាំងស្ទះ តាមការត្រួតពិនិត្យ Intune), ប្រើអត្តសញ្ញាណអ្នកប្រើដើម្បីចូលដំណើរការតែអ្វីដែលបានអនុញ្ញាត, ហើយកត់ត្រាសកម្មភាពគ្រប់យ៉ាងសម្រាប់ត្រួតពិនិត្យ។
ការធ្វើផែនការនិងកំណត់ចិត្ត (មេរៀន 07 និង 09) Opal បង្កើតផែនការសម្រាប់កិច្ចការ ជាមុន, បន្ទាប់ផ្តើមរង់ចាំវាយតម្លៃខ្លួនឯងនៅជំហានរាល់ជំហាន ហើយផ្អាក ប្រសិនបើចាប់ផ្តើមឃើញសកម្មភាពគ្មានសុវត្ថិភាព។
សមត្ថភាព / ឧបករណ៍ដែលអាចប្រើវិញ (មេរៀន 04) ជំនាញ អនុញ្ញាតឲ្យអ្នកសរសេរជាការណែនាំសម្រាប់ការងារដដែល (នាំចូលពីឯកសារ .md ឬសរសេរជាមួយ Opal) ហើយប្រើវិញបានក្នុងសិស្សាសម័យ។

ភាពមានស្រាប់៖ គម្រោង Opal នៅពេលនេះ គឺមានស្រាប់សម្រាប់អ្នកប្រើក្នុងកម្មវិធីចូលដំណើរការ Frontier early access program ជាមួយជាវ Microsoft 365 Copilot ហើយអ្នកគ្រប់គ្រងត្រូវតែបញ្ចប់ការតំឡើង។ ដោយសារវាជាពិសេស Frontier មួយ ការសម្គាល់អាចផ្លាស់ប្ដូរបានរយៈពេលវែង។

ការត្រួតពិនិត្យចំណេះដឹង

សាកល្បងការយល់ដឹងរបស់អ្នកមុនពេលបន្តទៅមេរៀនបន្ទាប់។

1. ពេលណាភ្នាក់ងារប្រើកម្មវិធីរកមើលល្អជាងការប្រើតែ API?

ចម្លើយ ប្រើភ្នាក់ងារកម្មវិធីរកមើលពេលកិច្ចការ​អាស្រ័យលើអ្វីដែលបង្ហាញនៅក្នុង UI វេបសាយ, គេហទំព័រមិនបានបង្ហាញ API ត្រូវការ, ឬទំព័រផ្លាស់ប្ដូរឋិតិវៈដែល API ឬបញ្ជាពិសេសប្រហែលក្រហម។ ប្រសិនបើមាន API មិនប្រែប្រួលសម្រាប់កិច្ចការដូចគ្នា សូមជ្រើស API ព្រោះវាមានល្បឿនលឿនជាង, ងាយស្រួលសាកល្បង និងងាយស្រួលការពារ។

2. នៅក្នុងចរន្តរួម វាអ្នកណាត្រូវគ្រប់គ្រងកិច្ចការដែលភ្នាក់ងារគ្រប់គ្រង និងកូដ Playwright ដែលគ្រប់គ្រង?

ចម្លើយ អោយភ្នាក់ងារគ្រប់គ្រងចរន្តបើកចំហ និងស្ថានភាព UI បត់បែន ដូចជា ស្វែងរកទំព័រត្រឹមត្រូវ ឬបិទ pop-ups មិនរំពឹងទុក។ ប្ដូរទៅការត្រួតពិនិត្យ Playwright ផ្ទាល់ពេលរចនាសម្ព័ន្ធទំព័រជាក់លាក់ ហើយសកម្មភាពត្រូវមានភាពត្រឹមត្រូវ, ព្យាយាមបន្ត, រង់ចាំ, ឬការផ្ទៀងផ្ទាត់យ៉ាងទៀងទាត់។

3. ឧទាហរណ៍ Airbnb រកឃើញបញ្ជីដែលអ្នកប្រើអាចចង់កក់។ តើអ្វីគួរជាកើតទៅមុនបញ្ចូលគណនី, ទាក់ទងម្ចាស់ផ្ទះ, ឬបញ្ចប់ការកក់?

ចម្លើយ ចរន្តត្រូវផ្អាក ហើយស្នើសុំការយល់ព្រមពីអ្នកប្រើ។ មុនស្នើសុំ គួរបង្ហាញការសង្ខេបច្បាស់លាស់ទំព័របញ្ជីដែលបានជ្រើស, URL បច្ចុប្បន្ន, តម្លៃ, កាលបរិច្ឆេទ, និងសកម្មភាពសំរេចចិត្ត។ ស្វែងរក និងដកស្រង់តម្លៃអាចជាកិច្ចការ​អូតូម៉ាទ័រ; ការចូលគណនី, សារ, ការទិញ, និងការកក់ គួរតែបានអ្នកប្រើយល់ព្រម។

4. ទំព័រតែមួយប្រាប់ភ្នាក់ងារឲ្យមិនផ្តោតលើការណែនាំដើម, ទៅគេហទំព័រផ្សេង, ហើយបង្ហាញពាក្យសម្ងាត់។ តើគួរ​អោយភ្នាក់ងារដោះស្រាយអត្ថបទនោះយ៉ាងដូចម្តេច?

ចម្លើយ អនុវត្តវាជាមាតិកាទំព័រដែលមិនទុកចិត្ត ពុំមែនជាគន្លឹះការណែនាំចេញពីអ្នកអភិវឌ្ឍឬអ្នកប្រើ។ ភ្នាក់ងារគួរតែរក្សានៅលើដែនកំណត់និងបរិវេណកិច្ចការ, បដិសេធបង្ហាញពាក្យសម្ងាត់, ហើយមិនអនុវត្តការណែនាំដែលប្ដូរគោលបំណង, បិទការការពារ, ឬយកទៅគេហទំព័រមិនទាក់ទង។

5. តើភស្តុតាងណាដែលមានប្រយោជន៍ក្នុងការរក្សាទុកពេលភ្នាក់ងារកម្មវិធីរកមើលដំណើរការ ហើយអ្វីគួរតែជៀសវាង?

ចម្លើយ រក្សាសង្ខេបសកម្មភាព, ពេលវេលា, URLs, ពណ៌នាធាតុដែលជ្រើស, លទ្ធផលផ្ទៀងផ្ទាត់, និងយោងរូបភាពអេក្រង់ ដើម្បីអាចពិនិត្យបាន ជៀសវាងរក្សាពាក្យសម្ងាត់, ព័ត៌មានបង់ប្រាក់, គុឌូសេស្យុង, ទិន្នន័យផ្ទាល់ខ្លួនដើរដោយផ្ទាល់, ឬមាតិកាទំព័រពេញមួយ លើកលែងបើមានហេតុផលគោលដៅផ្ទុក និងភាពឯកជន។

ប្រភពធនធានបន្ថែម

មេរៀនមុន

ការស្វែងរក Microsoft Agent Framework

មេរៀនបន្ទាប់

ការដាក់បង្ហាញភ្នាក់ងារយ៉ាងទូលំទូលាយ


ការបដិសេធ: ឯកសារនេះត្រូវបានបម្លែងភាសា ដោយប្រើសេវាបម្លែងភាសា AI Co-op Translator។ ទោះយើងខ្ញុំមានក្តីប្រាថ្នាឱ្យបានច្បាស់លាស់ តែសូមយល់ដឹងថាការបម្លែងដោយស្វ័យប្រវត្តិក៏អាចមានកំហុសឬភាពមិនត្រឹមត្រូវ។ ឯកសារដើមជាភាសាទីតាំងគួរត្រូវបានគេប្រើជាប្រភពច្បាស់លាស់។ សម្រាប់ព័ត៌មានសំខាន់ៗ សូមណែនាំឱ្យប្រើប្រាស់ការប្រែដោយមនុស្សជំនាញ។ យើងខ្ញុំមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកស្រាយខុសបន្ទាប់ពីការប្រើប្រាស់ការបម្លែងនេះនោះទេ។