ಕಂಪ್ಯೂಟರ್ ಬಳಕೆ ಏಜೆಂಟ್ಸ್ ವ್ಯಕ್ತಿ ನಡೆಸುವ ಮೂಲಕ ವೆಬ್ಸೈಟ್ಗಳೊಂದಿಗೆ ಸಂವಹನ ಮಾಡಬಹುದು: ಬ್ರೌಸರ್ ತೆರೆಯುವುದರಿಂದ, ಪುಟ ಪರಿಶೀಲಿಸುವ ಮೂಲಕ, ಮತ್ತು ಅವರು ನೋಡಿದದ್ದರಿಂದ ಉತ್ತಮ ಮುಂದಿನ ಕ್ರಿಯೆಯನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದರಿಂದ. ಈ ಪಾಠದಲ್ಲಿ, ನೀವು Airbnb ಅನ್ನು ಹುಡುಕುವ, ರಚನೆಯಾಗಿರುವ ಲಿಸ್ಟಿಂಗ್ ಡೇಟಾವನ್ನು ಪಡೆಯುವ ಮತ್ತು ಸ್ಟಾಕ್ಹೋಲ್ಮ್ನಲ್ಲಿ ಅತ್ಯಂತ ಕಡಿಮೆ ದರದ ಉಳುವನ್ನು ಗುರುತಿಸುವ ಬ್ರೌಸರ್ ಸ್ವಯಂಚಾಲನೆ ಏಜೆಂಟ್ನ್ನು ನಿರ್ಮಿಸುತ್ತೀರಿ.
ಈ ಪಾಠವು AI ಸಂಚಾಲಿತ ನ್ಯಾವಿಗೇಶನ್ನಿಗಾಗಿ Browser-Use ಅನ್ನು, ಬ್ರೌಸರ್ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ Playwright ಮತ್ತು Chrome DevTools ಪ್ರೋಟೋಕಾಲ್ (CDP) ಅನ್ನು, ದೃಷ್ಟಿ-ಚಾಲಿತ ತರ್ಕಕ್ಕಾಗಿ Azure OpenAI ಅನ್ನು ಮತ್ತು ರಚನೆಗೊಳ್ಳುವ ಎಕ್ಸ್ಟ್ರಾಕ್ಷನ್ಗೆ Pydantic ಅನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ.
ಈ ಪಾಠದಲ್ಲಿ ಅವಲೋಕನ:
ಈ ಪಾಠವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ ಮೇಲೆ, ನೀವು ತಿಳಿಯುತ್ತೀರಿ ಹೇಗೆ:
ಈ ಪಾಠದಲ್ಲಿ ಒಂದು ನೋಟ್ಬುಕ್ ಪಾಠ್ಯಕ್ರಮವಿದೆ:
ನೋಟ್ಬುಕ್ನಲ್ಲಿ ಬಳಸುವ ಪ್ಯಾಕೇಜ್ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ:
pip install browser_use playwright python-dotenv
playwright install chromium
ನೋಟ್ಬುಕ್ ಬಳಸುವ Azure OpenAI ಪರಿಸರ ಸ್ಥಿರಾಂಕಗಳನ್ನು ಹೊಂದಿಸಿ:
AZURE_OPENAI_ENDPOINT=...
AZURE_OPENAI_API_KEY=...
AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=...
# ಆಯ್ಕೆಯಾಗಿ: ಬಿಟ್ಟುಹೋದಾಗ ಅತ್ಯಂತ ಇತ್ತೀಚಿನ API ಆವೃತ್ತಿಗೆ ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಹೋಗುತ್ತದೆ
AZURE_OPENAI_API_VERSION=...
ನೋಟ್ಬುಕ್ ಸಂಯೋಜಿತ ಬ್ರೌಸರ್ ಸ್ವಯಂಚಾಲನೆ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ:
ಈ ವಿಧಾನವು Browser-Use ಅನ್ನು ಉತ್ತಮಪಡುವ ಮತ್ತು ದೃಷ್ಟಿ-ಆಧಾರಿತ ತರ್ಕವನ್ನು ಅನುಸರಿಸುವುದನ್ನು ಇರಿಸುತ್ತದೆ, ಆದರೆ ನೀವು ಅದನ್ನು ಬೇಕಾದಾಗ ನಿಯತವಾದ ಬ್ರೌಸರ್ ನಿಯಂತ್ರಣವನ್ನು ನೀಡುತ್ತದೆ.
| ಪರಿಸ್ಥಿತಿ | ಏಜೆಂಟ್ ಬಳಸಿ | ನಟನ ಬಳಸಿ |
|---|---|---|
| ಡೈನಾಮಿಕ್ ವಿನ್ಯಾಸಗಳು | ಹೌದು, AI ಪುಟ ಬದಲಾವಣೆಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಬಹುದು | ಇಲ್ಲ, ಸುಲಭವಾಗುವ ಆಯ್ಕೆಗಳು ಕೆಡಬಹುದು |
| ತಿಳಿದಿರುವ ರಚನೆ | ಇಲ್ಲ, ಏಜೆಂಟ್ ನೇರ ನಿಯಂತ್ರಣಕ್ಕಿಂತ ನಿಧಾನ | ಹೌದು, ವೇಗವಾಗಿ ಮತ್ತು ಖಚಿತವಾಗಿ |
| ಅಂಶಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವದು | ಹೌದು, ಸಹಜ ಭಾಷೆ ಉತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ | ಇಲ್ಲ, ಖಂಚ ಆಯ್ಕೆ ಅಗತ್ಯವಿದೆ |
| ಸಮಯ ನಿಯಂತ್ರಣ | ಇಲ್ಲ, ಕಡಿಮೆ ನಿರೀಕ್ಷಣೀಯ | ಹೌದು, ನಿರೀಕ್ಷೆ ಮತ್ತು ಮರಳಿಕೆಗಳನ್ನು ಸಂಪೂರ್ಣ ನಿಯಂತ್ರಿಸುತ್ತದೆ |
| ಜಟಿಲ ಕಾರ್ಯಪ್ರವಾಹಗಳು | ಹೌದು, ಅಪೇಕ್ಷಿತ ಬಾಹ್ಯ UI ಸ್ಥಿತಿಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ | ಇಲ್ಲ, ಸ್ಪಷ್ಟ ಶಾಖೆ ಅಗತ್ಯವಿದೆ |
ಬ್ರೌಸರ್ ಏಜೆಂಟ್ಗಳು ನೇರ ಜೀವರಾಜಿಯಾದ ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವುಗೆ ತಿಳಿದಿರುವ API ಕೇವಲ ಕರೆಮಾಡುವ ಸ್ಕ್ರಿಪ್ಟ್ ಗಿಂತ ಕಡಿಮೆಯಲ್ಲದ ಮಿತಿಗಳನ್ನು ಬೇಕಾಗಿರುತ್ತದೆ. ನೋಟ್ಬುಕ್ ಡೆಮೋದಿಂದ ನಿಜವಾದ ಕಾರ್ಯಪ್ರವಾಹಕ್ಕೆ ಹೋಗುವ ಮೊದಲು ಏಜೆಂಟ್ ನೋಡಬಹುದು, ಕ್ಲಿಕ್ ಮಾಡಬಹುದು ಮತ್ತು ಸಲ್ಲಿಸಬಹುದು ಎಂಬ ನಿಯಂತ್ರಣಗಳನ್ನು ನಿರ್ಧರಿಸಿ.
Airbnb ಮಾದರಿಯಲ್ಲಿ, ಸುರಕ್ಷಿತ ಪೂರ್ವನಿಯೋಜನೆ ಲಿಸ್ಟಿಂಗ್ಗಳನ್ನು ಹುಡುಕುವುದು ಮತ್ತು ಬೆಲೆಗಳನ್ನು ಹೊರತೆಗೆಸುವುದು. ಲಾಗಿನ್ ಆಗುವುದು, ಹೋಸ್ಟ್ ಸಂಪರ್ಕಿಸುವುದು ಅಥವಾ ಬುಕ್ಕಿಂಗ್ ಪೂರ್ಣಗೊಳಿಸುವುದು ಹೊಸಬಳಕೆದಾರ ಅನುಮೋದಿಸಿ ಕ್ರಮವಾಗಬೇಕು.
ನೀವು ಈ ಪಾಠದಲ್ಲಿ ನಿರ್ಮಿಸುವ ಏಜೆಂಟ್ ಒಂದು ಸಣ್ಣ, ಸ್ಥಳೀಯ ಆವೃತ್ತಿ ಕಂಪ್ಯೂಟರ್ ಬಳಕೆ ಏಜೆಂಟ್ (CUA) — ವ್ಯಕ್ತಿಯಂತೆ ಬ್ರೌಸರ್ ಚಾಲನೆ ಮಾಡುವ ಪ್ರೋಗ್ರಾಂ. ಮೈಕ್ರೋಸಾಫ್ಟ್ ಇದೇ ಕಲ್ಪನೆಯನ್ನು ಸಂಸ್ಥೆಗೆ ತರುತ್ತಿದೆ Project Opal (Frontier) ಮೂಲಕ, ಇದು Microsoft 365 Copilot ನಲ್ಲಿ ಲಭ್ಯವಿದೆ.
Project Opal ಮೂಲಕ, ನೀವು ಒಂದು ಕೆಲಸವನ್ನು ವಿವರಣೆ ಮಾಡಿ ಮತ್ತು ಏಜೆಂಟ್ ನಿಮ್ಮ ಪರವಾಗಿ ಕಂಪ್ಯೂಟರ್ ಬಳಕೆಯನ್ನು ಸುರಕ್ಷಿತ Windows 365 ಕ್ಲೌಡ್ ಪಿಸಿಯಲ್ಲಿ ಸಂಬಂಧಿತ ಅಪ್ಲಿಕೇಶನ್ಗಳು, ತಾಣಗಳು ಮತ್ತು ಡೇಟಾಗಳೊಳಗಿನ ಬ್ರೌಸರ್ ಆಧಾರಿತ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಇದು ಅಸಿಂಕ್ರೋನಸ್ ಬ್ಯಾಕ್ಗ್ರೌಂಡ್ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ನೀವು ಯಾವಾಗ ಬೇಕಾದರೂ ಕಾರ್ಯದ ನಿರ್ವಹಣೆಯನ್ನು ಅಥವಾ ನಿಯಂತ್ರಣವನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು. ಉದಾಹರಣೆ ಕೆಲಸಗಳು:
Opal ಒಂದು ಉತ್ಪಾದನಾ ಮಟ್ಟದ, ನಂಬಿಕಯೋಗ್ಯ ಕಂಪ್ಯೂಟರ್ ಬಳಕೆ ಏಜೆಂಟ್ ಹೇಗಿರುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ಉಪಯುಕ್ತ ಉಲ್ಲೇಖವಾಗಿದ್ದು, ಈ ಪಾಠದ ಮೊದಲಿನ ವಿಚಾರಗಳನ್ನು ಗಟ್ಟಿಗೊಳಿಸುತ್ತದೆ:
| ಈ ಕೋರ್ಸಿನಲ್ಲಿನ ತತ್ವ | Project Opal ಇದನ್ನು ಹೇಗೆ ಅನ್ವಯಿಸುತ್ತದೆ |
|---|---|
| ಮಾನವ-ನಿರ್ವಹಣೆ (ಪಾಠ 06) | Opal ಲಾಗಿನ್ ಪ್ರമാണಗಳು, ಸಂವೇದನಾಶೀಲ ಡೇಟಾ ಅಥವಾ ಅನುಮಾನಾಸ್ಪದ ಸೂಚನೆಗಳಿಗಾಗಿ ನಿಲ್ಲುತ್ತದೆ ಮತ್ತು ಸ್ಪಷ್ಟ ಅನುಮೋದನೆ ಇಲ್ಲದೆ ಪಾಸ್ವರ್ಡ್ ನಮೂದಿಸುವುದಿಲ್ಲ ಅಥವಾ ಫಾರ್ಮ್ ಸಲ್ಲಿಸುವುದಿಲ್ಲ. ನೀವು ಮಧ್ಯಂತರ ಕಾರ್ಯದಲ್ಲಿ ನಿಯಂತ್ರಣ ಪಡೆಯಬಹುದು ಮತ್ತು ನಿಯಂತ್ರಣ ಹಿಂದಿರುಗಿಸಬಹುದು. |
| ನಂಬಿಕಯೋಗ್ಯ ಮತ್ತು ಸುರಕ್ಷಿತ ಏಜೆಂಟ್ಗಳು (ಪಾಠಗಳು 06 & 18) | ವಿಶಿಷ್ಟ Windows 365 ಕ್ಲೌಡ್ ಪಿಸಿನಲ್ಲಿ ಚಾಲನೆ ಆಗುತ್ತದೆ, ಬ್ರೌಸರ್ ಮಾತ್ರ ಬಳಸುತ್ತದೆ (ಇತರ ಕಂಪ್ಯೂಟರ್ ಪ್ರವೇಶಗಳು Intune ಮೂಲಕ ತಡೆಹಿಡಿದಿರುತ್ತವೆ), ನಿಮ್ಮ ಗುರುತನ್ನು ಬಳಸುತ್ತದೆ ಆದ್ದರಿಂದ ನೀವು ಅನುಮತಿಸಿರುವುದೇ ಮಾತ್ರ ಪ್ರವೇಶಿಸುವದು, ಮತ್ತು ಪ್ರತಿಯೊಂದು ಕಾರ್ಯವನ್ನು ಲಾಗ್ ಮಾಡುತ್ತದೆ. |
| ಯೋಜನೆ ಮತ್ತು ಮೆಟಾ-ನಿರ್ಣಯ (ಪಾಠಗಳು 07 & 09) | Opal ಮೊದಲಿಗೆ ಕಾರ್ಯಕ್ಕೆ ಯೋಜನೆಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ನಂತರ ಪ್ರತಿ ಹಂತದಲ್ಲಿ ತನ್ನ ತರ್ಕವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅನುಮಾನಾಸ್ಪದ ಚಟುವಟಿಕೆಯನ್ನು ಕಂಡುಹಿಡಿದರೆ ನಿಲ್ಲುತ್ತದೆ. |
| ಪುನಃ ಉಪಯೋಗಿಸಬಹುದಾದ ಸಾಮರ್ಥ್ಯಗಳು / ಉಪಕರಣಗಳು (ಪಾಠ 04) | Skills ನಿಮಗೊಂದು .md ಫೈಲ್ನಿಂದ ಆಮದು ಮಾಡಿಕೊಳ್ಳಲಾಗುವ ಅಥವಾ Opal ಜೊತೆ ರಚಿಸಲಾದ ಪುನರಾವರ್ತಿತ ಕೆಲಸಗಳಿಗೆ ಸೂಚನೆಗಳನ್ನು ಬರೆಯಲು ಮತ್ತು ಸಂಭಾಷಣೆಗಳಲ್ಲಿ ಮರುಬಳಕೆ ಮಾಡಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. |
ಲಭ್ಯತೆ: Project Opal ಪ್ರಸ್ತುತ Frontier ಮುಂಭಾಗದ ಪ್ರವೇಶ ಕಾರ್ಯಕ್ರಮನಲ್ಲಿ ಮೈಕ್ರೋಸಾಫ್ಟ್ 365 Copilot سب್ಸ್ಕ್ರಿಪ್ಶನ್ ಹೊಂದಿರುವ ಬಳಕೆದಾರರಿಗೆ ಲಭ್ಯವಿದ್ದು, ನಿಮ್ಮ ನಿರ್ವಾಹಕ ಸ್ಥಾಪನೆಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಬೇಕು. ಇದು ಪ್ರಯೋಗಾತ್ಮಕ Frontier ವೈಶಿಷ್ಟ್ಯವಾಗಿರುವುದರಿಂದ, ಸಾಮರ್ಥ್ಯಗಳು ಕಾಲಾನುಕಾಲ ಬದಲಾಗಬಹುದು.
Microsoft ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ಅನ್ವೇಷಿಸಿ
ವಿಸ್ತಾರಗೊಳ್ಳುವ ಏಜೆಂಟ್ಗಳನ್ನು ನಿಯೋಜಿಸುವುದು
ಅಸ್ವೀಕಾರ: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸಡ್ಡೆಗಳು ಇರಬಹುದು. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜು ಪ್ರಾಮಾಣಿಕ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದವನ್ನು ಬಳಸುವ ಮೂಲಕ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗಳ ಅಥವಾ ತಪ್ಪು ವ್ಯಾಖ್ಯಾನಗಳ ಬಗ್ಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲ.