ai-agents-for-beginners
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್‌ಗಳು: ಗಮನಾರ್ಹತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ
AI ಏಜೆಂಟ್‌ಗಳು ಪ್ರಯೋಗಾತ್ಮಕ ಪ್ರೋಟೋಟೈಪ್ಗಳಿಂದ ನೈಜ ಜಗತ್ತಿನ ಅನ್ವಯಗಳಿಗೆ ಸ್ಥಳಾಂತರವಾಗುತ್ತಿದ್ದಂತೆ, ಅವುಗಳ ನಡೆಗೆ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ, ಅವುಗಳ ಕಾರ್ಯನಿರ್ವಹಣೆಯನ್ನು ಮಾನಿಟರ್ ಮಾಡುವ ಮತ್ತು ಸೇರುವ ಫಲಿತಾಂಶಗಳನ್ನು ಕ್ರಮಬದ್ಧವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಸಾಮರ್ಥ್ಯವು ಪ್ರಮುಖವಾಗುತ್ತದೆ.
ಕಲಿಕೆಯ ಗುರಿಗಳು
ಈ ಪಾಠವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ ನಂತರ, ನೀವು ತಿಳಿದುಕೊಳ್ಳುತ್ತೀರಿ:
- ಏಜೆಂಟ್ ಗಮನಾರ್ಹತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ ಮೂಲಭೂತ concept ಗಳು
- ಏಜೆಂಟ್ಗಳ ಕಾರ್ಯಕ್ಷಮತೆ, ವೆಚ್ಚಗಳು ಮತ್ತು ಪರಿಣಾಮಕಾರಿತೆಯನ್ನು ಸುಧಾರಿಸುವ ತಂತ್ರಗಳು
- ನಿಮ್ಮ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಕ್ರಮಬದ್ಧವಾಗಿ ಏನನ್ನು ಮತ್ತು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು
- ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸುವಾಗ ವೆಚ್ಚಗಳನ್ನು ಸಹControl ಮಾಡುವುದು
- ಮೈಕ್ರೋಸಾಫ್ಟ್ ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ಬಳಸಿ ನಿರ್ಮಿಸಲಾದ ಏಜೆಂಟ್‌ಗಳನ್ನು instrument ಮಾಡುವುದು ಹೇಗೆ
ಗುರಿ ಎಂದರೆ ನಿಮ್ಮ “ಬ್ಲಾಕ್ ಬಾಕ್ಸ್” ಏಜೆಂಟ್‌ಗಳನ್ನು ಪಾರದರ್ಶಕ, ನಿರ್ವಹಣೀಯ ಮತ್ತು ನಂಬಿಕೆಯಾಗುವ ವ್ಯವಸ್ಥೆಗಳಾಗಿ ತಿರುಗಿಸುವ ಜ್ಞಾನವನ್ನು ನಿಮ್ಮಿಗೆ ಒದಗಿಸುವುದು.
ಗಮನಿಸಿ: ಸುರಕ್ಷಿತ ಮತ್ತು ನಂಬಿಕೆಯಾಗುವ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸುವುದು ಮುಖ್ಯ. ನಂಬಕಗೊಳಿಸಲ್ಪಟ್ಟ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಪಾಠವನ್ನು ಸಹ ಪರಿಶೀಲಿಸಿರಿ.
ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಸ್ಪಾನ್ಗಳು
ಲಾಂಗ್‌ಫ್ಯೂಸ್ ಅಥವಾ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೌಂಡ್ರಿ ಮುಂತಾದ ಗಮನಾರ್ಹತಾ ಉಪಕರಣಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಏಜೆಂಟ್ ಗಳ ಚಾಲನೆಗಳನ್ನು ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಸ್ಪಾನ್‌ಗಳಾಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ.
- ಟ್ರೇಸ್ ಎಂಬುದು ಪ್ರಾರಂಭದಿಂದ ಅಂತ್ಯವರೆಗಿನ ಪೂರ್ಣ ಏಜೆಂಟ್ ಕಾರ್ಯವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ ಬಳಕೆದಾರನ ಪ್ರಶ್ನೆ ನಿರ್ವಹಣೆ).
- ಸ್ಪಾನ್ಗಳು ಟ್ರೇಸ್ ಒಳಗಿನ ವೈಯಕ್ತಿಕ ಹಂತಗಳು (ಉದಾ. ಭಾಷಾ ಮಾದರಿಯನ್ನು ಕರೆಮಾಡುವುದು ಅಥವಾ ಮಾಹಿತಿ ಪಡೆಯುವುದು).
ಗಮನಾರ್ಹತೆ ಇಲ್ಲದೆ, AI ಏಜೆಂಟ್ ಒಂದು “ಬ್ಲಾಕ್ ಬಾಕ್ಸ್” ಆಗಿರುವಂತೆ ಭಾಸವಾಗಬಹುದು - ಅದರ ಆಂತರಿಕ ಸ್ಥಿತಿ ಮತ್ತು ತರ್ಕಪೂರ್ಣತೆಯು अस्पಷ್ಟವಾಗಿದ್ದು, ಸಮಸ್ಯೆ ನಿರ್ಣಯಿಸಲು ಅಥವಾ ಕಾರ್ಯಕ್ಷಮತೆ ಸುಧಾರಿಸುವುದಕ್ಕೆ ಕಷ್ಟವಾಗಿದೆ. ಗಮನಾರ್ಹತೆ ಇದ್ದಾಗ, ಏಜೆಂಟ್‌ಗಳು “ಗಾಜಿನ ಬಾಕ್ಸ್‌ಗಳಾಗುತ್ತಾರೆ,” ಪಾರದರ್ಶಕತೆ ಒದಗಿಸಿ ನಂಬಿಕೆ ನಿರ್ಮಿಸಲು ಮತ್ತು ಅವು ಉದ್ದೇಶಿಸಿದಂತೆ ಕಾರ್ಯ ನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಅತ್ಯಂತ ಮುಖ್ಯ.
ಉತ್ಪಾದನಾ ಪರಿಸರಗಳಲ್ಲಿ ಗಮನಾರ್ಹತೆ ಏಕೆ ಮುಖ್ಯ?
AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಉತ್ಪಾದನಾ ಪರಿಸರಗಳಿಗೆ ಸ್ಥಳಾಂತರಿಸುವಾಗ ಹೊಸ ಸವಾಲುಗಳು ಮತ್ತು ಅವಶ್ಯಕತೆಗಳು ಎದುರಾಗುತ್ತವೆ. ಗಮನಾರ್ಹತೆ ಈಗ “ಒಳ್ಳೆಯದೆ” ಅಲ್ಲ ಆದರೆ ಅತ್ಯಗತ್ಯ ಸಾಮರ್ಥ್ಯವಾಗಿದೆ:
- ಡಿಬಗಿಂಗ್ ಮತ್ತು ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ: ಏಜೆಂಟ್ ವೈಫಲ್ಯಗೊಳ್ಳುವಾಗ ಅಥವಾ ಅನಿರೀಕ್ಷಿತ output ನೀಡುವಾಗ, ಗಮನಾರ್ಹತಾ ಉಪಕರಣಗಳು ದೋಷದ ಮೂಲವನ್ನು ಗುರುತಿಸುವ ಟ್ರೇಸ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ. ಇದು ಬಹುಕಾಲಾಂತರದಲ್ಲಿ ಹಲವಾರು LLM ಕರೆಯುಗಳು, ಉಪಕರಣ ಸಂವಹನಗಳು ಮತ್ತು ಶರತ್ತುಗೊಂಡ ತರ್ಕವನ್ನು ಒಳಗೊಂಡಿರಬಹುದು ಎಂಬುದರಿಂದ ಮುಖ್ಯವಾಗಿದೆ.
- ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚ ನಿರ್ವಹಣೆ: AI ಏಜೆಂಟ್‌ಗಳು LLM ಗಳು ಮತ್ತು ಇತರ ಬಾಹ್ಯ API ಗಳ ಮೇಲೆ ನಂಬಿಕೊಂಡಿರುತ್ತವೆ, ಅವು ಟೋಕನ್ ಅಥವಾ ಕರೆ ಪ್ರತಿ ನಿರ್ದಿಷ್ಟ ದರದಲ್ಲಿ ಚಾರ್ಜ್ ಆಗುತ್ತವೆ. ಗಮನಾರ್ಹತೆ ಮೂಲಕ ಈ ಕರೆಗಳನ್ನು ನಿಖರವಾಗಿ ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು, ಹೆಚ್ಚು ನಿಧಾನ ಅಥವಾ ದುಬಾರಿ ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸುವಲ್ಲಿ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದರಿಂದ prompt ಗಳನ್ನು ಪರಿಷ್ಕರಿಸುವುದು, ಹೆಚ್ಚು ಪ್ರಭಾವಶಾಲಿ ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡುವುದು ಅಥವಾ ಕಾರ್ಯವಾಹಿಕದ ವೆಚ್ಚಗಳನ್ನು ಮತ್ತು ಉತ್ತಮ ಬಳಕೆದಾರ ಅನುಭವವನ್ನು ಖಚಿತಪಡಿಸಲು ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಮರುರಚಿಸುವಂತೆ ನಿರ್ವಹಿಸಬಹುದು.
- ನಂಬಿಕೆ, ಭದ್ರತೆ ಮತ್ತು ಅನುಕೂಲತೆ: ಹಲವಾರು ಅನ್ವಯಗಳಲ್ಲಿ, ಏಜೆಂಟ್‌ಗಳು ಸುರಕ್ಷಿತವಾಗಿಯೂ ನೈತಿಕವಾಗಿಯೂ ನಡೆದುಕೊಳ್ಳಬೇಕು. ಗಮನಾರ್ಹತೆ ಏಜೆಂಟ್ ಧಾರಣೆ ಮತ್ತು ನಿರ್ಣಯಗಳ ಸಂಪೂರ್ಣ ದಾಖಲೆ ಒದಗಿಸುತ್ತದೆ. ಇದನ್ನು ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್, ಹಾನಿಕಾರಕ ವಿಷಯ ಸൃഷ್ಠಿ, ಅಥವಾ ವೈಯಕ್ತಿಕ ಗುರುತಿಸುವ ಮಾಹಿತಿ (PII) ಸರಿ ಸಂಭಾಳಿಕೆ ಮಾಡದಿರುವುದನ್ನು ಗುರುತಿಸಲು ಬಳಸಬಹುದು. ಉದಾ.: ನೀವು ಟ್ರೇಸ್ ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಏಜೆಂಟ್ ಏಕೆ ಒಂದು ನಿರ್ದಿಷ್ಟ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನೀಡಿತು ಅಥವಾ ಯಾವ ಉಪಕರಣವನ್ನು ಬಳಸಿ ಎಂದು ತಿಳಿಯಬಹುದು.
- ತೃಹಾತನುತಾಪಾಧಿ ಸುಧಾರಣೆ ಲೂಪ್ಸ್: ಗಮನಾರ್ಹತೆ ಡೇಟಾ ಒಂದು ಪುನರಾವೃತ್ತಿ ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಯ ಅಡಿಪಾಯವಾಗಿದೆ. ಏಜೆಂಟ್‌ಗಳು ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಾರೆ ಎಂದು ಮಾನಿಟರ್ ಮಾಡುವ ಮೂಲಕ, ತಂಡಗಳು ಸುಧಾರಣೆಗಾಗಿ ಕ್ಷೇತ್ರಗಳನ್ನು ಗುರುತಿಸಬಹುದು, ಮಾದರಿಗಳನ್ನು ಸೂಕ್ಷ್ಮಗೊಳಿಸಲು ಡೇಟಾ ಸಂಗ್ರಹಿಸಬಹುದು ಮತ್ತು ಬದಲಾವಣೆಗಳ ಪರಿಣಾಮವನ್ನು ದೃಢೀಕರಿಸಬಹುದು. ಈ ಮೂಲಕ ಉತ್ಪಾದನಾ ಒಳೆಯ ಫಲಿತಾಂಶಗಳು ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನದಿಂದ ಆಫ್‌ಲೈನ್ ಪ್ರಯೋಗ ಮತ್ತು ಪರಿಷ್ಕರಣೆಗಳಿಗೆ ಪರಸ್ಪರ ಸಮಾದಾನ ನೀಡುವಂತೆ ಫೀಡ್ಬ್ಯಾಕ್ ಲೂಪ್ ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ, ಇದು ಕ್ರಮೇಣ ಉತ್ತಮ ಏಜೆಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನುಂಟುಮಾಡುತ್ತದೆ.
ಟ್ರ್ಯಾಕ್ ಮಾಡುವ ಪ್ರಮುಖ ಅಂಶಗಳು
ಏಜೆಂಟ್ ನಡೆಗೆ ಮಾನಿಟರ್ ಮತ್ತು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ವಿಭಿನ್ನ ಮೆಟ್ರಿಕ್‌ಗಳು ಮತ್ತು ಸೂಚನೆಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಬೇಕು. ಏಜೆಂಟ್ ಗುರಿಯ ಮೇಲೆ ಅವಲಂಬಿಸಿ ನಿರ್ದಿಷ್ಟ ಮೆಟ್ರಿಕ್‌ಗಳು ಬದಲಾಗಬಹುದು, ಆದರೆ ಕೆಲವು ಸಾಮಾನ್ಯವಾಗಿ ಮುಖ್ಯವಾಗಿವೆ.
ಇಲ್ಲಿ ಕೆಲವು ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಮೆಟ್ರಿಕ್‌ಗಳು ಜ್ಞಾನದ ಉಪಕರಣಗಳು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತವೆ:
ಲೇಟೆನ್ಸಿ: ಏಜೆಂಟ್ ಎಷ್ಟು ದ್ರುತವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ? ದೀರ್ಘ ನಿರೀಕ್ಷಣೆಯು ಬಳಕೆದಾರ ಅನುಭವವನ್ನು ಹಾನಿ ಮಾಡುತ್ತದೆ. ಕಾರ್ಯಗಳು ಮತ್ತು ವೈಯಕ್ತಿಕ ಹಂತಗಳ ಲೇಟೆನ್ಸಿಯನ್ನು ಟ್ರೇಸಿಂಗ್ ಮೂಲಕ ಅಳೆಯಬೇಕು. ಉದಾ., ಎಲ್ಲಾ ಮಾದರಿ ಕರೆಗಳಿಗೆ 20 ಸೆಕೆಂಡುಗಳು ಬೇಕಾದ ಏಜೆಂಟ್ ಹೆಚ್ಚಿನ ವೇಗದ ಮಾದರಿ ಅಥವಾ ಸಮ್ಮಿಲಿತ ಕರೆಗಳ ಮೂಲಕ ವೇಗವಾಗಬಹುದು.
ವೆಚ್ಚಗಳು: ಏಜೆಂಟ್ ಚಾಲನೆ ಪ್ರತಿ ವೆಚ್ಚ ಎಷ್ಟು? AI ಏಜೆಂಟ್‌ಗಳು LLM ಕರೆಗಳು ಟೋಕನ್ ಪ್ರತಿ ಮತ್ತು ಬಾಹ್ಯ API ಗಳ ಮೇಲೆ ನಂಬಿಕೊಂಡಿರುತ್ತವೆ. ಬಹಳ ಉಪಕರಣ ಬಳಕೆ ಅಥವಾ ಅನೇಕ ಪ್ರಾಂಪ್ಟ್ಗಳು ವೆಚ್ಚಗಳನ್ನು ವೇಗವಾಗಿ ಹೆಚ್ಚಿಸುತ್ತವೆ. ಉದಾ., ಏಜೆಂಟ್ ಕನಿಷ್ಠ ಗುಣಮಟ್ಟದ ಸುಧಾರಣೆಗೆ LLM ಅನ್ನು ಐದು ಬಾರಿ ಕರೆ ಮಾಡಿದರೆ, ವೆಚ್ಚ ತಕ್ಕಮಟ್ಟಿಗೆ ಸರಿ ಅಥವಾ ಕರೆಗಳ ಸಂಖ್ಯೆ ಕಡಿಮೆ ಮಾಡಬಹುದೇ ಅಥವಾ ತಗ್ಗಾದ ಮಾದರಿಯನ್ನು ಬಳಸಬಹುದೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕು. ನೈಜ ಸಮಯ ಮಾನಿಟರಿಂಗ್ ಅನಿರೀಕ್ಷಿತ ಸ್ಪೈಕ್‌ಗಳನ್ನು ಗುರುತಿಸಲು ಸಹ ಸಹಾಯ ಮಾಡಬಹುದು (ಉದಾ. ಬಗ್ಸ್ ಮೂಲಕ ಅಧಿಕ API ಲೂಪ್ಸ್).
ಕೋರಿಕೆ ದೋಷಗಳು: ಏಜೆಂಟ್ ಎಷ್ಟು ವಿನಂತಿಗಳನ್ನು ವೈಫಲ್ಯಗೊಳಿಸಿದೆ? ಇದರಲ್ಲಿ API ದೋಷಗಳು ಅಥವಾ ಉಪಕರಣಗಳ ವೈಫಲ್ಯ ಸಂವಹನ ಸೇರಬಹುದು. ಉತ್ಪಾದನೆಯಲ್ಲಿ ಈ ಪರಿಸ್ಥಿತಿಗಳಿಗೆ ಹೆಚ್ಚು ಬಲವಾದ ಏಜೆಂಟ್‌ಗಾಗಿ, ನೀವು ಫಾಲ್ಬ್ಯಾಕ್ ಗಳು ಅಥವಾ ಮರುಪ್ರಯತ್ನಗಳನ್ನು ಹೊಂದಿಸಬಹುದು. ಉದಾ., LLM ಪೂರೈಕೆದಾರ A ಡೌನ್ ಆಗಿದ್ದರೆ, ಬ್ಯಾಕಪ್ ಆಗಿ LLM ಪೂರೈಕೆದಾರ B ಗೆ ಬದಲಿ.
ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆ: ನೇರ ಬಳಕೆದಾರ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಜಾರಿಗೆ ತರುವುದರಿಂದ ಅಮೂಲ್ಯ ಜ್ಞಾನ ಸಿಗುತ್ತದೆ. ಇದರಲ್ಲಿ ಸ್ಪಷ್ಟ ರೇಟಿಂಗ್‌ಗಳು (👍ಉತ್ತಮ/👎ತಗ್ಗಿದ, ⭐1-5 ತಾರೆಗಳು) ಅಥವಾ ಪಠ್ಯಾತ್ಮಕ ಟೀಕೆಗಳು ಸೇರಬಹುದು. ನಿರಂತರ ನೆಗೆಟಿವ್ ಫೀಡ್ಬ್ಯಾಕ್ ಏಜೆಂಟ್ ನಿರೀಕ್ಷಿತಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ ಎಂಬ ಸಂಕೇತ.
ಅನಿಲೋಕ ಒಡ್ಡುವ ಬಳಕೆದಾರ ಫೀಡ್ಬ್ಯಾಕ್: ಬಳಕೆದಾರ ನಡತೆಯು ಸ್ಪಷ್ಟ ರೇಟಿಂಗ್ ಇಲ್ಲದೆ ಸಹ ಪರೋಕ್ಷ ಪ್ರತಿಕ್ರಿಯೆ ನೀಡುತ್ತದೆ. ಇದರಲ್ಲಿ ತಕ್ಷಣದ ಪ್ರಶ್ನೆ ಮರುರಚನೆ, ಮರುಕಳಿಸಿದ ಪ್ರಶ್ನೆಗಳು ಅಥವಾ ಮರುಪ್ರಯತ್ನ ಬಟನ್ ಕ್ಲಿಕ್ ಮಾಡುವುದು ಸೇರಬಹುದು. ಉದಾ., ಬಳಕೆದಾರರು ನಿರಂತರವಾಗಿ ಅದೇ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿದರೆ, ಇದು ಏಜೆಂಟ್ ನಿರೀಕ್ಷಿತಂತೆ ಕಾರ್ಯನಿಲ್ಲಿಸುವುದಿಲ್ಲ ಎಂಬ ಸೂಚನೆ.
ಸೂಕ್ಷ್ಮತೆ: ಏಜೆಂಟ್ ಎಷ್ಟು ಸತತವಾಗಿ ಸರಿಯಾದ ಅಥವಾ ಬಯಸಲಾದ output ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ? ಸೂಕ್ಷ್ಮತೆಯ ವ್ಯಾಖ್ಯಾನಗಳು ಬದಲಾಗಬಹುದು (ಉದಾ., ಸಮಸ್ಯೆ ಬಗೆಹರಿಸುವ ಸರಿಯಾದತೆ, ಮಾಹಿತಿ ಪಡೆಯುವ ಸೂಕ್ಷ್ಮತೆ, ಬಳಕೆದಾರ ತೃಪ್ತಿ). ಮೊದಲ ಹಂತವೆಂದರೆ ನಿಮ್ಮ ಏಜೆಂಟ್ ಯಶಸ್ಸು ಹೇಗಿರಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು. ಸ್ವಯಂಚಾಲಿತ ತಪಾಸಣೆ, ಮೌಲ್ಯಮಾಪನ ಸ್ಕೋರ್‌ಗಳು ಅಥವಾ ಕಾರ್ಯ ಪೂರ್ಣತೆ ಲೇಬಲ್‌ಗಳ ಮೂಲಕ ಸೂಕ್ಷ್ಮತೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ಉದಾ., ಟ್ರೇಸ್‌ಗಳನ್ನು “ಶಿಫಾರಸು ಮಾಡಿದ” ಅಥವಾ “ವಿಫಲ” ಎಂದು ಗುರುತಿಸುವುದು.
ಸ್ವಯಂಚಾಲಿತ ಮೌಲ್ಯಮಾಪನ ಮೆಟ್ರಿಕ್‌ಗಳು: ಸ್ವಯಂಚಾಲಿತ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಕೂಡ ಹೊಂದಿಸಬಹುದು. ಉದಾ., ಒಂದು LLM ಅನ್ನು ಬಳಸಿಕೊಂಡು ಏಜೆಂಟ್ output ಅನ್ನು ಅಂಕನೀಡಬಹುದು, ಉದಾ., ಅದು ಸಹಾಯಕ, ಸೂಕ್ತ ಅಥವಾ ಅಲ್ಲವೇ ಎಂಬುದಾಗಿ. RAG ಏಜೆಂಟ್‌ಗಳಿಗಾಗಿ RAGAS ಮತ್ತು ಹಾನಿಕರ ಭಾಷಾ ಅಥವಾ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಪತ್ತೆಹಚ್ಚಲು LLM Guard ಮುಂತಾದ ತೆರೆದ ಮೂಲ ಗ್ರಂಥಾಲಯಗಳೂ ಸಹ ಲಭ್ಯವಿವೆ.
ವಾಸ್ತವಿಕವಾಗಿ, ಈ ಮೆಟ್ರಿಕ್‌ಗಳ ಸಂಯೋಜನೆ AI ಏಜೆಂಟ್ ಆರೋಗ್ಯದ ಉತ್ತಮ ಸಮಗ್ರತೆ ನೀಡುತ್ತದೆ. ಈ ಅಧ್ಯಾಯದ ಉದಾಹರಣೆಯ ನೋಟ್ಬುಕ್ನಲ್ಲಿ, ನಾವು ಈ ಮೆಟ್ರಿಕ್‌ಗಳು ವಾಸ್ತವಿಕ ಉದಾಹರಣೆಗಳಲ್ಲಿ ಹೇಗಿರುತ್ತವೆ ಎಂದು ತೋರಿಸುತ್ತೇವೆ ಆದರೆ ಮೊದಲಿಗೆ, ನಾವು ಸಾಮಾನ್ಯ ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯಪ್ರವಾಹ ಹೇಗಿರುತ್ತದೆ ಎಂದು ಕಲಿಯೋಣ.
ನಿಮ್ಮ ಏಜೆಂಟ್ ಅನ್ನು ಇನ್‌ಸ್ಟ್ರುಮೆಂಟ್ ಮಾಡಿ
ಟ್ರೇಸಿಂಗ್ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು, ನೀವು ನಿಮ್ಮ ಕೋಡ್ ಅನ್ನು instrument ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಗುರಿ ಆಗಿವೆ ಏಜೆಂಟ್ ಕೋಡ್ ಅನ್ನು instrument ಮಾಡಿ ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಲು, ಇವುಗಳನ್ನು ಗಮನಾರ್ಹತಾ ವೇದಿಕೆಯು ಹಿಡಿದು, ಪ್ರಕ್ರಿಯೆಮಾಡಿ, ದೃಶ್ಯವಿಮರ್ಶೆ ಮಾಡಬಹುದು.
ಒಪನ್ ಟೆಲಿಮೆಟ್ರಿ (OTel): ಒಪನ್ ಟೆಲಿಮೆಟ್ರಿ LLM ಗಮನಾರ್ಹತೆಗೆ ಉದ್ಯಮ ಸ್ಥಳದಲ್ಲಿ ಮಾನದಂಡವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ. ಇದು API ಗಳು, SDK ಗಳು ಮತ್ತು ಉಪಕರಣಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಸ್ಫೂರ್ತಿಯನ್ನು ಉಂಟುಮಾಡಲು, ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಟ್ಯಾಲಿಮೆಟ್ರಿ ಡೇಟಾ ರಫ್ತು ಮಾಡಲು.
ಹಲವಾರು instrumentation ಗ್ರಂಥಾಲಯಗಳು ಇಸಂಗಳ ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳನ್ನು ಸುತ್ತುವತ್ತು OpenTelemetry ಸ್ಪಾನ್‌ಗಳನ್ನು ಗಮನಾರ್ಹತಾ ಉಪಕರಣಕ್ಕೆ ರಫ್ತು ಮಾಡಲು ಸುಲಭವಾಗಿಸುತ್ತವೆ. ಮೈಕ್ರೋಸಾಫ್ಟ್ ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ತಾವು OpenTelemetry ನೊರ್ಪಾಕವಾಗಿ ಸಂಯೋಜಿಸಿದೆ. ಕೆಳಗಿನ ಉದಾಹರಣೆ MAF ಏಜೆಂಟ್ ಅನ್ನು instrument ಮಾಡುವುದು.
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# Agent execution is traced automatically
pass
ಈ ಅಧ್ಯಾಯದ ಉದಾಹರಣೆಯ ನೋಟ್ಬುಕ್ ನಿಮ್ಮ MAF ಏಜೆಂಟ್ ಅನ್ನು ಹೇಗೆ instrument ಮಾಡುವುದು ತೋರಿಸುತ್ತದೆ.
ಮಾನ್ಯುವಲ್ ಸ್ಪಾನ್ ಸೃಷ್ಟಿ: instrumentation ಗ್ರಂಥಾಲಯಗಳು ಒಳ್ಳೆಯ ಮೂಲಭೂತವನ್ನು ಒದಗಿಸುವಾಗ, ಹೆಚ್ಚಿನ ವಿವರವಾದ ಅಥವಾ ಕಸ್ಟಮ್ ಮಾಹಿತಿಯ ಅಗತ್ಯವಿರುವುದೂ ಇದೆ. ನೀವು ಕೈಯಿಂದ ಸ್ಪಾನ್‌ಗಳನ್ನು ಸೃಷ್ಟಿಸಿ ಕಸ್ಟಮ್ ಅಪ್ಲಿಕೇಶನ್ ಲಾಜಿಕ್ನಿಗೆ ಸೇರಿಸಬಹುದು. ಮುಖ್ಯವಾಗಿ, ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅಥವಾ ಕೈಯಿಂದ ಸೃಷ್ಟಿಸಿದ ಸ್ಪಾನ್‌ಗಳನ್ನು ಕಸ್ಟಮ್ ಗುಣಲಕ್ಷಣಗಳ (ಟ್ಯಾಗ್‌ಗಳು ಅಥವಾ ಮೆಟಾಡೇಟಾ ಎಂದರೆ) ಮೂಲಕ ಶ್ರೀಮಂತಗೊಳಿಸಬಹುದು. ಈ ಗುಣಲಕ್ಷಣಗಳಲ್ಲಿ ವ್ಯವಹಾರ-ನಿರ್ದಿಷ್ಟ ಡೇಟಾ, ಮಧ್ಯಂತರ ಲೆಕ್ಕಾಚಾರಗಳು ಅಥವಾ ಯಾವುದೇ ಅನುಬಂಧ ದೋಷನಿರ್ಣಯ ಅಥವಾ ವಿಶ್ಲೇಷಣೆಗೆ ಉಪಯುಕ್ತವಾಗಬಹುದು, ಉದಾ., user_id, session_id, ಅಥವಾ model_version.
ಲಾಂಗ್‌ಫ್ಯೂಸ್ ಪೈಥಾನ್ SDK ಬಳಸಿ ಟ್ರೇಸ್ ಮತ್ತು ಸ್ಪಾನ್‌ಗಳನ್ನು ಕೈಯಿಂದ ಸೃಷ್ಟಿಸುವ ಉದಾಹರಣೆ:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ
ಗಮನಾರ್ಹತೆ ನಮಗೆ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ಮೌಲ್ಯಮಾಪನವು ಆ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಪ್ರಕ್ರಿಯೆ (ಮತ್ತು ಪರೀಕ್ಷೆಗಳು ನಡೆಸುವುದು) ಆಗಿದ್ದು AI ಏಜೆಂಟ್ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಸುಧಾರಿಸಬಹುದು ಎಂಬುದನ್ನು ನಿರ್ಣಯಿಸುವುದು. ಬೇರೆ ಮಾತಲ್ಲಿ, ನೀವು ಆ ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಪಡೆದ ನಂತರ, ಅವುಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಏಜೆಂಟ್ ಅನ್ನು ವಿಸ್ತಾರವಾಗಿ ತೀರ್ಮಾನಿಸುತ್ತೀರಿ ಮತ್ತು ನಿರ್ಧಾರ ಮಾಡುತ್ತೀರಿ.
ನಿಯತ ಮೌಲ್ಯಮಾಪನ ಪ್ರಮುಖ ಏಕೆಂದರೆ AI ಏಜೆಂಟ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಅನಿರ್ಧಿಷ್ಟವಾಗಿರುತ್ತವೆ ಮತ್ತು (ನವೀಕರಣಗಳು ಅಥವಾ ಮಾದರಿ ತಿರುಗುವಿಕೆಯ ಮೂಲಕ) ಬೆಳೆಯಬಹುದು – ಮೌಲ್ಯಮಾಪನ ಇಲ್ಲದೆ, ನಿಮ್ಮ “ಸ್ಮಾರ್ಟ್ ಏಜೆಂಟ್” ನಿಜವಾಗಿಯೂ ಅದನು ಕೆಲಸ ಮಾಡುತ್ತಿದೆಯಾ ಅಥವಾ ಹಿಂಬಾಲ ಬಿತ್ತು ಎಂದು ತಿಳಿಯಲಾಗುವುದಿಲ್ಲ.
AI ಏಜೆಂಟ್ಗಳ ಮೌಲ್ಯಮಾಪನದ ಎರಡು ವಿಧಗಳಿವೆ: ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ. ಎರಡೂ ಮುಖ್ಯವಾಗಿದ್ದು ಪರಸ್ಪರ ಪೂರಕವಾಗಿವೆ. ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನದಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ, ಏಕೆಂದರೆ ಇದು ಯಾವುದೇ ಏಜೆಂಟ್ ಅನ್ನು ನಿಯೋಜಿಸುವ ಮೊದಲು ಕನಿಷ್ಟ ಅಗತ್ಯ ಹಂತ.
ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ
ಇದು ನಿಯಂತ್ರಿತ ಪರಿಸರದಲ್ಲಿ, ಸಾಮಾನ್ಯವಾಗಿ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ನೈಜ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳನ್ನು ಬಳಸದೆ ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದಾಗಿದೆ. ನೀವು ನಿರ್ದಿಷ್ಟ ಫಲಿತಾಂಶ ಅಥವಾ ಸರಿಯಾದ ನಡೆ ತಿಳಿದಿರುವ ಸಂಕಲಿತ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತೀರಿ ಮತ್ತು ನಂತರ ನಿಮ್ಮ ಏಜೆಂಟ್ ಆ ಮೇಲೆ ರನ್ ಮಾಡುತ್ತೀರಿ.
ಉದಾಹರಣೆಗೆ, ನೀವು ಗಣಿತ ಪದ ಸಮಸ್ಯೆ ಏಜೆಂಟ್ ನಿರ್ಮಿಸಿರುವರೆಂದರೆ, ನೀವು 100 ಸಮಸ್ಯೆಗಳಿರುವ ಪರೀಕ್ಷಾ ಸ್ಟೆ ಟ್ ಹೊಂದಬಹುದು, ಅಲ್ಲಿ ಉತ್ತರಗಳು ತಿಳಿವೆ. ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನವನ್ನು ತುಂಬಾ ಬಾರಿ ಬೆಳವಣಿಗೆಯಲ್ಲಿ (ಮತ್ತು CI/CD ಪೈಪ್ಲೈನ್‌ಗಳಲ್ಲಿ ಭಾಗವಾಗಿ) ಸುಧಾರಣೆ ಅಣ್ಣಗಿಗಲಿಸಲು ಅಥವಾ ಹಿಂಬಾಲಕ್ಕೆ ತಡೆಯಲು ಬಳಸಲಾಗುತ್ತದೆ. ಲಾಭವೆಂದರೆ ಇದು ಪುನರಾವೃತ್ತಿ ಹೊಂದಿದ್ದು ಮತ್ತು ನಿಮ್ಮ ಬಳಿ ಗ್ರೌಂಡ್ ಟ್ರೂತ್ ಇದ್ದರಿಂದ ಸ್ಪಷ್ಟ ಸೂಕ್ಷ್ಮತೆ ಮೆಟ್ರಿಕ್ ಗಳು ಸಿಗುತ್ತವೆ. ನೀವು ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳನ್ನು ನಕಲು ಮಾಡಿದರೂ ಹಾಗೆಯೇ ಬಹುಶಃ ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಉಪಯೋಗಿಸಬಹುದು.
ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನದ ಪ್ರಮುಖ ಸವಾಲು ನಿಮ್ಮ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ ಸಮಗ್ರವಾಗಿದ್ದು ಪ್ರಸ್ತುತತೆಯನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವುದು – ಏಜೆಂಟ್ ಸ್ಥಿರ ಪರೀಕ್ಷಾ ಪಟ್ಟಿಯಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡಬಹುದು ಆದರೆ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಬಹಳ ವಿಭಿನ್ನ ಪ್ರಶ್ನೆಗಳನ್ನು ಎದುರಿಸಬಹುದು. ಆದ್ದರಿಂದ ನೀವು ಪರೀಕ್ಷಾ ಸೆಟ್‌ಗಳನ್ನು ನವೀಕರಿಸುವುದು ಅಗತ್ಯ, ನೈಜ ಜಗತ್ತಿನ ಸಂದರ್ಭಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಹೊಸ ಎಡ್ಜ್ ಕೇಸುಗಳು ಮತ್ತು ಉದಾಹರಣೆಗಳೊಂದಿಗೆ. ತ್ವರಿತ ಪರಿಶೀಲನೆಗಳಿಗೆ ಸಣ್ಣ “ಸ್ಮೋಕ್ ಟೆಸ್ಟ್” ಗಳನ್ನೂ ಮತ್ತು ವ್ಯಾಪಕ ಕಾರ್ಯಕ್ಷಮತೆ ಮೆಟ್ರಿಕ್‌ಗಳಿಗಾಗಿಯೂ ಹೆಚ್ಚಿನ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್‌ಗಳನ್ನೂ ಒಟ್ಟಿಗೆ ಬಳಸುವುದು ಉಪಯೋಗಿ.
ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ
ಇದು ಏಜೆಂಟ್ ನೈಜ, ನೈಜ ಜಗತ್ತಿನ ಪರಿಸರದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು, ಅಂದರೆ ನೈಜ ಬಳಕೆದಾರರ ಸಂವಹನಗಳ ಸಮಯದಲ್ಲಿ. ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನವು ನೈಜ ಬಳಕೆದಾರ ಸಂವಹನಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮಾನಿಟರ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ನಿರಂತರವಾಗಿ ವಿಶ್ಲೇಷಿಸುತ್ತದೆ.
ಉದಾ., ನೀವು ಯಶಸ್ವಿ ದರಗಳು, ಬಳಕೆದಾರ ತೃಪ್ತಿ ಸ್ಕೋರ್‌ಗಳು ಅಥವಾ ನೈಜ ಟ್ರಾಫಿಕ್ ಪರದರ್ಶಕ metrics ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನದ ಲಾಭವೆಂದರೆ ಅದು ಲ್ಯಾಬ್ ಪರಿಸರದಲ್ಲಿ ನೀವು ಅಂದಾಜಿಸದಂತಹ ಸಂಗತಿಗಳನ್ನು ಹಿಡಿಯುತ್ತದೆ – ಉದಾ., ಏಜೆಂಟ್ ಪರಿಣಾಮಕಾರಿತ್ವವು ಪ್ರವೇಶ ಮಾದರಿಗಳು ಬದಲಾಗುತ್ತಾ ಕಾಲಕಾಲಕ್ಕೆ ಹಾನಿಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಬಹುದು ಮತ್ತು ನೀವು ನಿಮ್ಮ ಪರೀಕ್ಷಾ ಡೇಟಾದಲ್ಲಿ ಇರದ ಅನಿರೀಕ್ಷಿತ ಪ್ರಶ್ನೆಗಳನ್ನೂ ತಿಳಿಯಬಹುದು. ಇದು ಏಜೆಂಟ್ ನ ನೈಜ ವರ್ತನೆಗೆ ನಿಜವಾದ ಚಿತ್ರಣ ಒದಗಿಸುತ್ತದೆ.
ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನವು ಅನ್ವಯಿಸುವುದೇನು ಎಂದರೆ ಸ್ಪಷ್ಟ ಮತ್ತು ಪರೋಕ್ಷ ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸಂಗ್ರಹಿಸುವುದು, ಹಾಗೆಯೇ ಶಾಡೋ ಪರೀಕ್ಷೆಗಳು ಅಥವಾ A/B ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸುವುದು (ಹಿಂದಿನ ಆವೃತ್ತಿಯೊಂದಿಗೆ ಹೋಲಿಸಲು ಹೊಸ ಆವೃತ್ತಿ ಏಜೆಂಟ್ ಪಾರ್ಶ್ವವಾಯುಡೆಯಲ್ಲಿ ನಡೆಯುವುದು). ಸವಾಲು ಎಂದರೆ ನೈಜ ಸಂವಹನಗಳಿಗೆ ನಂಬಿಗಸ್ತ ಲೇಬಲ್‌ಗಳು ಅಥವಾ ಸ್ಕೋರ್‌ಗಳನ್ನು ಪಡೆಯುವುದು ಕಷ್ಟ; ನೀವು ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆ ಅಥವಾ ತೊಳಕೊಂಡು_metrics_ (ಉದಾ. ಬಳಕೆದಾರ ಫಲಿತಾಂಶ ಕ್ಲಿಕ್ ಮಾಡಿದೆಯಾ) ಮೇಲೆ ನಂಬಬಹುದು.
ಎರಡನ್ನು ಸೇರಿಸುವುದು
ಆನ್‌ಲೈನ್ ಮತ್ತು ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನಗಳು ಪರಸ್ಪರ ಬದಲಿಗೆ ಅಲ್ಲ, ಬಹಳ ಪೂರಕವಾಗಿವೆ. ಆನ್‌ಲೈನ್ ಮಾನಿಟರಿಂಗಿನಿಂದ ಪಡೆದ ತಿಳುವಳಿಕೆಗಳು (ಉದಾ., ಹೊಸ ವಿಧದ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳಾದಾಗ ಏಜೆಂಟ್ ಕೆಟ್ಟಿರುವುದು) ಆಫ್‌ಲೈನ್ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ಮತ್ತು ಸುಧಾರಿಸಲು ಬಳಸಬಹುದು. ವಿರುದ್ಧ, ಆಫ್‌ಲೈನ್ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತಮ ಉಪಯೋಗ ಹಂಚಿದ ಏಜೆಂಟ್‌ಗಳನ್ನು ಹೆಚ್ಚು ವಿಶ್ವಾಸದಿಂದ ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ನಿಯೋಜಿಸಿ ಮತ್ತು ಮಾನಿಟರ್ ಮಾಡಬಹುದು.
ವಾಸ್ತವದಲ್ಲಿ, ಹಲವಾರು ತಂಡಗಳು ವಿವರವಾಗಿ ಈ ಲೂಪ್ ಅನ್ನು ಅನುಭವಿಸುತ್ತವೆ:
ಆಫ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ -> ನಿಯೋಜನೆ -> ಆನ್‌ಲೈನ್ ಫಲಿತಾಂಶ ಮಾನಿಟರ್ -> ಹೊಸ ವೈಫಲ್ಯ ಪ್ರಕರಣಗಳು ಸಂಗ್ರಹಿಸಿ -> ಆಫ್‌ಲೈನ್ ಡೇಟಾಸೆಟ್‌ಗೆ ಸೇರಿಸಿ -> ಏಜೆಂಟ್ ಅನ್ನು ಸೂಕ್ಷ್ಮಗೊಳಿಸಿ -> ಪುನರಾವರ್ತನೆ.
ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು
AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಿಯೋಜಿಸುವಾಗ ನೀವು ವಿಭಿನ್ನ ಸವಾಲುಗಳನ್ನು ಎದುರಿಸಬಹುದು. ಇಲ್ಲಿ ಕೆಲವು ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು ಮತ್ತು ಅವುಗಳ ಸಾಧ್ಯ ಪರಿಹಾರಗಳು:
| ಸಮಸ್ಯೆ | ಸಾಧ್ಯ ಪರಿಹಾರ |
|---|---|
| AI ಏಜೆಂಟ್ ಕಾರ್ಯಗಳನ್ನು ನಿಯಮಿತವಾಗಿ ನಿಭಾಯಿಸುವುದಿಲ್ಲ | - AI ಏಜೆಂಟ್‌ಗೆ ನೀಡಲಾದ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪರಿಷ್ಕರಿಸಿ; ಗುರಿಗಳನ್ನು ಸ್ಪಷ್ಟಪಡಿಸಿ. - ಕಾರ್ಯಗಳನ್ನು ಉಪಕಾರ್ಯಗಳಲ್ಲಿ ವಿಭಜಿಸುವುದರಿಂದ ಮತ್ತು ಬಹು ಏಜೆಂಟ್‌ಗಳು ನಿಭಾಯಿಸುವ ಮೂಲಕ ಸಹಾಯವಾಗಬಹುದು ಎಂಬುದನ್ನು ಗುರುತಿಸಿ. |
| AI ಏಜೆಂಟ್ ನಿರಂತರ ಲೂಪ್‌ಗಳಲ್ಲಿ ಸಿಲುಕಿ ಹೋಗುತ್ತದೆ | - ಸ್ಪಷ್ಟ ಅಂತಿಮತೆ ನಿಯಮಗಳು ಮತ್ತು ಷರತ್ತುಗಳನ್ನು ಹೊಂದಿರುವುದನ್ನು ಖಚಿತಪಡಿಸಿ, ಏಜೆಂಟ್ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಯಾವಾಗ ನಿಲ್ಲಿಸುವುದು ಎಂದು ತಿಳಿದುಕೊಳ್ಳಲಿ. - ಜಟಿಲ ಕಾರ್ಯಗಳಿಗೆ, ಯೋಚನೆ ಮತ್ತು ಯೋಜನೆಗೆ ವಿಶೇಷ ಮಾದರಿಯನ್ನು ಉಪಯೋಗಿಸಿ. |
| AI ಏಜೆಂಟ್ ಉಪಕರಣ ಕರೆಗಳು ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ | - ಉಪಕರಣದ output ಅನ್ನು ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಯ ಹೊರಗೆ ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಮಾನ್ಯಗೊಳಿಸಿ. - ನಿರ್ದಿಷ್ಟ ಪರಿಮಾಣಗಳು, ಪ್ರಾಂಪ್ಟ್ ಗಳು ಮತ್ತು ಉಪಕರಣಗಳ ಹೆಸರನ್ನು ಪರಿಷ್ಕರಿಸಿ. |
| ಬಹುಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆ ನಿಯಮಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ | - ಪ್ರತಿ ಏಜೆಂಟ್‌ಗೆ ನೀಡಲಾದ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ನಿರ್ದಿಷ್ಟವಾಗಿಯೂ ವಿಭಿನ್ನವಾಗಿಯೂ ಮಾಡಿರಿ. - ಯಾವ ಏಜೆಂಟ್ ಸರಿಯಾದದು ಎಂದು ನಿರ್ಧರಿಸುವ “ರೂಟಿಂಗ್” ಅಥವಾ ನಿಯಂತ್ರಕ ಏಜೆಂಟ್ ಬಳಸಿ ಹಿರarchy ವ್ಯವಸ್ಥೆ ನಿರ್ಮಿಸಿ. |
ಈ ಸಮಸ್ಯೆಗಳ ಬಹುತೇಕ ಭಾಗಗಳನ್ನು ಗಮನಾರ್ಹತೆ ಉಪಯೋಗಿಸುವ ಮೂಲಕ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಗುರುತಿಸಬಹುದು. ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್‌ಗಳು ಏಜೆಂಟ್ ಕಾರ್ಯವಾಹಿಕದ ಯಾವ ಹಂತದಲ್ಲಿ ಸಮಸ್ಯೆಗಳು ಸಂಭವಿಸುತ್ತಿವೆ ಎಂದು ಸ್ಪಷ್ಟವಾಗಿ ಸೂಚನೆ ನೀಡುತ್ತವೆ, ಇದರಿಂದ ಡಿಬಗಿಂಗ್ ಮತ್ತು ಸುಧಾರಣೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗುತ್ತದೆ.
ವೆಚ್ಚ ನಿರ್ವಹಣೆ
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸುವ ವೆಚ್ಚಗಳನ್ನು ನಿಯಂತ್ರಿಸುವ ಕೆಲವು ತಂತ್ರಗಳಿವೆ:
ಚಿಕ್ಕ ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದು: ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು (SLMs) ಕೆಲವು ಏಜೆಂಟಿಕ್ ಬಳಕೆ ಪ್ರಕರಣಗಳಲ್ಲಿ ಉತ್ತಮ ಪ್ರದರ್ಶನ ನೀಡಬಹುದು ಮತ್ತು ಖರ್ಚುಗಳನ್ನು ಬಹುಮುಖ್ಯವಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಮೊದಲು ಉಲ್ಲೇಖಿಸಿದಂತೆ, ನಿಮ್ಮ ಬಳಕೆ ಪ್ರಕರಣದಲ್ಲಿ SLM ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂದು ತಿಳಿದುಕೊಳ್ಳಲು ಮತ್ತು ದೊಡ್ಡ ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರದರ್ಶನವನ್ನು ಹೋಲಿಸಲು ಮೌಲ್ಯಮಾಪನ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸುವುದು ಉತ್ತಮವಾದ ವಿಧಾನವಾಗಿದೆ. ಸರಳ ಕಾರ್ಯಗಳಿಗಾಗಿ ಇದೇನ್ಸ್ ವರ್ಗೀಕರಣ ಅಥವಾ ಪರಿಮಾಣದ ಉಳಿತಾಯದಂತಹ ಸರಳ ಕಾರ್ಯಗಳಿಗೆ SLM ಗಳನ್ನು ಬಳಸುವುದನ್ನು ಪರಿಗಣಿಸಿ, ಮತ್ತು ಸಂಕೀರ್ಣ ತರ್ಕಕ್ಕಾಗಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಿ.
ರೌಟರ್ ಮಾದರಿಯನ್ನು ಬಳಸುವುದು: ಸಮಾನವಾದ ತಂತ್ರವೀಗಿರುವುದು ವಿಭಿನ್ನ ಮಾದರಿಗಳ ಮತ್ತು ಗಾತ್ರಗಳ ಬಳಕೆ. ನೀವು LLM/SLM ಅಥವಾ ಸರ್ವರ್‌ಲೆಸ್ ಫಂಕ್ಷನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಸಂಕೀರ್ಣತೆ ಆಧಾರಿತವಾಗಿ ಅರ್ಜಿಗಳನ್ನು ಅತ್ಯುತ್ತಮ ಹೊಂದಣೆಯ ಮಾದರಿಗಳಿಗೆ ರೌಟ್ ಮಾಡಬಹುದು. ಇದು ಖರ್ಚುಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದಕ್ಕೆ ಸಹಾಯವಲ್ಲದೆ ಸರಿಯಾದ ಕಾರ್ಯಗಳ ಮೇಲಿನ ಪ್ರದರ್ಶನವನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಸರಳ ಪ್ರಶ್ನೆಗಳನ್ನು ಚಿಕ್ಕ, ವೇಗವಾದ ಮಾದರಿಗಳಿಗೆ ರೌಟ್ ಮಾಡಿ, ಮತ್ತು ದುಬಾರಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಕೇವಲ ಸಂಕೀರ್ಣ ತರ್ಕ ಕಾರ್ಯಗಳಿಗೆ ಮಾತ್ರ ಬಳಸಿರಿ.
ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಕ್ಯಾಸಿಂಗ್ ಮಾಡುವುದು: ಸಾಮಾನ್ಯ ಅರ್ಜಿಗಳು ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸಿ ನಿಮ್ಮ ಏಜೆಂಟಿಕ್ ವ್ಯವಸ್ಥೆಗೆ ಹೋಗುವ ಮೊದಲು ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಒದಗಿಸುವುದು ಸಮಾನ ಅರ್ಜಿಗಳ ಪ್ರಮಾಣವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಳ್ಳೆಯ ಮಾರ್ಗವಾಗಿದೆ. ನೀವು ಬಹುಮುಖ AI ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಂಡು ನಿಮ್ಮ ಕ್ಯಾಸ್ಡ್ ಅರ್ಜಿಗಳನ್ನು ಹೋಗಿರುವ ಅರ್ಜಿಗಿಂತ 얼마나 ಹೋಲಿಕೆ ಆಗುತ್ತದೆ ಎಂದು ಗುರುತಿಸುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸಹ ಜಾರಿಗೆ ತರಬಹುದು. ಈ ತಂತ್ರವು ಹೆಚ್ಚಾಗಿ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳಿಗೆ ಅಥವಾ ಸಾಮಾನ್ಯ ಕಾರ್ಯವಾಹಿಗಳನ್ನು ಖರ್ಚು ಕಡಿಮೆ ಮಾಡುವಲ್ಲಿ ಸಮಸ್ಯೆಯಿಂದ ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಇದನ್ನು ಕಾರ್ಯಾಚರಣೆಯಲ್ಲಿ ಹೇಗೆ ಮಾಡಬಹುದು ನೋಡೋಣ
ಈ ಭಾಗದ ಉದಾಹರಣಾ ನೋಟ್ಬುಕ್ ನಲ್ಲಿ, ನಾವು ನಮಗೆ ಏಜೆಂಟ್ ಅನ್ನು ಮೇಲ್ಮನವಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಪರ್ಯಾಯ ತಂತ್ರಾಗಾರಗಳನ್ನು ಬಳಸುವುದು ಹೇಗೆ ಎಂಬುದರ ಉದಾಹರಣೆಗಳನ್ನು ನೋಡೋಣ.
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್ಗಳ ಬಗ್ಗೆ ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆಗಳಿವೆಯೇ?
Microsoft Foundry Discord ಗೆ ಸೇರಿ, ಇತರ ಅಧ್ಯಯನಾರ್ಥಿಗಳಿಗೆ ಭೇಟಿ ನೀಡಿ, ಕಾರ್ಯಾಲಯ ಸಮಯಗಳಲ್ಲಿ ಭಾಗವಹಿಸಿ ಮತ್ತು ನಿಮ್ಮ AI ಏಜೆಂಟ್ಗಳ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರ ಪಡೆಯಿರಿ.
ಹಿಂದಿನ ಪಾಠ
ಮುಂದಿನ ಪಾಠ
ಅಸ್ವೀಕಾರ: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸಡ್ಡೆಗಳು ಇರಬಹುದು. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜು ಪ್ರಾಮಾಣಿಕ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದವನ್ನು ಬಳಸುವ ಮೂಲಕ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗಳ ಅಥವಾ ತಪ್ಪು ವ್ಯಾಖ್ಯಾನಗಳ ಬಗ್ಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲ.