ai-agents-for-beginners
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್ಗಳು: ಗಮನಾರ್ಹತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ
AI ಏಜೆಂಟ್ಗಳು ಪ್ರಯೋಗಾತ್ಮಕ ಪ್ರೋಟೋಟೈಪ್ಗಳಿಂದ ವಾಸ್ತವಿಕ ಅನ್ವಯಗಳಿಗೆ ಸಾಗುವಂತೆ, ಅವರ ವರ್ತನೆಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ, ಅವರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಗಮನಿಸುವ ಮತ್ತು ಅವರ ಮೌಲ್ಯಮಾಪನವನ್ನು системಾಗಿ ನಡೆಸುವ ಸಾಮರ್ಥ್ಯ ಪ್ರಮುಖವಾಗುತ್ತದೆ.
ಕಲಿಕೆಯ ಗುರಿಗಳು
ಈ ಪಾಠವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ ನಂತರ, ನೀವು ತಿಳಿಯುತ್ತೀರಿ/ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತೀರಿ:
- ಏಜೆಂಟ್ ಗಮನಾರ್ಹತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ ಮೂಲ ತತ್ವಗಳು
- ಏಜೆಂಟ್ಗಳ ಕಾರ್ಯಕ್ಷಮತೆ, ವೆಚ್ಚಗಳು ಮತ್ತು ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ಸುಧಾರಿಸುವ ತಂತ್ರಜ್ಞಾನಗಳು
- ನಿಮ್ಮ AI ಏಜೆಂಟ್ಗಳನ್ನು ಕ್ರಮಬದ್ಧವಾಗಿ ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕೆಂದು
- AI ಏಜೆಂಟ್ಗಳನ್ನು ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಿಯೋಜಿಸುವಾಗ ವೆಚ್ಚಗಳನ್ನು ಹೇಗೆ ನಿಯಂತ್ರಿಸಬೇಕೆಂದು
- Microsoft ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ಬಳಸಿ ನಿರ್ಮಿಸಿದ ಏಜೆಂಟ್ಗಳನ್ನು ಹೇಗೆ ಸಾಧನಗೊಳಿಸಬೇಕೆಂದು
ಗುರಿ ನಿಮ್ಮ “ಬ್ಲಾಕ್ ಬಾಕ್ಸ್” ಏಜೆಂಟ್ಗಳನ್ನು ಪಾರದರ್ಶಕ, ನಿರ್ವಹಣೀಯ ಮತ್ತು ನಂಬಬಹುದಾದ ವ್ಯವಸ್ಥೆಯಾಗಿ ಪರಿವರ್ತಿಸಲು ಜ್ಞಾನವನ್ನು ನೀಡುವುದು.
ಶಕ್ತಿ: ಉಚಿತ ಮತ್ತು ನಂಬಬಹುದಾದ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿಯೋಜಿಸುವುದು ಪ್ರಮುಖವಾಗಿದೆ. ನಂಬಬಹುದಾದ AI ಏಜೆಂಟ್ಗಳ ನಿರ್ಮಾಣ ಪಾಠವನ್ನು ಸಹ ನೋಡಿ.
ಟ್ರೇಸ್ ಮತ್ತು ಸ್ಪ್ಯಾನ್ಗಳು
ಗಮನಾರ್ಹತೆ ಸಾಧನಗಳು, ಉದಾಹರಣೆಗೆ Langfuse ಅಥವಾ Microsoft Foundry, ಸಾಮಾನ್ಯವಾಗಿ ಏಜೆಂಟ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಟ್ರೇಸ್ ಮತ್ತು ಸ್ಪ್ಯಾನ್ಗಳಾಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ.
- ಟ್ರೇಸ್ ಒಂದು ಸಂಪೂರ್ಣ ಏಜೆಂಟ್ ಕಾರ್ಯವನ್ನು ಪ್ರಾರಂಭದಿಂದ ಅಂತ್ಯದವರೆಗೆ ಪ್ರತಿನಿಧಿಸುತ್ತದೆ (ಉದಾ: ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವುದು).
- ಸ್ಪ್ಯಾನ್ಗಳು ಟ್ರೇಸ್ನೊಳಗಿನ ವೈಯಕ್ತಿಕ ಹಂತಗಳು (ಉದಾ: ಭಾಷಾ ಮಾದರಿಯನ್ನು ಕರೆ ಮಾಡುವ ಅಥವಾ ಡೇಟಾ ಪಡೆಯುವ).
ಗಮನಾರ್ಹತೆ ಇಲ್ಲದೆ, AI ಏಜೆಂಟ್ “ಬ್ಲಾಕ್ ಬಾಕ್ಸ್” ಎಂಬಂತೆ ಕಾಣಬಹುದು - ಅದರ ಒಳಗಿನ ಸ್ಥಿತಿ ಮತ್ತು ಕಾರಣವು अस्पಷ್ಟವಾಗಿರುತ್ತದೆ, ಸಮಸ್ಯೆಗಳನ್ನು ಗುರುತಿಸಲು ಅಥವಾ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಲು ಕಷ್ಟದಾಯಕವಾಗುತ್ತದೆ. ಗಮನಾರ್ಹತೆಗೆ, ಏಜೆಂಟ್ಗಳು “ಗ್ಲಾಸ್ ಬಾಕ್ಸ್” ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತವೆ, ಇದು ನಂಬಿಕೆಯನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ಅವು ನಿರೀಕ್ಷಿತಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ಖಚಿತಪಡಿಸಲು ಪಾರದರ್ಶಕತೆಯನ್ನನು ಮುಂದುವರುತ್ತದೆ.
ಉತ್ಪಾದನಾ ಪರಿಸರಗಳಲ್ಲಿ ಗಮನಾರ್ಹತೆ ಯಾಕೆ ಮುಖ್ಯ
AI ಏಜೆಂಟ್ಗಳನ್ನು ಉತ್ಪಾದನಾ ಪರಿಸರಗಳಿಗೆ ಜರುಗಿಸುವಾಗ ಹೊಸ ಸವಾಲುಗಳು ಮತ್ತು ಅಗತ್ಯಗಳು ಹುಟ್ಟಿ ಬರುತ್ತವೆ. ಗಮನಾರ್ಹತೆ ಈಗ “ಇಚ್ಛಿತ” ಅಲ್ಲ ಆದರೆ ಅತ್ಯವಶ್ಯಕ ಸಾಮರ್ಥ್ಯವಾಗಿದೆ:
- ಡಿಬಗ್ ಮತ್ತು ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ: ಏಜೆಂಟ್ ವೈಫಲ್ಯಗೊಳ್ಳುವಾಗ ಅಥವಾ ಅನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ ನೀಡುವಾಗ, ಗಮನಾರ್ಹತೆ ಸಾಧನಗಳು ತಪ್ಪಿನ ಮೂಲವನ್ನು ತಲುಪಲು ಅಗತ್ಯವಿರುವ ಟ್ರೇಸ್ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ. ಇದು ಬಹಳ ಸಂಕೀರ್ಣ ಏಜೆಂಟ್ಗಳಲ್ಲಿ ಮುಖ್ಯ (ಅनेक LLM ಕರೆಗಳು, ಉಪಕರಣ ಸಂಪರ್ಕಗಳು ಮತ್ತು ಷರತ್ತಿನ ತರ್ಕಗಳು ಇತ್ಯಾದಿ).
- ವಿಲಂಬ ಮತ್ತು ವೆಚ್ಚ ನಿರ್ವಹಣೆ: AI ಏಜೆಂಟ್ಗಳು LLMಗಳ ಮೇಲ್ಭಾಗ ಮತ್ತು ಇತರ ಬಾಹ್ಯ API ಗಳ ಮೇಲೆ ಆಧಾರಿತವಾಗಿರುತ್ತವೆ, ಅವು ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಅಥವಾ ಕರೆಗಾಗಿ ಶುಲ್ಕವಿರುತ್ತದೆ. ಗಮನಾರ್ಹತೆ ಈ ಕರೆಗಳನ್ನು ನಿಖರವಾಗಿ ಹಿಮ್ಮುಖ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಇದು ನಿಧಾನ ಅಥವಾ ದುಬಾರಿ ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸಲು ಸಹಕಾರಿ. ಇದರಿಂದ ತಂಡಗಳು ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಬಹುದು, ಹೆಚ್ಚು ದಕ್ಷವಾದ ಮಾದರಿಗಳನ್ನು ಆರಿಸಬಹುದು, ಅಥವಾ ಕಾರ್ಯ ನಿಯಮಾವಳಿಗಳನ್ನು ಪುನಃ ವಿನ್ಯಾಸಗೊಳಿಸಬಹುದು.
- ನಂಬಿಕೆ, ಸುರಕ್ಷತೆ ಮತ್ತು ಅನುಪಾಲನೆ: ಅನೇಕ ಅನ್ವಯಗಳಲ್ಲಿ, ಏಜೆಂಟ್ಗಳು ಸುರಕ್ಷಿತವಾಗಿ ಮತ್ತು ನೈತಿಕವಾಗಿ ವರ್ತಿಸಲು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು ಮುಖ್ಯ. ಗಮನಾರ್ಹತೆ ಏಜೆಂಟ್ ಕ್ರಿಯೆಗಳು ಮತ್ತು ನಿರ್ಣಯಗಳ ಆಡಿಟ್ ಟ್ರೇಲ್ನ್ನು ಒದಗಿಸುತ್ತದೆ. ಇದು ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್, ಹಾನಿಕಾರಕ ವಿಷಯಗಳ ಉತ್ಪಾದನೆ, ಅಥವಾ ವೈಯಕ್ತಿಕ ಗುರುತಿಸಲು ಸಾಧ್ಯವಾದ ಮಾಹಿತಿ (PII) ದೊಂದಿಗೆ ತಪ್ಪಾಗುವಿಕೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ತಡೆಗಟ್ಟಲು ಉಪಯೋಗಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ನೀವು ಏಜೆಂಟ್ ಒಂದು ನಿರ್ದಿಷ್ಟ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನೀಡಿದ ಕಾರಣ ಅಥವಾ ಒದಗಿಸಿದ ಉಪಕರಣವನ್ನು ಪರೀಕ್ಷಿಸಲು ಟ್ರೇಸ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದು.
- ನಿರಂತರ ಸುಧರಣಾ ವೃತ್ತಗಳು: ಗಮನಾರ್ಹತೆ ಡೇಟಾ ಒಂದು ಪುನರಾವೃತ ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲವಾಗಿದೆ. ವಾಸ್ತವ ಜಗತ್ತಿನಲ್ಲಿ ಏಜೆಂಟ್ ಕಾರ್ಯಚಟುವಟಿಕೆಗಳನ್ನು ಗಮನಿಸುವ ಮೂಲಕ, ತಂಡಗಳು ಸುಧಾರಣೆಗೆ ಅಗತ್ಯವಿರುವ ಪ್ರದೇಶಗಳನ್ನು ಗುರುತಿಸಬಹುದು, ಮಾದರಿಗಳ ಸೂಕ್ತಗೊಳಿಕೆಯಿಗೆ ಡೇಟಾ ಸಂಗ್ರಹಿಸಬಹುದು ಮತ್ತು ಬದಲಾವಣೆಗಳ ಪ್ರಭಾವವನ್ನು ಪ್ರಮಾಣೀಕರಿಸಬಹುದು. ಇದು ಒಂದು ಪ್ರತಿಕ್ರಿಯೆ ವೃತ್ತವನ್ನು ರೂಪಿಸುತ್ತದೆ, ಅಲ್ಲಿ ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನದಿಂದ ಉತ್ಪಾದನಾ ಮೈಮೇಲೆ ನೋಟಗಳು ಆಫ್ಲೈನ್ ಪ್ರಯೋಗ ಮತ್ತು ಸುಧಾರಣೆಗೆ ಪ್ರೇರಣೆಯಾಗುತ್ತದೆ, ಮತ್ತು ಹೆಚ್ಚು ಉತ್ತಮ ಏಜೆಂಟ್ ಪ್ರದರ್ಶನವನ್ನು ಹುಟ್ಟುಹಾಕುತ್ತದೆ.
ಗಮನಿಸಬೇಕಾಗಿರುವ ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್ಗಳು
ಏಜೆಂಟ್ ವರ್ತನೆಯನ್ನು ಗಮನಿಸಲು ಮತ್ತು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ವಿವಿಧ ಮೆಟ್ರಿಕ್ಗಳು ಮತ್ತು ಸಂಕೇತಗಳನ್ನು ಅನುಸರಿಸಲಾಗಬೇಕು. ಏಜೆಂಟ್ ಗುರಿಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿ ವಿಶೇಷ ಮೆಟ್ರಿಕ್ಗಳು ಬದಲಾಗಬಹುದು, ಆದರೆ ಕೆಲವು ಎಲ್ಲಾ ವಿಭಾಗಗಳಿಗೂ ಮುಖ್ಯ.
ಗಮನಾರ್ಹತೆ ಸಾಧನಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಪರಿಶೀಲಿಸುವ ಕೆಲವು ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್ಗಳು:
ವಿಲಂಬ: ಏಜೆಂಟ್ ಎದೆಯೆಷ್ಟು ಶೀಘ್ರ ಉತ್ತರಿಸುತ್ತಾನೆ? ದೀರ್ಘ ಕಾಯುವ ಸಮಯವು ಉಪಯೋಗದ ಅನುಭವವನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಹೀನಮಾಡುತ್ತದೆ. ಕಾರ್ಯಗಳ ಮತ್ತು ವೈಯಕ್ತಿಕ ಹಂತಗಳ ವಿಲಂಬವನ್ನು ಟ್ರೇಸ್ ಮೂಲಕ ಅಳವಡಿಸಬೇಕು. ಉದಾಹರಣೆಗೆ, ಪ್ರತಿ ಮಾದರಿ ಕರೆಗಳಿಗೆ 20 ಸೆಕೆಂಡುಗಳು ತೆಗೆದುಕೊಳ್ಳುವ ಏಜೆಂಟ್, ವೇಗವಾಗಿರುವ ಮಾದರಿಯನ್ನು ಬಳಸುವುದರಿಂದ ಅಥವಾ ಮಾದರಿ ಕರೆಗಳನ್ನು ಸಮಕಾಲೀನವಾಗಿ ನಿರ್ವಹಿಸುವ ಮೂಲಕ ವೇಗವಾಗಿ ಮಾಡಬಹುದು.
ವೆಚ್ಚಗಳು: ಪ್ರತಿ ಏಜೆಂಟ್ ರನ್ಗೆ ವೆಚ್ಚವೇನು? AI ಏಜೆಂಟ್ಗಳು ಟೋಕನ್ ಅಥವಾ ಬಾಹ್ಯ APIಗಳ ಮೇಲೆ ಶುಲ್ಕ ಪಡುತ್ತಾರೆ. ಉಪಕರಣದ ಹೆಚ್ಚಿನ ಬಳಕೆ ಅಥವಾ ಅನೇಕ ಪ್ರಾಂಪ್ಟ್ಗಳು ವೆಚ್ಚವನ್ನು ವೇಗವಾಗಿ ಹೆಚ್ಚಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಏಜೆಂಟ್ ಐದು ಬಾರಿ LLM ಅವರನ್ನು ಕರೆಸpheres ಮೂಲಕ ಇದೋ ಪ್ರಮಾಣದಲ್ಲಿ ಗುಣಮಟ್ಟ ಸುಧಾರಣೆ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುವುದಾಗಿದೆ, ವೆಚ್ಚ ಸಮರ್ಥನೆಯ ಮೌಲ್ಯವಿವರಣೆ ಮಾಡುವುದು ಅಗತ್ಯ.
ಅನುರೋದ ದೋಷಗಳು: ಏಜೆಂಟ್ ಎಷ್ಟು ವಿನಂತಿಗಳನ್ನು ವಿಫಲಗೊಳಿಸಿತು? ಇದರಲ್ಲಿ API ದೋಷಗಳು ಅಥವಾ ಉಪಕರಣ ಕರೆಗಳ ವಿಫಲತೆ ಸೇರಬಹುದು. ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಿಮ್ಮ ಏಜೆಂಟ್ನ್ನು ಹೆಚ್ಚು ದೃಢಗೊಳಿಸಲು, ಫಾಲ್ಬ್ಯಾಕ್ಗಳು ಅಥವಾ ಮರುಪ್ರಯತ್ನಗಳನ್ನು ನಿಭಾಯಿಸಬಹುದು. ಉದಾ: LLM ಒದಗಿಸುವವರ A ಡೌನ್ ಆಗಿದ್ದರೆ, ಬ್ಯಾಕಪ್ ಆಗಿ LLM ಒದಗಿಸುವವರ B ಗೆ ಬದಲಾಯಿಸಬಹುದು.
ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆ: ನೇರ ಬಳಕೆದಾರ ಮೌಲ್ಯಮಾಪನದ ಅನುಷ್ಠಾನ ಬಹುಮೂಲ್ಯ ತಿಳಿವಳಿಕೆಗಳನ್ನು ನೀಡುತ್ತದೆ. ಇದರಲ್ಲಿ ಸ್ಪಷ್ಟ ಶ್ರೇಯಾಂಕಗಳು (👍ಅಂಗುಲುಮೂಲೆ/👎ಕೆಳಗೆ, ⭐1-5 ಸ್ಟಾರ್ಸ್) ಅಥವಾ ಪಠ್ಯಾತ್ಮಕ ಟೀಕೆಗಳು ಸೇರಬಹುದು. ನಿರಂತರ ನಕಾರಾತ್ಮಕ ಪ್ರತಿಕ್ರಿಯೆಗಳು ನಿಮಗೆ ಎಚ್ಚರಿಕೆಗೆ ಕಾರಣವಾಗಬಹುದು, ಇದು ಏಜೆಂಟ್ ನಿರೀಕ್ಷಿತಂತೆ ಕೆಲಸ ಮಾಡುತ್ತಿಲ್ಲ ಎಂಬ ಸೂಚನೆ.
ಅಪರೋಕ್ಷ ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆ: ಬಳಕೆದಾರರ ವರ್ತನೆಗಳು ಸ್ಪಷ್ಟ ಶ್ರೇಯಾಂಕಗಳಿಲ್ಲದೇ ಅಪರೋಕ್ಷ ಪ್ರತಿಕ್ರಿಯೆ ನೀಡಬಹುದು. ಇದರಲ್ಲಿ ತಕ್ಷಣದ ಪ್ರಶ್ನೆಗಳ ಪರ್ಯಾಯ ವಾಕ್ಯ, ಮರುಪ್ರಶ್ನೆಗಳು ಅಥವಾ ಮರುಪ್ರಯತ್ನ ಬಟನ್ ಕ್ಲಿಕ್ ಒಳಗೊಂಡಿರಬಹುದು. ಉದಾ: ಬಳಕೆದಾರರು ಒಂದೇ ಪ್ರಶ್ನೆಯನ್ನು ಪುನರಾವರ್ತಿಸಿರುವುದನ್ನು ನೋಡಿದರೆ, ಇದು ಏಜೆಂಟ್ ನಿರೀಕ್ಷಿತಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿಲ್ಲ ಎಂಬ ಸೂಚನೆ.
ನಿಖರತೆ: ಏಜೆಂಟ್ ಎಷ್ಟು ಬಾರಿ ಸರಿಯಾದ ಅಥವಾ ಬಯಸಿದ ಔಟ್ಪುಟ್ ನೀಡುತ್ತಾನೆ? ನಿಖರತೆ ವ್ಯಾಖ್ಯಾನಗಳು ಬದಲಾಗಬಹುದು (ಉದಾ: ಸಮಸ್ಯೆ ಪರಿಹಾರ ಸರಾಗತೆ, ಮಾಹಿತಿ ಪತ್ತೆದಾರಿಕೆಯಲ್ಲಿ ನಿಖರತೆ, ಬಳಕೆದಾರ ತೃಪ್ತಿ). ಮೊದಲ ಹಂತ ಏಜೆಂಟ್ ಯಶಸ್ಸನ್ನು ಯಾವ ರೀತಿಯಲ್ಲಿ ವ್ಯಾಖ್ಯಾನಿಸುವುದೆಂದು ನಿರ್ಧರಿಸುವುದು. ನೀವು ನಿಖರತೆಯನ್ನು ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳು, ಮೌಲ್ಯಮಾಪನ ಅಂಕೆಗಳು ಅಥವಾ ಕಾರ್ಯ ಪೂರ್ಣಗೊಳಿಸುವ ಲೇಬಲ್ಗಳ ಮೂಲಕ ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಟ್ರೇಸ್ಗಳನ್ನು “ಯಶಸ್ವಿ” ಅಥವಾ “ವಿಫಲ” ಎಂದು ಗುರುತಿಸುವುದು.
ಸ್ವಯಂಚಾಲಿತ ಮೌಲ್ಯಮಾಪನ ಮೆಟ್ರಿಕ್ಗಳು: ಸ್ವಯಂಚಾಲಿತ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಕೂಡ ನಿಮ್ಮ ಬಳಿ ಇರಬಹುದು. ಉದಾಹರಣೆಗೆ, ಒಂದು LLM ಅನ್ನು ಬಳಸಿಕೊಂಡು ಏಜೆಂಟ್ ಔಟ್ಪುಟ್ಗೆ ಸ್ಕೋರ್ ನೀಡಬಹುದು, ಅದು ಸಹಾಯಕವೇ, ನಿಖರವೇ ಅಥವಾ ಅಲ್ಲ ಎನ್ನುವುದಾಗಿ. ವಿವಿಧ开放ソース ಗ್ರಂಥಾಲಯಗಳು ಬೇರೆ ಬೇರೆ ಅಂಶಗಳನ್ನು ಅಂಕೆಬದ್ಧಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ. ಉದಾ: RAG ಏಜೆಂಟ್ಗಳಿಗೆ RAGAS ಅಥವಾ ಹಾನಿಕಾರಕ ಭಾಷೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಅಥವಾ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಗುರುತಿಸಲು LLM Guard.
ಆಚರಣೆಗಳಲ್ಲಿ, ಈ ಮೆಟ್ರಿಕ್ಗಳ ಸಂಯೋಜನೆ ಒಂದು AI ಏಜೆಂಟ್ ಆರೋಗ್ಯದ ಉತ್ತಮ ವ್ಯಾಪ್ತಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ. ಈ ಅಧ್ಯಾಯದ ಉದಾಹರಣಾ ನೋಟ್ ಬುಕ್ ನಲ್ಲಿ ನಾವು ಈ ಮೆಟ್ರಿಕ್ಗಳು ವಾಸ್ತವಿಕ ಉದಾಹರಣೆಯಲ್ಲಿ ಹೇಗೆ ಕಾಣುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತೇವೆ, ಆದರೆ ಮೊದಲು ನಾವು ಸಾಮಾನ್ಯ ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯವಾಹಿಕೆಯನ್ನು ಕುರಿತು ಕಲಿತೀರಿ.
ನಿಮ್ಮ ಏಜೆಂಟ್ಗೆ ಸಾಧನ ಉಪಕರಣವನ್ನು ಹಾಕಿ
ಟ್ರೇಸಿಂಗ್ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು, ನೀವು ನಿಮ್ಮ ಕೋಡ್ಗೆ ಸಾಧನ ಉಪಕರಣ ಹಾಕಬೇಕಾಗುತ್ತದೆ. ಗುರಿ ಏಜೆಂಟ್ ಕೋಡ್ನಲ್ಲಿ ಟ್ರೇಸ್ ಮತ್ತು ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಬಿಡುಗಡೆಯನ್ನಾಗಿ ಮಾಡಲು, ಅವು ಗಮನಾರ್ಹತಾ ವೇದಿಕೆಯ ಮೂಲಕ ಹಿಡಿದಿಡಲು, ಪ್ರಕ್ರಿಯೆ ಮಾಡಿಕೊಳ್ಳಲು ಮತ್ತು ದೃಶ್ಯೀಕರಿಸಲು ನೆರವಾಗುತ್ತವೆ.
OpenTelemetry (OTel): OpenTelemetry LLM ಗಮನಾರ್ಹತೆಗೆ ಕೈಗಾರಿಕಾ ಪ್ರಮಾಣದಂತೆ ಮೂಡಿದೆ. ಇದು API ಗಳು, SDK ಗಳು, ಹಾಗೂ ಟೆಲಮೆಟ್ರಿ ಡೇಟಾವನ್ನು ಉತ್ಪಾದಿಸಲು, ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ರಫ್ತು ಮಾಡಲು ಉಪಕರಣಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಹಲವಾರು ಸಾಧನ ಲೈಬ್ರರಿಗಳು ಇರಿವುವು, ಅವು ಇದ್ದೇಿರುವ ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತವೆ ಮತ್ತು OpenTelemetry ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ಗಮನಾರ್ಹತೆ ಸಾಧನಕ್ಕೆ ರಫ್ತು ಮಾಡಲು ಸುಲಭವಾಗುತ್ತದೆ. Microsoft ಏಜೆಂಟ್ ಫ್ರೇಮ್ವರ್ಕ್ ಮೂಲತಃ OpenTelemetry ಜೊತೆಗೆ ಸಂಯೋಜಿತವಾಗಿದೆ. ಕೆಳಗಿದೆ MAF ಏಜೆಂಟ್ಗೆ ಸಾಧನ ಹಾಕುವ ಉದಾಹರಣೆ:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# ಏಜೆಂಟ್ ಕಾರ್ಯನಿರ್ವಹಣೆ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅನುಸರಿಸಲಾಗುತ್ತದೆ
pass
ಈ ಅಧ್ಯಾಯದ ಉದಾಹರಣೆ ನೋಟ್ ಬುಕ್ ನಿಮ್ಮ MAF ಏಜೆಂಟ್ಗೆ ಸಾಧನ ಹಾಕುವುದು ಹೇಗೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ.
ಹಸ್ತಚಾಲಿತ ಸ್ಪ್ಯಾನ್ ಸೃಷ್ಟಿಕೆ: ಸಾಧನ ಲೈಬ್ರರಿಗಳು ಒಳ್ಳೆಯ ಪ್ರಾಥಮಿಕತೆಯನ್ನು ಒದಗಿಸಿದರೂ, ಹೆಚ್ಚಿನ ವಿವರವಾದ ಅಥವಾ ಕಸ್ಟಮ್ ಮಾಹಿತಿ ಬೇಕಾದ ಸಂದರ್ಭಗಳು ಇದ್ದೇ ಇರುತ್ತವೆ. ನೀವು ನಿರ್ದಿಷ್ಟ ದರ್ಜೆಯ ತರೊಳಪಡಿಸುವ ಹಸ್ತಚಾಲಿತ ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ಸೃಷ್ಟಿಸಬಹುದು. ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿ, ಸ್ವಯಂಚಾಲಿತ ಅಥವಾ ಹಸ್ತಚಾಲಿತವಾಗಿ ಸೃಷ್ಟಿಸಿದ ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ಕಸ್ಟಮ್ ಗುಣಲಕ್ಷಣಗಳೊಂದಿಗೆ (ಟ್ಯಾಗ್ಗಳು ಅಥವಾ ಮೆಟಾಡೇಟಾ ಎಂದು ಕರೆಯಲ್ಪಡುವ) ಪ್ರೇರೇಪಿಸಬಹುದು. ಇವು ವ್ಯವಹಾರ-ನಿರ್ದಿಷ್ಟ ಡೇಟಾ, ಮಧ್ಯಮ ಲೆಕ್ಕಾಚಾರಗಳು ಅಥವಾ ಡಿಬಗ್ಗಿಂಗ್ ಅಥವಾ ವಿಶ್ಲೇಷಣೆಗೆ ಉಪಯುಕ್ತ ಯಾವುದೇ ಸಂದರ್ಭಗಳಾಗಿರಬಹುದು, ಉದಾ: user_id, session_id, ಅಥವಾ model_version.
Langfuse Python SDK ಬಳಸಿ ಹಸ್ತಚಾಲಿತವಾಗಿ ಟ್ರೇಸ್ ಮತ್ತು ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ಸೃಷ್ಟಿಸುವ ಉದಾಹರಣೆ:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ
ಗಮನಾರ್ಹತೆ ನಮಗೆ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ಮೌಲ್ಯಮಾಪನವು ಆ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಪ್ರಕ್ರಿಯೆ (ಮತ್ತು ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸುವ) ಆಗಿದ್ದು, AI ಏಜೆಂಟ್ ಎಷ್ಟು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಸುಧಾರಿಸಬಹುದು ಎಂದು ನಿರ್ಧರಿಸುವುದಾಗಿದೆ. ಅಂದರೆ, ನೀವು ಟ್ರೇಸ್ ಮತ್ತು ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಹೊಂದಿದ್ದೀರಿ, ಅವುಗಳನ್ನು ಹೇಗೆ ಉಪಯೋಗಿಸಿ ಏಜೆಂಟ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕು ಮತ್ತು ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬೇಕು?
ನಿಯಮಿತ ಮೌಲ್ಯಮಾಪನ ಬಹಳ ಮುಖ್ಯ, ಏಕೆಂದರೆ AI ಏಜೆಂಟ್ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ದಿಷ್ಟವಲ್ಲದ ಮತ್ತು ಅಪ್ಡೇಟ್ಗಳು ಅಥವಾ ಮಾದರಿ ವರ್ತನೆಯಲ್ಲಿ ತರುಣತನದಿಂದ (ಡ್ರಿಫ್ಟಿಂಗ್) ಬೆಳೆಯುವ ಸಾಧ್ಯತೆ ಇದೆ – ಮೌಲ್ಯಮಾಪನ ಇಲ್ಲದೆ, ನಿಮ್ಮ “ಚಾತುರ್ಯ ಮಯ ಏಜೆಂಟ್” ತನ್ನ ಕೆಲಸವನ್ನು ಚೆನ್ನಾಗಿ ಮಾಡುತ್ತಿದೆಯಾ ಅಥವಾ ಹಿಂದುಲೆಯಲ್ಲಿ ಇದೆಯಾ ಎಂಬುದು ಗೊತ್ತಾಗುವುದಿಲ್ಲ.
AI ಏಜೆಂಟ್ ಗಳಿಗಾದ ಎರಡು ವಿಧದ ಮೌಲ್ಯಮಾಪನಗಳಿವೆ: ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ. ಇದು ಎರಡೂ ಅಮೂಲ್ಯ ಮತ್ತು ಪರಸ್ಪರ ಪೂರಕವಾಗಿವೆ. ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನದಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ, ಏಕೆಂದರೆ ಇದು ಯಾವುದೇ ಏಜೆಂಟ್ ಅನ್ನು ನಿಯೋಜಿಸುವ ಮೊದಲು ಕನಿಷ್ಠ ಅಗತ್ಯ ಹಂತ.
ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ
ಇದು ನಿಯಂತ್ರಿತ ಪರಿಸರದಲ್ಲಿ ಏಜೆಂಟ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದಾಗಿದೆ, ಸಾಮಾನ್ಯವಾಗಿ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಬಳಸಿ, ನೇರ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳನ್ನು ಬಳಸದೆ. ನೀವು ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಬಳಸುತ್ತೀರಿ, ಅಲ್ಲಿ ನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ ಅಥವಾ ಸರಿಯಾದ ವರ್ತನೆ ತಿಳಿದಿರುತ್ತದೆ ಮತ್ತು ನಂತರ ಏಜೆಂಟ್ ಅದರಲ್ಲಿ ಚಲಿಸಲು ಹರಸುಳಿದಿರುತ್ತಾನೆ.
ಉದಾಹರಣೆಗೆ, ನೀವು ಗಣಿತದ ವರ್ಡ್-ಸಮಸ್ಯೆ ಏಜೆಂಟ್ ನಿರ್ಮಿಸಿದ್ದರೆ, ನಿಮಗೆ ಉತ್ತರ ತಿಳಿದ 100 ಸಮಸ್ಯೆಗಳ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ ಇರಬಹುದು. ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ ನಡೆಯುತ್ತದೆ (ಮತ್ತು CI/CD ಉಪಕರಣಗಳ ಭಾಗವಾಗಬಹುದು) ಸುಧಾರಣೆ ಅಥವಾ ಹಿಂದುಸರಣೆಯ ವಿರುದ್ಧ ರಕ್ಷಣೆಗೆ ಪರಿಶೀಲಿಸಲು. ಇದರಿಂದ ಲಾಭವಾಗುವುದು ಇದು ಪುನರಾವೃತವಾಗಬಹುದಾದದು ಮತ್ತು ನೀವು ಸ್ಪಷ್ಟ ನಿಖರತೆ ಮೌಲ್ಯಮಾಪನ ಪಡೆಯಬಹುದು, ಏಕೆಂದರೆ ಗ್ರೌಂಡ್ ಟ್ರೂತ್ ಇದೆ. ನೀವು ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳನ್ನು ಅನುಭವಿಸುವಷ್ಟು ಮಾಡಬಹುದು ಮತ್ತು ಏಜೆಂಟ್ ಉತ್ತರಗಳನ್ನು ವೈದಿಕ ಉತ್ತರಗಳ ವಿರುದ್ಧ ಅಳೆಯಬಹುದು ಅಥವಾ ಮೇಲ್ಕಂಡ ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಉಪಯೋಗಿಸಬಹುದು.
ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನದ ಪ್ರಮುಖ ಸವಾಲು ನಿಮ್ಮ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ ಎಲ್ಲಾ ಪ್ರಮುಖ ವಿಷಯಗಳನ್ನು ಒಳಗೊಂಡಿರಬೇಕು ಮತ್ತು ബന്ധപ്പെട്ടಿದ್ದು ಇರುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸುವುದು – ಏಜೆಂಟ್ ನಿಗದಿತ ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತುತ್ತಿರುವಾಗ, ಉತ್ಪಾದನೆಯಲ್ಲಿ ಬೇರೆ ರೀತಿಯ ಪ್ರಶ್ನೆಗಳನ್ನು ಎದುರಿಸಬಹುದು. ಆದ್ದರಿಂದ ನೀವು ಪರೀಕ್ಷಾ ಸೆಟ್ಗಳನ್ನು ನವೀಕರಿಸಬೇಕು ಹೊಸ ಅತಿ ಎಡವೊಡ್ಡುವ ಪ್ರಕರಣಗಳು ಮತ್ತು ವಾಸ್ತವಿಕ ಪರಿಪ्रेಕ್ಷ್ಯಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಉದಾಹರಣೆಗಳನ್ನು ಸೇರಿಸಬೇಕು. ಚಿಕ್ಕ “ಸ್ಮೋಕ್ ಟೆಸ್ಟ್” ಘಟಕಗಳು ಮತ್ತು ದೊಡ್ಡ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ಗಳ ಮಿಶ್ರಣ ಉಪಯುಕ್ತ: ಚಿಕ್ಕ ಸೆಟ್ಗಳು ತ್ವರಿತ ಪರಿಶೀಲನೆಗೆ ಮತ್ತು ದೊಡ್ಡವು ವ್ಯಾಪಕ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ಗಳಿಗೆ.
ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ
ಇದು ಲೈವ್, ವಾಸ್ತವಿಕ ಪರಿಸರದಲ್ಲಿ ಏಜೆಂಟ್ನ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಸೂಚಿಸುತ್ತದೆ, ಅಂದರೆ ನಿಜ ಜೀವನದಲ್ಲಿ ಬಳಕೆ ವೇಳೆ. ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನವು ನಿಜ ಬಳಕೆದಾರ ಸಂವಹನಗಳ ಮೇಲೆ ಏಜೆಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ನಿರಂತರವಾಗಿ ವಿಶ್ಲೇಷಿಸುವುದನ್ನು ಒಳಗೊಂಡಿದೆ.
ಉದಾಹರಣೆಗೆ, ನೀವು ಯಶಸ್ಸಿನ ದರ, ಬಳಕೆದಾರ ತೃಪ್ತಿ ಅಂಕೆಗಳು ಅಥವಾ ಇತರ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ನಿಜ ಸಂಚಾರದಲ್ಲಿ ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ ಲ್ಯಾಬ್ ಸನ್ನಿವೇಶದಲ್ಲಿ ನೀವು ಊಹಿಸಲಾರದ ವಿಷಯಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ – ನೀವು ಮಾದರಿ ತರುಣತನವನ್ನು ಗಮನಿಸಬಹುದು (ಯಾವುದಾದರೂ ಒಳ್ಪ್ರವೇಶ ಮಾದರಿಗಳು ಬದಲಾಗುತ್ತಿದ್ದಂತೆ ಏಜೆಂಟ್ ಪರಿಣಾಮಕಾರಿತ್ವ ಕಡಿಮೆಯಾಗುತ್ತದೆ) ಹಾಗೂ ಅನಿರೀಕ್ಷಿತ ಪ್ರಶ್ನೆಗಳನ್ನು ಅಥವಾ ನಿಮ್ಮ ಪರೀಕ್ಷಾ ಡೇಟಾವಲ್ಲದ ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಹಿಡಿಯಬಹುದು. ಇದು ಆನ್ಲೈನ್ ಸ್ಥಿತಿಯಲ್ಲಿನ ಏಜೆಂಟ್ ಹೇಗೆ ವರ್ತಿಸುತ್ತದೆ ಎಂಬ ನಿಜಚಿತ್ರಣವನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಆನ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ಅಪರೋಕ್ಷ ಮತ್ತು ಸ್ಪಷ್ಟ ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು, ಜೊತೆಗೆ ಶ್ಯಾಡೋ ಟೆಸ್ಟ್ಗಳು ಅಥವಾ A/B ಟೆಸ್ಟ್ಗಳು (ಹೊಸ ಆವೃತ್ತಿ ಹಳೆಯದನ್ನು ಹೋಲಿಸಲು ಸಮಕಾಲೀನವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ) ನಡೆಸಬಹುದು. ಸವಾಲು ಇದು ನಿಜ ಸಂವಹನಗಳಿಗಾಗಿ ವಿಶ್ವಾಸಾರ್ಹ ಲೇಬಲ್ಗಳು ಅಥವಾ ಅಂಕೆಗಳನ್ನು ಪಡೆದುಕೊಳ್ಳುವುದು ಕಷ್ಟವಾಗಬಹುದು – ನೀವು ಬಳಕೆದಾರ ಪ್ರತಿಕ್ರಿಯೆ ಅಥವಾ ಡೌನ್ಸ್ಟ್ರೀಮ್ ಮೆಟ್ರಿಕ್ಗಳ ಮೇಲೆ ಅವಲಂಬಿಸಬಹುದು (ಉದಾ: ಬಳಕೆದಾರ ಫಲಿತಾಂಶ ಕ್ಲಿಕ್ ಮಾಡಿದೆಯೇ ಎಂದು).
ಎರಡನ್ನೂ ಸಂಯೋಜಿಸುವುದು
ಆನ್ಲೈನ್ ಮತ್ತು ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನಗಳು ಪರಸ್ಪರ ಬಾಹ್ಯವಲ್ಲವೇ ಇಲ್ಲ, ಬಹಳ ಪರಸ್ಪರ ಪೂರಕವು. ಆನ್ಲೈನ್ ಮೇಲ್ವಿಚಾರಣೆಯಿಂದ (ಉದಾ: ಏಜೆಂಟ್ ಸಾಧನವಿಲ್ಲದ ನೂತನ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗಳ) ತಿಳಿವಳಿಕೆಗಳನ್ನು ಉಪಯೋಗಿಸಿ ಆಫ್ಲೈನ್ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಹೆಚ್ಚಿಸಬಹುದು ಮತ್ತು ಸುಧಾರಿಸಬಹುದು. ಮರುವೈపు, ಆಫ್ಲೈನ್ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಏಜೆಂಟ್ಗಳನ್ನು ಆನ್ಲೈನ್ನಲ್ಲಿ ಹೆಚ್ಚು ಭದ್ರವಾಗಿ ನಿಯೋಜಿಸಿ, ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬಹುದು.
ವಾಸ್ತವದಲ್ಲಿ, ಹಲವಾರು ತಂಡಗಳು ಈ ವೃತ್ತವನ್ನು ಪಾಲಿಸುತ್ತವೆ:
ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನ -> ನಿಯೋಜನೆ -> ಆನ್ಲೈನ್ ಮೇಲ್ವಿಚಾರಣೆ -> ಹೊಸ ವೈಫಲ್ಯ ಪ್ರಕರಣ ಸಂಗ್ರಹಣೆ -> ಆಫ್ಲೈನ್ ಡೇಟಾಸೆಟ್ ಗೆ ಸೇರಿಸಲು -> ಏಜೆಂಟ್ ಸುಧಾರಣೆ -> ಪುನರಾವೃತ.
ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು
ನೀವು AI ಏಜೆಂಟ್ಗಳನ್ನು ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಿಯೋಜಿಸುತ್ತಿರುವಾಗ, ಹಲವಾರು ಸವಾಲುಗಳನ್ನು ಎದುರಿಸಬಹುದು. ಕೆಲವು ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು ಮತ್ತು ಅವುಗಳ ಸಾಧ್ಯವಿರುವ ಪರಿಹಾರಗಳು:
| ಸಮಸ್ಯೆ | ಸಾಧ್ಯ ಪರಿಹಾರ |
|---|---|
| AI ಏಜೆಂಟ್ ಕಾರ್ಯಗಳನ್ನು ನಿಯಮಿತವಾಗಿ ನಿರ್ವಹಿಸದೇ ಇರಬೇಕು | - AI ಏಜೆಂಟ್ಗೆ ನೀಡಲ್ಪಟ್ಟ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ನಿರ್ದಿಷ್ಟ ಮಾಡಿರಿ; ಗುರಿಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳಿರಿ. - ಕಾರ್ಯಗಳನ್ನು ಉಪಕಾರ್ಯಗಳಲ್ಲಿ ವಿಭಜಿಸುವುದು ಮತ್ತು ಬದ್ಧ ಏಜೆಂಟ್ಗಳನ್ನು ಬಳಸುವುದು ಸಹಾಯಮಾಡಬಹುದು. |
| AI ಏಜೆಂಟ್ ನಿರಂತರ ವೃತ್ತಗಳಲ್ಲಿ ಸಿಲುಕುತ್ತದೆ | - ಏಜೆಂಟ್ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಯಾವಾಗ ನಿಲ್ಲಿಸುವುದೆಂದು ಸ್ಪಷ್ಟ ಅಂತಿಮ ನಿಯಮಗಳನ್ನು ಹಾಗೂ ಷರತ್ತನ್ನು ಹೊಂದಿರಬೇಕು. - ತರ್ಕ ಮತ್ತು ಯೋಜನೆ ಅಗತ್ಯವಿರುವ ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳಿಗೆ, ತರ್ಕಕ್ಕಾಗಿ ವಿಶೇಷ ಮಾದರಿಯನ್ನು ಉಪಯೋಗಿಸಿ. |
| AI ಏಜೆಂಟ್ ಉಪಕರಣ ಕರೆಗಳು ಸರಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲಾರೆ | - ಉಪಕರಣದ ಔಟ್ಪುಟ್ ಅನ್ನು ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಯ ಹೊರಗೆ ಪರೀಕ್ಷಿಸಿ ಸತ್ಯಾಪನೆ ಮಾಡಿರಿ. - ನಿರ್ಧೃತ ಪರಿಮಾಣಗಳು, ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಉಪಕರಣಗಳ ಹೆಸರುಗಳನ್ನು ಮರುನಿರ್ವಹಿಸಿರಿ. |
| ಬಹು ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆ ನಿಯಮಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ | - ಪ್ರತಿ ಏಜೆಂಟ್ಗೆ ನೀಡಲಾಗುವ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ನಿರ್ದಿಷ್ಟ ಮತ್ತು ವಿಭಿನ್ನವಾಗಿರುವಂತೆ ಮಾಡಿ. - “ರೂಟಿಂಗ್” ಅಥವಾ ನಿಯಂತ್ರಕ ಏಜೆಂಟ್ ಬಳಸಿ ಸರಿಯಾದ ಏಜೆಂಟ್ ಅನ್ನು ಗುರುತಿಸುವ ಕ್ರಮವನ್ನು ನಿರ್ಮಿಸಿರಿ. |
ಯಾರೂ ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಗಮನಾರ್ಹತೆ ಇದ್ದರೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಗುರುತಿಸಬಹುದು. ನಾವು ಹಿಂದಿನಂತೆ ಚರ್ಚಿಸಿದ ಟ್ರೇಸ್ ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್ ಗಳು ಏಜೆಂಟ್ ಕಾರ್ಯವಾಹಿಕೆಯಲ್ಲಿ ಸಮಸ್ಯೆಗಳು ಎಲ್ಲಿ ಸಂಭವಿಸುತ್ತಿರುವುದನ್ನು ನಿಖರವಾಗಿ ತೋರಿಸುತ್ತವೆ, ಇದರಿಂದ ಡಿಬಗ್ಗಿಂಗ್ ಮತ್ತು ಆಪ್ಟಿಮೈಸೇಶನ್ ಬಹಳ ಸುಲಭವಾಗುತ್ತದೆ.
ವೆಚ್ಚ ನಿರ್ವಹಣೆ
ಉತ್ಪಾದನೆಗೆ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿಯೋಜಿಸುವ ವೆಚ್ಚಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಕೆಲವು ತಂತ್ರಗಳನ್ನು ಇಲ್ಲಿವೆ:
ಸಣ್ಣ ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದು: ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು (SLMs) ಕೆಲವು ಏಜೆಂಟಿಕ್ ಬಳಕೆ ಪ್ರಕರಣಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು ಮತ್ತು ವೆಚ್ಚಗಳನ್ನು ಬಹಳ ಮಟ್ಟಿಗೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಹಿಂದೆ ಹೇಳಿದಂತೆ, ದೊಡ್ಡ ಮಾದರಿಗಳೊಂದಿಗೆ ಕಾರ್ಯಗತಿಭಾರ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಹೋಲಿಕೆಯುಳ್ಳ ಮೌಲ್ಯಮಾಪನ ವ್ಯವಸ್ಥೆಯನ್ನು ರೂಪಿಸುವುದು ನಿಮ್ಮ ಬಳಕೆ ಪ್ರಕರಣದಲ್ಲಿ SLM ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಉತ್ತಮ ವಿಧಾನವಾಗಿದೆ. ಉದ್ದೇಶ ವರ್ಗಾವಣೆ ಅಥವಾ ನಿಯಮಿಸು Parameters like parameter extraction ಗಾಗಿ ಸರಳ ಕೆಲಸಗಳಿಗೆ SLMs ಅನ್ವಯಿಸಿ, ಹಾಗೂ ಜಟಿಲ ತರ್ಕಕ್ಕಾಗಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಮೀಸಲಿಡಿ.
ರೂಟರ್ ಮಾದರಿಯನ್ನು ಬಳಸುವುದು: ಒಂದೇ ರೀತಿಯ ತಂತ್ರವಿದೆ ವಿವಿಧ ಮಾದರಿಗಳು ಮತ್ತು ಗಾತ್ರಗಳನ್ನು ಬಳಸುವುದು. ನೀವು ಒಂದು LLM/SLM ಅಥವಾ ಸರ್ವರ್ಲೆಸ್ ಫಂಕ್ಷನ್ ಬಳಸಿ ಸಂಕೀರ್ಣತೆಯ ಆಧಾರದ ಮೇಲೆ ವಿನಂತಿಗಳನ್ನು ಉತ್ತಮ ಹೊಂದಿಕೆಯ ಮಾದರಿಗಳಿಗೆ ಮಾರ್ಗದರ್ಶನ ಮಾಡಬಹುದು. ಇದು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸರಿಯಾದ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನೂ ಖಚಿತಪಡಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಸರಳ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಣ್ಣ ಮತ್ತು ವೇಗವಾದ ಮಾದರಿಗಳಿಗೆ ದಾರಿ ಮಾರ್ಗದರ್ಶನ ಮಾಡಿ, ಮತ್ತು ಕೇವಲ ಜটಿಲ ತರ್ಕ ಕಾರ್ಯಗಳಿಗೆ ಮಾತ್ರ ದುಬಾರಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಿ.
ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಕ್ಯಾಶ್ ಮಾಡುವುದು: ಸಾಮಾನ್ಯ ವಿನಂತಿಗಳು ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸಿ, ಅವುಗಳನ್ನು ನಿಮ್ಮ ಏಜೆಂಟಿಕ್ ವ್ಯವಸ್ಥೆಯ ಮೂಲಕ ಹೋಗುವ ಮೊದಲು ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ನೀಡುವುದು ಸಮಾನ ವಿನಂತಿಗಳ ಪ್ರಮಾಣವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಉತ್ತಮ ವಿಧಾನವಾಗಿದೆ. ನೀವು ಇವನ್ನು ಹೆಚ್ಚು ಮೂಲಭೂತ AI ಮಾದರಿಗಳನ್ನು ಉಪಯೋಗಿಸಿ ನಿಮ್ಮ ಕ್ಯಾಶ್ ಮಾಡಿದ ವಿನಂತಿಗಳು ಎಷ್ಟು ಸಮಾನ ಆಗಿವೆ ಎಂಬುದನ್ನು ಗುರುತಿಸುವಂತೆ ಒಂದು ಪ್ರಕರಣವನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸಬಹುದು. ಈ ತಂತ್ರವು ನಿಯಮಿತವಾಗಿ ಕೇಳಿಗೊಳ್ಳುವ ಪ್ರಶ್ನೆಗಳು ಅಥವಾ ಸಾಮಾನ್ಯ ಕಾರ್ಯಪದ್ದತಿಗಳ ವೆಚ್ಚವನ್ನು ಬಹಳ ಮಟ್ಟಿಗೆ ಕಡಿಮೆ ಮಾಡಬಹುದು.
ಇದನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ನೋಡೋಣ
ಈ ವಿಭಾಗದ ಉದಾಹರಣಾ ನೋಟ್ಬುಕ್ನಲ್ಲಿ, ನಾವು ನಮ್ಮ ಏಜೆಂಟ್ ಅನ್ನು ಗಮನಿಸು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ನಾವು ತೊಳೆದಿರುವ ನಿಯಂತ್ರಣ ಸಾಧನಗಳ ಉದಾಹರಣೆಗಳನ್ನು ನೋಡೋಣ.
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಏಜೆಂಟ್ಗಳ ಕುರಿತು ಹೆಚ್ಚುವರಿ ಪ್ರಶ್ನೆಗಳಿದ್ದರೆ?
Microsoft Foundry Discord ನೊಂದಿಗೆ ಸೇರಿ ಇತರ ಕಲಿಕಾರ್ಥಿಗಳೊಂದಿಗೆ ಭೇಟಿಯಾಗಿರಿ, ಆಫೀಸ್ ಗಂಟೆಗಳಲ್ಲಿ ಭಾಗವಹಿಸಿ ಮತ್ತು ನಿಮ್ಮ AI ಏಜೆಂಟ್ಸ್ ಸಂಬಂಧಿತ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರ ಪಡೆಯಿರಿ.
ಹಿಂದಿನ ಪಾಠ
ಮುಂದಿನ ಪಾಠ
ಅಸ್ವೀಕಾರ: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸಡ್ಡೆಗಳು ಇರಬಹುದು. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜು ಪ್ರಾಮಾಣಿಕ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದವನ್ನು ಬಳಸುವ ಮೂಲಕ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗಳ ಅಥವಾ ತಪ್ಪು ವ್ಯಾಖ್ಯಾನಗಳ ಬಗ್ಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲ.