ai-agents-for-beginners
ఉత్పత్తిలో AI ఏజెంట్లు: స్పష్టత & మూల్యాంకనం
AI ఏజెంట్లు ప్రయోగాత్మక నమూనాలు నుండి నిజజీవిత అనువర్తనాలకు మారినప్పుడు, వాటి ప్రవర్తనను అర్థం చేసుకోవడానికి, పనితీరు పర్యవేక్షణ చేయడానికి, మరియు వారి ఫలితాలను సంయమనంగా మూల్యాంకనం చేయడానికి సామర్ధ్యం అవసరం అవుతుంది.
నేర్చుకునే లక్ష్యాలు
ఈ పాఠం పూర్తయిన తర్వాత, మీరు తెలుసుకుంటారు/అర్థం చేసుకుంటారు:
- ఏజెంట్ స్పష్టత మరియు మూల్యాంకనం యొక్క కోర్ కాన్సెప్ట్స్
- ఏజెంట్ల పనితీరు, ఖర్చులు, మరియు సామర్థ్యాన్ని మెరుగు చేయడానికి సాంకేతికతలు
- మీ AI ఏజెంట్లను సంయమనంగా ఎలా, ఏమి మూల్యాంకనం చేయాలో
- AI ఏజెంట్లను ఉత్పత్తిలో అమర్చేటప్పుడు ఖర్చులను ఎలా నియంత్రించాలి
- Microsoft Agent Framework తో నిర్మించిన ఏజెంట్లకు ఎలా ఇన్స్ట్రుమెంట్ చేయాలి
లక్ష్యం మీ “బ్లాక్ బాక్స్” ఏజెంట్లను పారదర్శక, నిర్వహించదగిన, మరియు నమ్మదగిన వ్యవస్థలుగా మార్చడానికి జ్ఞానం అందించడం.
గమనిక: భద్రమైన, నమ్మదగిన AI ఏజెంట్లు అమర్చడం అనేది ముఖ్యమైన విషయం. Building Trustworthy AI Agents పాఠాన్ని కూడా చూడండి.
ట్రేస్లు మరియు స్పాన్లు
Langfuse లేదా Microsoft Foundry వంటి స్పష్టత సాధనాలు సాధారణంగా ఏజెంట్ రన్స్ను ట్రేస్లు మరియు స్పాన్లుగా చూపిస్తాయి.
- ట్రేస్ అంటే పూర్తయిన ఏజెంట్ టాస్క్ ప్రారంభం నుండి ముగింపు వరకు (ఉదా: యూజర్ ప్రశ్నను హ్యాండిల్ చేయడం).
- స్పాన్లు అనేవి ట్రేస్ లోని వ్యక్తిగత దశలు (ఉదా: భాషా మోడల్ను కాల్ చేయడం లేదా డేటాను తీసుకురావడం).
స్పష్టత లేకపోతే, AI ఏజెంటు ఒక “బ్లాక్ బాక్స్” లాగే అనిపించవచ్చు - దాని అంతర్గత స్థితి మరియు తార్కికత अस्पष्टం, సమస్యలను నిర్ధారణ చేయడం లేదా పనితీరును మెరుగుపరచడం కష్టం చేస్తుంది. స్పష్టతతో ఏజెంట్లు “గ్లాస్ బాక్స్”లై మారతాయి, ఇది నమ్మకాన్ని నిర్మించడానికి మరియు అవి ఇచ్ఛించిన విధంగా పనిచేసేలా నిర్ధారించడానికి అవసరమైన పారదర్శకతను అందిస్తుంది.
ఉత్పత్తి వాతావరణాలలో స్పష్టత ఎందుకు ముఖ్యం
AI ఏజెంట్లను ఉత్పత్తి వాతావరణాలకు మారుస్తున్నప్పుడు కొత్త సవాళ్ళు మరియు అవసరాలు వస్తాయి. స్పష్టత ఇప్పుడు “కావాలి” మాత్రమే కాదు, ఒక అత్యవసర సామర్థ్యం:
- డీబగ్గింగ్ మరియు మూల కారణ విశ్లేషణ: ఏజెంట్ విఫలమైతే లేదా అనూహ్య ఫలితాన్ని ఉత్పత్తి చేస్తే, స్పష్టత సాధనాలు పొరపాటు మూలాన్ని గుర్తించడానికి అవసరమైన ట్రేస్లను అందిస్తాయి. ఇది అనేక LLM కాల్స్, టూల్ ఇంటరాక్షన్లు, మరియు షరతుల లాజిక్ కలిగిన క్లిష్ట ఏజెంట్లలో చాలా ముఖ్యం.
- విలంబం మరియు ఖర్చు నిర్వహణ: AI ఏజెంట్లు తరచుగా ప్రతీ టోకెన్ లేదా కాల్ కు బిల్లు చేసే LLMలు మరియు ఇతర బాహ్య APIలపై ఆధారపడతాయి. స్పష్టత ఈ కాల్స్ను ఖచ్చితంగా ట్రాక్ చేయడానికి అనుమతిస్తుంది, అధికంగా నెమ్మదిగా లేదా ఖరీదుగా ఉన్న ఆపరేషన్లను గుర్తించడంలో సహాయపడుతుంది. ఇది టీమ్లకు ప్రాంప్ట్లను సవరించడానికి, మరింత సమర్థవంతమైన మోడల్స్ను ఎంచుకునేందుకు, లేదా కార్యకలాపాల ఖర్చును నియంత్రించడానికి పనివిధానాలను పునర్డిజైన్ చేయడానికి సహాయపడుతుంది.
- నమ్మకం, భద్రత, మరియు అనుకూలత: అనేక అనువర్తనాలలో ఏజెంట్లు సురక్షితంగా మరియు నైతికంగా ప్రవర్తించాలని నిర్ధారించుకోవడం ముఖ్యం. స్పష్టత ఏజెంట్ చర్యలు మరియు నిర్ణయాల ఆడిట్ ట్రైల్ను అందిస్తుంది. ఇది ప్రాంప్ట్ ఇంజెక్షన్, హానికర కంటెంట్ సృష్టి, లేదా వ్యక్తిగత గుర్తింపు సమాచార (PII) తప్పు నిర్వహణ వంటి సమస్యలను గుర్తించడంలో మరియు నివారించడంలో ఉపయోగపడుతుంది. ఉదాహరణకు, మీరు ఏజెంట్ ఒక నిర్దిష్ట స్పందనలను ఎందుకు ఇచ్చింది లేదా ఒక నిర్దిష్ట టూల్ ఉపయోగించింది అనేదాన్ని ట్రేస్లను సమీక్షించవచ్చు.
- నిరంతరమైన మెరుగుదల చక్రాలు: స్పష్టత డేటా iterative అభివృద్ధి ప్రక్రియకు ఆధారం. ఏజెంట్లు నిజజీవితంలో ఎలా పనిచేస్తున్నాయో పర్యవేక్షించడం ద్వారా, టీమ్లు మెరుగుదల లక్ష్యాలను గుర్తించవచ్చు, మోడల్ల సూచన కోసం డేటా సేకరించవచ్చు, మరియు మార్పుల ప్రభావాన్ని ధృవీకరించవచ్చు. ఇది ఫీడ్బ్యాక్ లూప్ సృష్టిస్తుంది, ఉత్పత్తి నుండి వచ్చిన ఆన్లైన్ మూల్యాంకనం సూచనలు ఆఫ్లైన్ ప్రయోగాలు మరియు సవరణలకు దారితీయడం ద్వారా ఏజెంట్ పనితీరు స్థిరంగా మెరుగవుతుంది.
ట్రాక్ చేయవలసిన ముఖ్యమైన మెట్రిక్స్
ఏజెంట్ ప్రవర్తనను పర్యవేక్షించడానికి మరియు అర్థం చేసుకోవడానికి, వివిధ రకాల మెట్రిక్స్ మరియు సంకేతాలు ట్రాక్ చేయాలి. ఏజెంట్ ఉపయోగం ప్రకారం నిర్దిష్టమైన మెట్రిక్స్ మారవచ్చును, కాని కొన్ని సార్వత్రికంగా ముఖ్యం.
ఇక్కడి కొన్ని సాధారణంగా స్పష్టత సాధనాలు పర్యవేక్షించే మెట్రిక్స్ ఉన్నాయి:
విలంబం: ఏజెంట్ ఎంత త్వరగా స్పందిస్తుంది? ఎక్కువ వేచి ఉండటం వినియోగదారు అనుభవాన్ని ప్రతికూలంగా ప్రభావితం చేస్తుంది. టాస్క్స్ మరియు వ్యక్తిగత దశల కోసం ఏజెంట్ రన్స్ ని ట్రేసింగ్ ద్వారా మీరు విలంబాన్ని కొలవాలి. ఉదా: ఒక ఏజెంట్ అన్ని మోడల్ కాల్స్ కోసం 20 సెకన్లు తీసుకుంటే, వేగవంతమైన మోడల్ వినియోగించడం లేదా మోడల్ కాల్స్ను సమాంతరంగా నడిపించడం ద్వారా దీనిని వేగవంతం చేయవచ్చు.
ఖర్చులు: ప్రతి ఏజెంట్ రన్కు ఎలాంటి ఖర్చు ఉంటుంది? AI ఏజెంట్లు టోకెన్ ప్రకారం బిల్లు చేసే LLM కాల్స్ లేదా బాహ్య APIలపై ఆధారపడతాయి. తరచుగా టూల్ ఉపయోగం లేదా అనేక ప్రాంప్ట్లు ఖర్చులను వేగంగా పెంచవచ్చు. ఉదా: ఒక ఏజెంట్ అతి తక్కువ నాణ్యత మెరుగుదల కోసం ఐదు సార్లు LLMని కాల్ చేస్తే, ఖర్చు సరిపోతుందా లేదా కాల్ల సంఖ్య తగ్గించవచ్చా లేదా తక్కువ ఖర్చుతో ఉన్న మోడల్ ఉపయోగించవచ్చా అనేది మీరు అంచనా వేయాలి. రియల్-టైమ్ పర్యవేక్షణ ఏపిఐ లూప్స్ కారణంగా అసాధారణ ఎవ్వించడం వంటి తిరుగుబాటును గుర్తించడం కూడా సహాయపడుతుంది.
అభ్యర్థన త్రుటులు: ఏజెంట్ ఎంత అభ్యర్థనలలో విఫలమైంది? ఇందులో API తప్పులూ లేదా విఫలమైన టూల్ కాల్స్ కూడా ఉండవచ్చు. ఉత్పత్తిలో ఈ త్రుటులకు వ్యతిరేకంగా ఏజెంట్ పరుగెత్తడానికి fallback లేదా retries ఏర్పాటు చేయవచ్చు. ఉదా: LLM ప్రొవైడర్ A డౌన్ ఉన్నప్పుడు, మీరు బ్యాకప్గా LLM ప్రొవైడర్ Bకి మారవచ్చు.
వినియోగదారు అభిప్రాయము: ప్రత్యక్ష వినియోగదారు మూల్యాంకనాలు అమలు చేయడం విలువైన సమాచారాన్ని ఇస్తుంది. దీనిలో స్పష్టమైన రేటింగ్లు (👍thumbs-up/👎down, ⭐1-5 స్టార్లు) లేదా వచన వ్యాఖ్యలు ఉండవచ్చు. మెల్లిగా వచ్చిన ప్రతికూల అభిప్రాయం ఒక సంకేతం ఇది ఏజెంట్ ఆశించినట్లుగా పనిచేయడంలేదు అని.
అప్రయోగాత్మక వినియోగదారు అభిప్రాయము: స్పష్టమైన రేటింగ్ లేకపోయినా వినియోగదారు ప్రవర్తనలు अप्रत्यक्ष అభిప్రాయాన్ని అందిస్తాయి. దీనిలో తక్షణ ప్రశ్న ను మళ్లీ రాయడం, ప్రశ్నలను పునరావృతంగా అడగడం లేదా retry బటన్ క్లిక్ చేయడం ఉండవచ్చు. ఉదా: వినియోగదారులు ఒకే ప్రశ్నను పునరావృతంగా అడిగి ఉంటే, ఇది ఏజెంట్ పని సరైనట్టు లేదని సూచిస్తుంది.
నిజమైనదనం: ఏజెంట్ ఎంతగా సరైన లేదా కోరుకున్న ఫలితాలను ఇస్తుంది? నిజమైనదనం నిర్వచనాలు విభిన్నంగా ఉండవచ్చు (ఉదా: సమస్య పరిష్కారంలో సరైనదనం, సమాచార రీకవరీ-లో నిజమైనదనం, వినియోగదారు సంతృప్తి). మొదటి దశగా మీ ఏజెంట్కు విజయంగా అనిపించే అంశాన్ని నిర్వచించాలి. మీరు నిజమైనదనంను ఆటోమేటెడ్ తనిఖీలు, మూల్యాంకన స్కోర్లు లేదా టాస్క్ పూర్తి లేబుల్ల ద్వారా ట్రాక్ చేయవచ్చు. ఉదా: ట్రేస్లను “సక్సీడ్” లేదా “ఫెయిల్” గా గుర్తించడం.
ఆటోమేటెడ్ మూల్యాంకన మెట్రిక్స్: మీరు ఆటోమేటెడ్ మూల్యాంకనాలను కూడా ఏర్పాటు చేయవచ్చు. ఉదా: మీరు ఏజెంట్ ఔట్పుట్ను స్కోర్ చేయడానికి LLMని ఉపయోగించవచ్చు, అది సహాయకరమైందా, సరైనదా లేక లేదో అనేది. కొన్ని ఓపెన్ సోర్సు లైబ్రరీలు కూడా ఉంటాయి మీరు ఏజెంట్ వివిధ క్షేత్రాలను స్కోర్ చేయడానికి. ఉదా: RAG ఏజెంట్లకు RAGAS లేదా హానికర భాష లేదా ప్రాంప్ట్ ఇంజక్షన్ గుర్తించడానికి LLM Guard.
ప్రాక్టిస్లో, ఈ మెట్రిక్స్ మిశ్రమం AI ఏజెంట్ ఆరోగ్యాన్ని ఉత్తమంగా కవర్ చేస్తుంది. ఈ అధ్యాయం యొక్క ఉదాహరణ నోట్బుక్ లో, ఈ మెట్రిక్స్ నిజ ఉదాహరణలలో ఎలా ఉంటాయో చూపిస్తాం కానీ ముందు, సాధారణ మూల్యాంకన వర్క్ఫ్లో ఎలా ఉంటుందో తెలుసుకుందాం.
మీ ఏజెంట్ను ఇన్స్ట్రుమెంట్ చేయండి
ట్రేసింగ్ డేటా సేకరించడానికి, మీరు మీ కోడ్ను ఇన్స్ట్రుమెంట్ చేయాల్సి ఉంటుంది. లక్ష్యం ఏజెంట్ కోడ్ను ఇన్స్ట్రుమెంట్ చేస్తూ ట్రేస్లు మరియు మెట్రిక్స్ను ఉత్పత్తి చేయడం, వాటిని స్పష్టత వేదిక ద్వారా పకవచేసి, ప్రాసెస్ చేసి, విజువలైజ్ చేయడం.
OpenTelemetry (OTel): OpenTelemetry LLM స్పష్టతకు పరిశ్రమ ప్రామాణికంగా ఎదిగింది. ఇది టెలిమేట్రీ డేటా జనరేట్ చేయడానికి, సేకరించడానికి మరియు ఎగుమతి చేయడానికి APIలు, SDKలు, మరియు సాధనాలను అందిస్తుంది.
ఇప్పటికే ఉన్న ఏజెంట్ ఫ్రేమ్వర్క్లను రాప్ చేసి OpenTelemetry స్పాన్లను స్పష్టత సాధనానికి ఎగుమతి చేయడం సులభతరం చేసే ఇంజనీరింగ్ లైబ్రరీలు పలు ఉన్నాయి. Microsoft Agent Framework స్వాకీయంగా OpenTelemetryతో సమగ్రంగా పని చేస్తుంది. క్రింది ఉదాహరణ MAF ఏజెంట్ను ఇన్స్ట్రుమెంట్ చేసే విధానం:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# ఏజెంట్ ఎగ్జిక్యూషన్ ఆటోమాటిక్గా ట్రేస్ అవుతుంది
pass
ఈ అధ్యాయం లో ఉన్న ఉదాహరణ నోట్బుక్ మీ MAF ఏజెంట్ను ఇన్స్ట్రుమెంట్ చేయడంకోసం చూపిస్తుంది.
మన్యువల్ స్పాన్ సృష్టి: ఇంజనీరింగ్ లైబ్రరీలు మంచి ప్రాథమిక స్థాయిని అందించినప్పటికీ, కొన్నిసార్లు మరిన్ని వివరాలు లేదా అనుకూల సమాచారానికి అవసరం ఉంటుంది. మీరు స్పాన్లను చేతితో సృష్టించొచ్చు అనుకూల అనువర్తన లాజిక్ను కలపడానికి. ముఖ్యంగా, ఆటోమేటెడ్ లేదా చేతితో సృష్టించిన స్పాన్లను బిజినెస్-స్పెసిఫిక్ డేటా, మధ్యంతర లెక్కలు, లేదా డీబగ్గింగ్ లేదా విశ్లేషణకు ఉపయోగపడే సందర్భం వంటి అనుకూల లక్షణాలతో (ట్యాగ్లు లేదా మెటాడేటా అని కూడా పిలవబడే) పుష్కలంగా సమృద్ధి చెయ్యవచ్చు, ఉదా: user_id, session_id, లేదా model_version.
Langfuse Python SDK తో చేతితో ట్రేస్లు మరియు స్పాన్లను సృష్టించే ఉదాహరణ:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
ఏజెంట్ మూల్యాంకనం
స్పష్టత మాకు మెట్రిక్స్ ఇస్తుంది, కానీ మూల్యాంకనం అనేది ఆ డేటా విశ్లేషణ ప్రక్రియ (మరియు పరీక్షలు నిర్వహించడం), ఏజెంట్ ఎంత బాగా పనిచేస్తోంది మరియు దానిని ఎలా మెరుగుపరచవచ్చో నిర్ణయించడానికి. అంటే, ఆ ట్రేస్లు మరియు మెట్రిక్స్ ఉన్న తర్వాత, వాటిని ఎలా ఉపయోగించి ఏజెంటును తీర్పు చేసే విధానం?
క్రమం తప్పకుండా మూల్యాంకనం ముఖ్యం ఎందుకంటే AI ఏజెంట్లు తరచూ అపూర్వమైనవి మరియు అభివృద్ధి చెందుతుంటాయి (అప్డేట్లు లేదా మోడల్ ప్రవర్తన వితరణ ద్వారా) – మూల్యాంకనం లేకపోతే, మీ “స్మార్ట్ ఏజెంట్” నిజంగా తన పని బాగా చేస్తున్నాడా లేదా వెనుదిరిగాడా అన్నది తెలియదు.
AI ఏజెంట్ల కోసం రెండు రకాల మూల్యాంకనాలు ఉంటాయి: ఆన్లైన్ మూల్యాంకనం మరియు ఆఫ్లైన్ మూల్యాంకనం. రెండింటి విలువ ఉంది, మరియు తప్పకుండా పరస్పరాన్ని సంపూర్ణంగా చేస్తాయి. సాధారణంగా, ఆఫ్లైన్ మూల్యాంకనంతో మొదలుపెడతాము, ఇది ఏజెంట్ను ఏదైనా అమర్చే ముందు కనీస అవసరమైన దశ.
ఆఫ్లైన్ మూల్యాంకనం
ఇది ఏజెంట్ను నియంత్రిత సెట్టింగ్లో, సాధారణంగా పరీక్ష డేటాసెట్లు ఉపయోగించి, ప్రత్యక్ష యూజర్ ప్రశ్నలు కాదు, తో మూల్యాంకనం చేయడం. మీరు మంచి ఫలితం లేదా సరైన ప్రవర్తన ఏంటో తెలిసిన కూర్చిన డేటాసెట్లను ఉపయోగించి ఏజెంట్ని ఆడించి చూస్తారు.
ఉదా: మీరు ఒక గణిత మాట-సమస్య ఏజెంట్ను నిర్మించారని అనుకుందాం, మీ వద్ద 100 సమస్యలతో సరైన సమాధానాలతో కూడిన పరీక్ష డేటాసెట్ ఉండవచ్చు. ఆఫ్లైన్ మూల్యాంకనం అభివృద్ధి సమయంలో సాధారణంగా జరుగుతుంది (మరికొన్ని CI/CD పైప్లైన్స్ భాగం కావచ్చు) మెరుగుదలలను తనిఖీ చేయడానికి లేదా వెనుదిరుగుదలను నివారించడానికి. లాభం ఏమంటే, ఇది పునరావృతం చేయగలిగేది మరియు మీరు నిజమైనదనం మెట్రిక్స్ స్పష్టంగా పొందవచ్చు, ఎందుకంటే మీ వద్ద గ్రౌండ్ త్రూత్ ఉంది. మీరు వినియోగదారు ప్రశ్నలను అంచనా వేయించవచ్చు మరియు ఏజెంట్ స్పందనను ఆదర్శ సమాధానాలతో సరిపోల్చవచ్చు లేదా పైగా చెప్పిన ఆటోమేటెడ్ మెట్రిక్స్ ఉపయోగించవచ్చు.
ఆఫ్లైన్ మూల్యాంకనం యొక్క ప్రధాన సవాలు మీ పరీక్ష డేటాసెట్ విస్తృతం గా ఉండడంతో పాటు ప్రస్తుతకాలానికి అనుగుణంగా ఉండాలి అనే విషయం – ఒక స్థిర పరీక్ష సెట్లో బాగా పని చేయవచ్చు, కానీ ఉత్పత్తిలో పూర్తిగా వేరు ప్రశ్నలు ఎదుర్కోవచ్చు. కాబట్టి, మీరు టెస్ట్ సెట్లను సరికొత్త ఎడ్జ్ కేసులు మరియు వాస్తవ ప్రపంచ పరిస్థితులను ప్రతిబింబించే ఉదాహరణలతో పునరుద్ధరించాలి. చిన్న “స్మోక్ టెస్ట్” కేసుల మిశ్రమం మరియు పెద్ద మూల్యాంకన సెట్లు ఉపయోగకరమే: చిన్న సెట్లు త్వరిత తనిఖీలకు, పెద్దవి విస్తృత పనితీరు మెట్రిక్స్ కోసం.
ఆన్లైన్ మూల్యాంకనం
ఇది ఏజెంట్ను ప్రత్యక్ష, వాస్తవ ప్రపంచ వాతావరణంలో, అంటే ఉత్పత్తిలో వాడుతున్నప్పుడు మూల్యాంకనం చెయ్యడాన్ని సూచిస్తుంది. ఆన్లైన్ మూల్యాంకనం వాస్తవ వినియోగదారు ఇన్టరాక్షన్లపై ఏజెంట్ పనితీరును పర్యవేక్షించడం మరియు ఫలితాలను నిరంతరం విశ్లేషణ చేయడం.
ఉదాహరణగా, మీరు విజయ సాధన రేట్లు, వినియోగదారు సంతృప్తి స్కోర్లు లేదా ప్రత్యక్ష ట్రాఫిక్పై ఇతర మెట్రిక్స్ ట్రాక్ చేయవచ్చు. ఆన్లైన్ మూల్యాంకనం లాభం ఏమంటే, ఇది ల్యాబ్ సెట్టింగ్లో ఊహించని విషయాలను క్యాప్చర్ చేస్తుంది – మీరు మోడల్ డరిఫ్ట్ను గమనించవచ్చు (ఏజెంట్ సామర్థ్యం ఇన్పుట్ నమూనాలు మారడంతో తగ్గవచ్చు) మరియు పరీక్ష డేటాలో లేని అనూహ్యమైన ప్రశ్నలు లేదా పరిస్థితులను పట్టుకోవచ్చు. ఇది వనరులో ఏజెంట్ ప్రవర్తన యొక్క నిజమైన చిత్రాన్ని అందిస్తుంది.
ఆన్లైన్ మూల్యాంకనం తరచుగా స్పష్టమైన మరియు అప్రాయోగాత్మక వినియోగదారు అభిప్రాయాలు సేకరించడాన్ని కలగలుపుతుంది, మరియు షాడో పరీక్షలు లేదా A/B పరీక్షలు (ఇక్కడ కొత్త ఏజెంట్ వెర్షన్ పాతదొక్కసారి తో సరిపోల్చడం) చేయడం కూడా ఉంటుంది. సవాలు ఏమంటే, ప్రత్యక్ష ఇన్టరాక్షన్లకు నమ్మదగిన లేబుల్లు లేదా స్కోర్లు పొందడం కష్టం – మీరు వినియోగదారు అభిప్రాయాలపై లేదా డౌన్స్ట్రీమ్ మెట్రిక్స్ (వినియోగదారు ఫలితం క్లిక్ చేసినాడా అని)పై ఆధారపడవచ్చు.
రెండింటిని కలపడం
ఆన్లైన్ మరియు ఆఫ్లైన్ మూల్యాంకనాలు పరస్పర విరుద్దపరమైనవి కావు; అవి పరస్పర సంబంధాన్ని కలిగివుంటాయి. ఆన్లైన్ పర్యవేక్షణలో (ఉదా: ఏజెంట్ పనితీరు తక్కువగా ఉండే కొత్త రకాల వినియోగదారు ప్రశ్నలు) పొందిన సూచనలు ఆఫ్లైన్ పరీక్ష డేటాసెట్లను ప్రేరేపించి మెరుగుపరచవచ్చు. తిరుగుదలలో, ఆఫ్లైన్ పరీక్షల్లో బాగా ఉన్న ఏజెంట్లు ఆన్లైన్లో మరింత నమ్మకంగా అమర్చబడిన తర్వాత పర్యవేక్షించబడతాయి.
నిజానికి, చాలా టీమ్లు ఈ లూప్ను అనుసరిస్తారు:
ఆఫ్లైన్ మూల్యాంకనం -> అమర్చు -> ఆన్లైన్ పర్యవేక్షణ -> కొత్త విఫల ఘటనలు సేకరించు -> ఆఫ్లైన్ డేటాసెట్కు జోడించు -> ఏజెంట్ను మెరుగుపరుచు -> పునరావృతం.
సాధారణ సమస్యలు
మీరు AI ఏజెంట్లను ఉత్పత్తిలో అమర్చినప్పుడు, మీరు వివిధ సవాళ్ళను ఎదుర్కోవచ్చు. ఇక్కడ కొన్ని సాధారణ సమస్యలు మరియు వాటి సాధ్యమైన పరిష్కారాలు:
| సమస్య | సాధ్యమైన పరిష్కారం |
|---|---|
| AI ఏజెంట్ పనులను నిరంతరంగా చేయడం లేదు | - AI ఏజెంట్కు ఇచ్చే ప్రాంప్ట్ను మెరుగుపరచండి; లక్ష్యాలపై స్పష్టంగా ఉండండి. - పనులను ఉపపనులను విభజించి అనేక ఏజెంట్లు చేత నిర్వహించడం సహాయపడే చోట గుర్తించండి. |
| AI ఏజెంట్ నిరంతర చక్రాల్లో పడి నివ్వడం | - స్పష్టమైన ముగింపు నిబంధనలు ఉండాలని నిర్ధారించండి కాబట్టి ఏజెంట్ దశను ఎప్పుడైతే ఆపాలో తెలుసు. - కారణతర్కం మరియు ప్రణాళిక కోసం పెద్ద, ప్రత్యేక మోడల్ ఉపయోగించండి. |
| AI ఏజెంట్ టూల్ కాల్స్ సరిగా పనిచేయడం లేదు | - ఏజెంట్ వ్యవస్థ వెలుపల టూల్ ఔట్పుట్ని పరీక్షించండి మరియు ధృవీకరించండి. - నిర్వచించిన పారామితులు, ప్రాంప్ట్లు మరియు టూల్ల పేర్లను మెరుగుపరచండి. |
| బహుళ ఏజెంట్ వ్యవస్థ నిరంతరంగా సమర్థవంతంగా పనిచేయడం లేదు | - ప్రతి ఏజెంట్కు ఇచ్చే ప్రాంప్ట్లను ప్రత్యేకంగా మరియు స్పష్టంగా ఉండేలా మెరుగుపరచండి. - సరైన ఏజెంట్ను నిర్ధారించడానికి “రూటింగ్” లేదా కంట్రోలర్ ఏజెంట్ ఉపయోగించి హైరోఆర్కికల్ వ్యవస్థ నిర్మించండి. |
ఈ సమస్యలలో చాలావన్నీ స్పష్టతతో మరింత సమర్థవంతంగా గుర్తించవచ్చు. ముందు చెప్పిన ట్రేస్లు మరియు మెట్రిక్స్ ఏజెంట్ వర్క్ఫ్లోలో అనుకున్న చోట సమస్యలు ఎక్కడున్నాయో చూపిస్తూ డీబగ్గింగ్ మరియు ఆప్టిమైజేషన్ను చాలా సులభం చేస్తాయి.
ఖర్చుల నిర్వహణ
ప్రొడక్షన్కు AI ఏజెంట్లను డిప్లాయ్ చేయడంలోని ఖర్చులను నిర్వహించడానికి కొన్ని వ్యూహాలు ఇవి:
చిన్న మోడల్స్ ఉపయోగించడం: కొన్ని ఏజెంట్ సంబంధిత వినియోగాలలో చిన్న భాషా మోడల్స్ (SLMs) బాగా పనితీరు చూపగలవు మరియు ఖర్చులను గణనీయంగా తగ్గిస్తాయి. ముందుగా చెప్పినట్లుగా, ప్రదర్శనను పెద్ద మోడల్స్తో పోల్చి అంచనా వేయడానికి ఒక మదింపు వ్యవస్థను నిర్మించడం, ఒక SLM మీ వినియోగానికి ఎంత బాగా పనిచేస్తుందో అర్థం చేసుకోవడానికి ఉత్తమ మార్గం. సరళమైన పనుల కోసం, ఉదాహరణకు ఉద్దేశ్య వర్గీకరణ లేదా పారా మీటర్ పొందిక వంటి పనుల కోసం SLMలను ఉపయోగించాలి, మరియు క్లిష్టమైన తర్కానికి పెద్ద మోడల్స్ను విడివిడిగా ఉంచండి.
రౌటర్ మోడల్ ఉపయోగించడం: సమాన వ్యూహం ఒక వివిధ రకాల మోడల్స్ మరియు పరిమాణాలను ఉపయోగించడం. మీరు ఎల్ఎల్ఎం/ఎస్ఎల్ఎమ్ లేదా సర్వర్లెస్ ఫంక్షన్ ఉపయోగించి అన్వయాన్ని ఆధారంగా ఉత్తమ సరిపోలే మోడల్లకు అభ్యర్థనలను రూట్ చేయవచ్చు. ఇది ఖర్చులను కూడా తగ్గించడంలో సహాయపడుతుంది మరియు సరైన పనులపై పనితీరును నిర్ధారిస్తుంది. ఉదాహరణకు, సులువు ప్రశ్నలను చిన్న, వేగవంతమైన మోడల్స్కు రూట్ చేయండి, మరియు కేవలం క్లిష్టమైన తర్క పనులకు ఖరీదు ఎక్కువ మోడల్స్ ను ఉపయోగించండి.
ప్రతిస్పందనలు క్యాష్ చేయడం: సాధారణ అభ్యర్థనలు, పనులను గుర్తించి, అవి మీ ఏజెంట్ వ్యవస్థ ద్వారా వెళ్లడానికి ముందే ప్రతిస్పందనలు అందించడం, సమాన అభ్యర్థనల పరిమాణాన్ని తగ్గించడానికి మంచి పద్ధతి. మీరు మరింత ప్రాథమిక AI మోడల్స్ను ఉపయోగించి ఏ అభ్యర్థన మీ క్యాష్ చేసిన అభ్యర్థనలకు ఎంత సమానమో గుర్తించే ఒక ప్రవాహాన్ని కూడా అమలు చేయవచ్చు. ఈ వ్యూహం తరచుగా అడిగే ప్రశ్నలు లేదా సాధారణ పని ప్రవాహాలకు గణనీయంగా ఖర్చులను తగ్గిస్తుంది.
ఈ విధానం ఎలా ఉపయోగంలో ఉంటుందో చూద్దాం
ఈ విభాగం ఉదాహరణ నోట్బుక్లో, మనం ఆబ్జర్వబిలిటీ టూల్స్ను ఎలా ఉపయోగించి మన ఏజెంట్ను మానిటర్ చేసి, మదింపు చేయగలమో చూడవచ్చు.
ప్రొడక్షన్లో AI ఏజెంట్ల గురించి మరిన్ని ప్రశ్నలు ఉన్నాయా?
Microsoft Foundry Discordలో చేరండి, ఇతర నేర్చుకునేవారితో కలవండి, ఆఫీస్ గంటలకు హాజరు అవ్వండి మరియు మీ AI ఏజెంట్ల ప్రశ్నలకు సమాధానం పొందండి.
గత పాఠం
మెటాకాగ్నిషన్ డిజైన్ ప్యాటర్న్
తదుపరి పాఠం
అస్వీకరణ: ఈ పత్రం AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నిస్తున్నప్పటికీ, ఆటోమేటెడ్ అనువాదాలు తప్పులు లేదా అసమగ్రతలను కలిగి ఉండవచ్చు. దాని స్వదేశ భాషలో ఉన్న అసలు పత్రాన్ని అధికారం కలిగిన మూలంగా పరిగణించాలి. కీలకమైన సమాచారం కోసం, ప్రొఫెషనల్ మానవ అనువాదాన్ని సిఫారసు చేస్తాము. ఈ అనువాదం ఉపయోగం వల్ల కలిగే ఏవైనా అపార్థాలు లేదా తప్పుదారులు కోసం మేము బాధ్యత వహించము.