ai-agents-for-beginners

ഉത്പാദനത്തിൽ AI ഏജൻറുകൾ: നിരീക്ഷണക്ഷമതയും അളവും

പരീക്ഷണരൂപങ്ങളിൽ നിന്നു യഥാർത്ഥ ലോക അപേക്ഷകളിലേക്ക് AI ഏജൻറുകൾ മാറുമ്പോൾ, അവരുടെ പെരുമാറ്റം തിരിച്ചറിയുകയും, പ്രകടനം നിരീക്ഷിക്കുകയും, അവരുടെ ഔട്ട്പുട്ടുകൾ സമർптомമായി വിലയിരുത്തുകയും ചെയ്യുന്നതിനുള്ള കഴിവ് പ്രധാനമാണ്.

പഠനലക്ഷ്യങ്ങൾ

ഈ പാഠം പൂർത്തിയാക്കിയ ശേഷം, നിങ്ങൾ അറിയുകയും മനസ്സിലാക്കുകയും ചെയ്യും:

ഏജന്റ് നിരീക്ഷണക്ഷമതയും അളവും സംബന്ധിച്ച മൂലക ആശയങ്ങൾ
ഏജൻറുകളുടെ പ്രകടനം, ചെലവ്, ഫലപ്രതീക്ഷ മെച്ചപ്പെടുത്തുന്നതിനുള്ള സാങ്കേതിക വിദ്യകൾ
നിങ്ങളുടെ AI ഏജൻറുകൾ സമർത്ഥമായി എങ്ങനെ വിലയിരുത്തണം എന്ന്
AI ഏജൻറുകൾ ഉത്പാദനത്തിലേക്ക് വിന്യസിക്കുമ്പോൾ ചെലവുകൾ എങ്ങനെ നിയന്ത്രിക്കാമെന്നത്
Microsoft Agent Framework ഉപയോഗിച്ചുണ്ടാക്കപ്പെട്ട ഏജൻറുകൾ എങ്ങനെ ഇൻസ്ട്രുമെന്റ് ചെയ്യാം

ലക്ഷ്യം നിങ്ങളുടെ “ബ്രാക്ക് ബോക്സ്” ഏജൻറുകളെ മികവുള്ള, മാനേജുചെയ്യാവുന്ന, വിശ്വസനീയമായ സിസ്റ്റങ്ങളായി മാറ്റാനുള്ള അറിവ് നൽകുക എന്നതാണ്.

ശ്രദ്ധിക്കുക: സുരക്ഷിതവും വിശ്വാസയോഗ്യവുമായ AI ഏജൻറുകൾ വിന്യസിക്കുന്നത് പ്രധാനമാണ്. Building Trustworthy AI Agents പാഠവും പരിശോധിക്കുക.

ട്രേസുകളും സ്പാൻസും

Langfuse അല്ലെങ്കിൽ Microsoft Foundry പോലുള്ള നിരീക്ഷണ ഉപകരണങ്ങൾ സാധാരണയായി ഏജന്റ് പ്രവർത്തനങ്ങളെ ട്രേസുകൾക്കും സ്പാൻസിനും പ്രതിനിധീകരിക്കുന്നു.

ട്രേസ് എന്നത് ഒരു ഏജന്റ് ടാസ്കിന്റെ ആരംഭം മുതൽ അവസാനത്തേയ്ക്ക് മുഴുവൻ ദൈര്‍ഘ്യം പ്രതിനിധീകരിക്കുന്നു (ഉദാഹരണത്തിന് ഉപയോക്തൃ ചോദ്യം കൈകാര്യം ചെയ്യൽ).
സ്പാൻസ് എന്നത് ട്രേസിനുള്ളിലുള്ള വ്യക്തിഗത ഘട്ടങ്ങളാണ് (ഉദാഹരണത്തിന് ഒരു ഭാഷാ മാതൃക വിളിക്കൽ അല്ലെങ്കിൽ ഡാറ്റ തരം തിരിച്ചു വാങ്ങൽ).

Langfuse ലെ ട്രേസ് ട്രീ

നിരീക്ഷണക്ഷമത ഇല്ലാതെ, AI ഏജന്റ് “ബ്രാക്ക് ബോക്സ്” പോലെയായി തോന്നാം - അതിന്റെ ആഭ്യന്തരാവസ്ഥയും അനാലിസ് ചെയ്യലും അക്രമശീലമാണെന്ന് കാണുകയും, പ്രശ്നങ്ങൾ കണ്ടെത്താൻ പ്രയാസമാക്കുകയും ചെയ്യും. നിരീക്ഷണക്ഷമതയോടെ, ഏജന്റുകൾ “കண்ணടികളുടെ ബോക്സുകൾ” ആകുകയും, വിശ്വാസം നിർമ്മിക്കാനും ഉദ്ദേശിച്ചപോലെ പ്രവർത്തിക്കുമെന്നുള്ള ഉറപ്പ് നൽകുന്നതിനുള്ള പാഴ്ഹിതം നൽകുകയും ചെയ്യും.

ഉത്പാദന പരിസ്ഥിതികളിൽ നിരീക്ഷണക്ഷമതയുടെ പ്രാധാന്യം

AI ഏജന്റുകളെ ഉത്പാദന പരിസ്ഥിതികളിലേക്ക് മാറ്റുമ്പോൾ പുതിയ വെല്ലുവിളികൾയും ആവശ്യങ്ങളും ഉണ്ടാകുന്നു. നിരീക്ഷണക്ഷമത ഇനി ഒരു “ആഗ്രഹിക്കുന്നത്” മാത്രമല്ല, അതിലൂടെ പ്രാഥമിക കഴിവാകും:

ഡീബഗ്ഗിംഗും മൂല കാരണ വിശകലനവും: ഏജന്റ് പരാജയപ്പെടുമ്പോൾ അല്ലെങ്കിൽ 예상ിക്കാത്ത ഔട്ട്പുട്ട് ഉളവാകുമ്പോൾ, അവിശ്വസനീയമായ കാരണം കണ്ടെത്താൻ ട്രേസുകൾ നൽകുന്നു. ഇത് സങ്കീർണ്ണമായ ഏജന്റുകളിൽ പ്രത്യേകിച്ച് പ്രധാനമാണ്, അവക്ക് പല LLM കോൾസ്, ഉപകരണ ഇടപെടലുകൾ, നിബന്ധന അടിസ്ഥാനമായ ലജിക്ക് ഉണ്ടായേക്കാം.
വിലയും ചെലവും നിയന്ത്രണവും: AI ഏജന്റുകൾ LLM കളിലൂടെയോ മറ്റു ബഹിരാകാശ API കളിലൂടെയോ അധിക ചാർജ്ജ് സ്വീകരിക്കുന്നു, ഓരോ ടോക്കനും കോൾസിനും വേണ്ടി. നിരീക്ഷണക്ഷമത കൃത്യമായ ട്രാക്കിങ്ങ് അനുവദിച്ച് വളരെ യാന്തിക അല്ലെങ്കിൽ ചെലവേറിയ പ്രവർത്തനങ്ങൾ കണ്ടെത്താൻ സഹായിക്കു. ഇത് പ്രോമ്പ്റ്റ് മെച്ചപ്പെടുത്താൻ, കൂടി കാര്യക്ഷമമായ മോഡലുകൾ തിരഞ്ഞെടുക്കാൻ, അല്ലെങ്കിൽ പ്രവർത്തനചെലവുകൾ നിയന്ത്രിക്കാനും നല്ല ഉപയോക്തൃ അനുഭവം ഉറപ്പാക്കാനുമുള്ള സംവിധാനമാണ്.
വിശ്വാസ്യത, സുരക്ഷിതത്വം, അനുസരണം: പല അപേക്ഷകളിലും, ഏജന്റുകൾ സുരക്ഷിതവും നൈതികവുമായ രീതിയിൽ പ്രവർത്തിക്കണമെന്ന് ഉറപ്പാക്കണം. നിരീക്ഷണക്ഷമത ഏജന്റിന്റെ പ്രവൃത്തികൾക്കും തീരുമാനങ്ങൾക്കും ഓഡിറ്റ് ട്രെയിൽ നൽകുന്നു. ഇത് പ്രോമ്പ്റ്റ് ഇഞ്ചക്ഷൻ, ഹാനികരമായ ഉള്ളടക്കം സൃഷ്ടിക്കൽ, വ്യക്തിഗത തിരിച്ചറിയൽ വിവരങ്ങൾ തെറ്റായ കൈമാറ്റം എന്നിവ കണ്ടെത്താനും തടയാനും ഉപയോഗിക്കാം. ഉദാഹരണത്തിന്, ഒരു ഏജന്റ് നിശ്ചിത പ്രതികരണമൊ എന്ത് ജില്ലeraa ഉപയോഗിച്ചതാണെന്നു മനസ്സിലാക്കാൻ ട്രേസുകൾ പരിശോധിക്കാം.
നിരന്തരം മെച്ചപ്പെടുത്തൽ ചക്രങ്ങൾ: നിരീക്ഷണക്ഷമതയുടെ ഡാറ്റ ഒരു ആവർത്തന വികസന പ്രക്രിയയുടെ അടിസ്ഥാനമാണ്. ഏജന്റുകൾ യാഥാർത്ഥ്യത്തിൽ പ്രദർശനമുറപ്പിക്കുന്നുവെന്ന് നിരീക്ഷിച്ച് മെച്ചപ്പെടുത്തലുകൾ കണ്ടെത്താം, മോഡലുകൾ ശരിയാക്കാനായി ഡാറ്റ ശേഖരിക്കാം, മാറ്റങ്ങളുടെ ഫലങ്ങൾ പരിശോദിക്കാം. ഇത് ഒരു ഫീഡ്ബാക്ക് ലൂപ്പ് സൃഷ്ടിക്കുന്നു, ഒന്നിലധികം തലങ്ങളിൽ ഇൻലൈൻ വിലയിരുത്തലിൽ നിന്നുള്ള ഉൽപ്പന്ന അറിവുകൾ ഓഫ്ലൈൻ പരീക്ഷണങ്ങളും കേന്ദ്രീകരിച്ച് മെച്ചപ്പെടുത്തലുകളും ബന്ധിപ്പിക്കുന്നു, എങ്ങനെ ഏജന്റ് പ്രകടനം സുതാര്യമാകുന്നുവെന്ന്.

ട്രാക്ക് ചെയ്യാനുള്ള പ്രധാന സൂചികകൾ

ഏജന്റിന്റെ പെരുമാറ്റം നിരീക്ഷിക്കാനും മനസ്സിലാക്കാനുമായി വിവിധ സൂചികകളും സിഗ്നലുകളും ട്രാക്ക് ചെയ്യണം. ഏജന്റിന്റെ ലക്ഷ്യത്തെ ആസ്പദമാക്കിയുള്ള പ്രത്യേക സൂചികകളിൽ വ്യത്യാസമുണ്ടെങ്കിലും, ചിലത് സർവസാധാരണമാണ്.

നിരീക്ഷണ ഉപകരണങ്ങൾ സാധാരണയായി നിരീക്ഷിക്കുന്ന ചില ആധികാരിക സൂചികകൾ താഴെ നൽകുന്നു:

വിലാസം: ഏജന്റ് എത്ര വേഗത്തിലാണ് പ്രതികരിക്കുന്നത്? നീണ്ട കാത്തിരിപ്പുകൾ ഉപയോക്തൃ അനുഭവത്തെ പൊരുത്തപ്പെടാത്തതാക്കും. ഏജന്റ് റൺസിനുള്ള പ്രവർത്തനങ്ങൾക്കും വ്യക്തിഗത ഘട്ടങ്ങൾക്കും വിലാസം അളക്കുക. ഉദാഹരണത്തിന്, എല്ലാ മോഡൽ കോൾസിനോടും 20 സെക്കൻഡ് എടുക്കുന്ന ഏജന്റ് വേഗത്തിലുള്ള മോഡൽ ഉപയോഗിച്ച് അല്ലെങ്കിൽ കോൾകൾ പാരലലായി ഓടിച്ച് വേഗമാക്കാവുന്നതാണ്.

ചെലവുകൾ: ഏജന്റ് റൺഒരു ചെലവ് എങ്ങനെ? AI ഏജന്റുകൾ ടോക്കൻ അടിസ്ഥാനത്തിൽ ചാർജ് ചെയ്യുന്ന LLM കോൾസും ബഹിരാകാശ API കളുമുയർത്തുന്നു. പല പ്രോമ്പ്റ്റുകളോ ഉപകരണങ്ങളോ ഉപയോഗിച്ച് ചെലവുകൾ കൂട്ടി. ഉദാഹരണത്തിന്, കുറച്ചുകൂടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്താൻ ഏജന്റ് LLM ആയിരത്തി അഞ്ചു തവണ വിളിച്ചാൽ, ചിലവ് തക്കമാകുന്നോ എന്നറിയേണ്ടതാണ് അല്ലെങ്കിൽ കോൾകളും കുറയ്ക്കുന്നത് അല്ലെങ്കിൽ ചെലവുകുറഞ്ഞ മോഡൽ ഉപയോഗിക്കുന്നത് പരിഗണിക്കാവുന്നതാണ്. യഥാർത്ഥ-സമയ നിരീക്ഷണത്തോടെ അനുപാതിക വർദ്ധനവ് കാണുമ്പോൾ (ഉദാ: ബഗ് കാരണമായ API ലൂപ്പുകൾ) കണ്ടെത്താനും കഴിയും.

അഭ്യർത്ഥന പിശകുകൾ: ഏജന്റ് എത്ര അഭ്യർത്ഥനകൾ പരാജയപ്പെട്ടു? ഇതിൽ API പിശകുകളും പരാജയപ്പെട്ട ഉപകരണം കോൾസും ഉൾപ്പെടാം. ഉത്പാദനത്തിൽ ഏജന്റ് കൂടുതൽ ദൃഢമായിരിക്കുമെന്ന് ഉറപ്പാക്കാൻ ഫാൽക്‌ബാക്ക് അല്ലെങ്കിൽ റിട്രൈ സെറ്റുചെയ്യാം.ตัวอย่าง: LLM വിതരണം ചെയ്തത് നിർത്തിയാൽ, ബാക്കപ്പ് ആയി മേഖല മാറുക.

ഉപയോക്തൃ പ്രതികരണം: നേരിട്ടുള്ള ഉപയോക്തൃ വിലയിരുത്തൽ വിലയേറുന്ന അറിവുകൾ നൽകുന്നു. ഇതിൽ വ്യക്തമായ റേറ്റിംഗുകൾ (👍അംഗീകരണം/👎നിരാകരണം, ⭐1-5 നക്ഷത്രങ്ങൾ) അല്ലെങ്കിൽ എഴുത്തുപരമായ അഭിപ്രായങ്ങൾ ഉൾപ്പെടാം. നിരന്തരമായ നെഗറ്റീവ് ഫീഡ്ബാക്ക് മാതൃകയായി തിരിച്ചറിയണം, ഏജന്റ് ഉദ്ദേശിച്ചതുപോലെ പ്രവർത്തിക്കുന്നില്ലെന്ന സൂചന.

അപ്രത്യക്ഷ ഉപയോക്തൃ ഫീഡ്ബാക്ക്: ഉപയോക്തൃ പെരുമാറ്റങ്ങൾ വ്യക്തമായ റേറ്റിംഗുകൾ ഇല്ലാതെയും പരೋക്ഷമായ പ്രതികരണം നൽകുന്നു. ഉടൻ ചോദ്യ വീണ്ടും പറയൽ, ആവർത്തിച്ച ചോദ്യങ്ങൾ, റിട്രൈ ബട്ടൺ ക്ലിക്കുചെയ്യൽ എന്നീ അടങ്ങിയിരിക്കും. ഉദാ: ഉപയോക്താക്കൾ ഒരേ ചോദ്യമുണ്ടാക്കാൻ തുടർന്നാൽ, ഏജന്റ് ഉദ്ദേശിച്ചതുപോലെ പ്രവർത്തിക്കുന്നില്ല എന്ന് സൂചന.

തെറ്റില്ലായ്മ: ഏജന്റ് എത്രത്തോളം ശരിയായ അല്ലെങ്കിൽ ഇഷ്ടാനുസൃതമായ ഔട്ട്പുട്ടുകൾ നൽകുന്നു? തെറ്റില്ലായ്മയുടെ നിർവചനം വ്യത്യസ്തമാണ് (ഉദാ: പ്രശ്നപരിഹാര ശരിത, വിവര തിരയൽ ശരിത, ഉപയോക്തൃ തൃപ്തി). ആദ്യം ഏജന്റിനുവേണ്ടി വിജയം എന്താണെന്ന് നിർവചിക്കണം. ഓട്ടോമേറ്റഡ് പരിശോധനകൾ, വിലയിരുത്തൽ സ്കോറുകൾ അല്ലെങ്കിൽ ടാസ്ക് പൂർത്തീകരണ ലേബലുകൾ വഴിയും തെറ്റില്ലായ്മ ട്രാക്ക് ചെയ്യാം. ഉദാ: ട്രേസുകൾ “വിജയം” അല്ലെങ്കിൽ “പരാജയം” എന്ന് അടയാളപ്പെടുത്തൽ.

ഓട്ടോമേറ്റഡ് വിലയിരുത്തൽ സൂചികകൾ: ഓട്ടോമേറ്റഡ് മൂല്യനിർണയങ്ങൾ സെറ്റ് ചെയ്യാം. ഉദാഹരണത്തിന്, LLM ഉപയോഗിച്ച് ഏജന്റിന്റെ ഔട്ട്പുട്ട് സഹായകമാണോ, ശരിയോ എന്നും സ്കോർ ചെയ്യാം. നിരവധി ഓപ്പൺ സോഴ്‌സ് ലൈബ്രറികളും വിവിധ പകുതികളും സ്‌കോർ ചെയ്യാൻ സഹായിക്കുന്നു. ഉദാ: RAG ഏജന്റിനായുള്ള RAGAS അല്ലെങ്കിൽ ഹാനികരമായ ഭാഷ അല്ലെങ്കിൽ പ്രോമ്പ്റ്റ് ഇഞ്ചക്ഷൻ കണ്ടെത്തുന്നതിനായുള്ള LLM Guard.

സാധാരണയായി, ഈ സൂചികകളുടെ സംയോജനം AI ഏജന്റിന്റെ ആരോഗ്യത്തിന് മികച്ച കണ്ടക്കം നൽകുന്നു. ഈ അധ്യായത്തിലെ ഉദാഹരണ നോട്ട്‌ബുക്ക് യിൽ, ഈ സൂചികകളെ യാഥാർഥ ഉദാഹരണങ്ങളിൽ കണ്ട് പഠിക്കാം, എന്നാൽ ആദ്യം സാധാരണവഴകുള്ള അളവുകാര്യക്രമം പഠിക്കാം.

ഏജന്റിനെ ഇൻസ്ട്രുമെന്റ് ചെയ്യുക

ട്രേസിംഗ് ഡാറ്റ ശേഖരിക്കാൻ, നിങ്ങളുടെ കോഡ് ഇൻസ്ട്രുമെന്റ് ചെയ്യണം. ലക്ഷ്യം ഏജന്റ് കോഡ് ട്രേസുകളും സൂചികകളും പുറത്ത് വിടുക എന്നതാണ്, അവ ഒരുവിധത്തിൽ പിടിച്ചെടുത്ത്, പ്രോസസ്സ് ചെയ്ത്, ഒരു നിരീക്ഷണ പ്ലാറ്റ്‌ഫോമിൽ ദൃശ്യീകരിക്കുകയും ചെയ്യും.

OpenTelemetry (OTel): OpenTelemetry LLM നിരീക്ഷണക്ഷമതയ്ക്കുള്ള വ്യവസായ തരം മാറിയിരിക്കുന്നു. ഇത് API കൾ, SDK കൾ, ടെലിമെട്രി ഡാറ്റ നിർമ്മാണം, ശേഖരണം, കയറ്റുമതി എന്നിവയ്ക്ക് വേണ്ടി സജ്ജീകരിച്ച ഉപാധികളാണ്.

പല ഇൻസ്ട്രുമെന്റേഷൻ ലൈബ്രറികൾ നിലവിലുള്ള ഏജന്റ് ഫ്രെയിംവർക്കുകൾ ഉൾകൊള്ളിച്ച് OpenTelemetry സ്പാൻസുകൾ ഒരു നിരീക്ഷണ ഉപകരണത്തിലേക്ക് എളുപ്പത്തിൽ അയയ്ക്കാൻ സഹായിക്കുന്നു. Microsoft Agent Framework ഒറ്റത്തവണ OpenTelemetry ഒപ്പം എളുപ്പത്തിൽ കാണിക്കുന്നു. താഴെ MAF ഏജന്റ് ഇൻസ്ട്രുമെന്റുചെയ്യുന്നതിന് ഉദാഹരണം:

from agent_framework.observability import get_tracer, get_meter

tracer = get_tracer()
meter = get_meter()

with tracer.start_as_current_span("agent_run"):
    # ഏജന്റ് निष്പादन സ്വയമേവ പിന്‌തുടരുന്നു
    pass

ഈ അധ്യായത്തിലെ ഉദാഹരണ നോട്ട്‌ബുക്ക് നിങ്ങളുടെ MAF ഏജന്റ് എങ്ങനെ ഇൻസ്ട്രുമെന്റ് ചെയ്യാമെന്നും കാണിക്കും.

** മാനുവൽ സ്പാൻ സൃഷ്ടി:** ഇൻസ്ട്രുമെന്റേഷൻ ലൈബ്രറികൾ നല്ല അടിസ്ഥാനവുമായാൽ, കൂടുതൽ വിശദമായ അല്ലെങ്കിൽ ഇഷ്‌ടാനുസൃത വിവരങ്ങൾ വേണ്ടിവരാം. സ്വയം സ്പാൻ സൃഷ്ടിച്ച് ഇഷ്‌ടാനുസൃത ആപ്ലിക്കേഷൻ ലജിക്ക് ചേർക്കാം. കൂടുതലായി, സ്വയം അല്ലെങ്കിൽ ഓട്ടോമാറ്റിക് സൃഷ്ടിച്ച സ്പാനുകൾ കസ്റ്റം ആട്രിബ്യൂട്ടുകൾ (ടാഗുകൾ അല്ലെങ്കിൽ മെറ്റാഡേറ്റ) ഉപയോഗിച്ച് സമൃദ്ധമാക്കാം. ഈ ആട്രിബ്യൂട്ടുകളിൽ ബിസിനസ്-നിർദിഷ്ട ഡാറ്റ, ഇടനില ഗണനകൾ, ഡീബഗ്ഗിംഗ് അല്ലെങ്കിൽ വിശകലനത്തിനായി ഉപകാരപ്രദമായ οπο്encvfc, user_id, session_id, model_version അടങ്ങാം.

Langfuse Python SDK ഉപയോഗിച്ച് സ്വയം ട്രേസുകളും സ്പാൻസും ഉണ്ടാക്കുന്നതിന് ഉദാഹരണം:

from langfuse import get_client
 
langfuse = get_client()
 
span = langfuse.start_span(name="my-span")
 
span.end()

ഏജന്റ് അളവ്

നിരീക്ഷണക്ഷമത സൂചികകൾ നൽകുമ്പോൾ, അളവ് അവ ഡാറ്റ വിശകലനം ചെയ്യുന്നതിനും (അടിസ്ഥാനപരിശോധനകൾ നടത്തുന്നതിനും) ആണ്, AI ഏജന്റ് എത്രത്തോളം എല്ലാ കാര്യങ്ങളും ചെയ്യുന്നു എന്നും മെച്ചപ്പെടുത്തലിനായി എന്തെല്ലാം ചെയ്യാമെന്നും മനസ്സിലാക്കാൻ. മറ്റൊരു വഴികാട്ട്, ആ ട്രേസുകളും സൂചികകളും കൊണ്ടു ഏജന്റിനെ എങ്ങനെ വിലയിരുത്താം, തീരുമാനങ്ങൾ എങ്ങനെ എടുക്കാം എന്നതാണ്.

സ്ഥിരം അളവ് అవసരം ഉണ്ടെന്നത് എഐ ഏജന്റുകൾ പലസമയം നിർദ്ദിഷ്ടമല്ലാത്തതും (ഡേറ്റയുടെ വ്യത്യാസം മൂലമോ മോഡൽ പെരുമാറ്റം മാറുന്നതിലോ വഴക്കുള്ളതും) ആയതിനാൽ — അളവില്ലാതെ, നിങ്ങളുടെ “സ്മാർട്ട് ഏജന്റ്” ശരിയായി പ്രവർത്തിക്കുന്നു എന്നോ ഇല്ല എന്നോ നിങ്ങൾക്ക് അറിയാനാകില്ല.

AI ഏജന്റുകളുടെ അളവിന് രണ്ട് വകഭേദങ്ങളുണ്ട്: ഓൺലൈൻ അളവ്യും ഓഫ്‌ലൈൻ അളവ്യും. രണ്ടും മൂല്യമുണ്ട്, പരസ്പരം പൂരിപ്പിക്കുന്നു. സാധാരണയായി ഓഫ്ലൈൻ അളവിൽ തുടങ്ങുന്നു, കാരണം ഏജന്റ് വിന്യസിക്കുന്നതിന് മുമ്പ് ഈ നിയന്ത്രിത ഘട്ടം നടത്തണം.

ഓഫ്ലൈൻ അളവ്

Langfuse Dataset ഇനങ്ങൾ

ഇത് നിയന്ത്രിത സാഹചര്യത്തിൽ ഏജന്റിനെ വിലയിരുത്തൽ ആണ്, സാധാരണ രീതിയിൽ ടെസ്റ്റ് ഡേറ്റാസെറ്റുകൾ ഉപയോഗിച്ച്, ലൈവ് ഉപയോക്തൃ ചോദ്യങ്ങൾക്കല്ല. പ്രതീക്ഷിക്കപ്പെടുന്ന ഔട്ട്പുട്ട് അല്ലെങ്കിൽ ശരിയായ പെരുമാറ്റം അറിയുന്ന ക്യൂരേറ്റഡ് ഡേറ്റാസെറ്റുകൾ ഉപയോഗിച്ച് ഏജന്റ് ഓടിക്കുന്നു.

ഉദാഹരണത്തിന്, നിങ്ങൾ ഒരു ഗണിത ശബ്‌ദസമസ്യ ഏജന്റ് നിർമ്മിച്ചെങ്കിൽ, 100 പ്രശ്നങ്ങളുള്ള ടെസ്റ്റ് ഡേറ്റാസെറ്റ് ഉണ്ടാകും. ഓഫ്ലൈൻ അളവ് വികസന ഘട്ടത്തിൽ (CI/CD പൈപ്പ്ലൈനുകളിൽ പങ്ക് വഹിക്കാം) മെച്ചങ്ങൾ പരിശോധിക്കാനും പഴയ സ്ഥിതിക്ക് തിരിച്ചുപോകൽ തടയാനും ഉപയോഗിക്കുന്നു. പ്രയോജനം: പുനരാവർത്തന യോഗ്യമാണ്, ക്ലിയർ accuracy metrics ലഭിക്കുന്നു കാരണം ഗ്രൗണ്ട് ട്രൂത്ത് ഉണ്ട്. ഉപയോക്തൃ ചോദ്യങ്ങളുടെ അനുകരണവും ഏറ്റവും നല്ല ഉത്തരങ്ങളോടും താരതമ്യം ചെയ്യണം അല്ലെങ്കിൽ മേലൊന്നായി പറഞ്ഞ ഓട്ടോമേറ്റഡ് സൂചികകൾ ഉപയോഗിക്കാം.

ഓഫ്ലൈൻ അളവിന്റെ പ്രധാന വെല്ലുവിളി ടെസ്റ്റ് ഡേറ്റാസെറ്റ് പരിപൂർണ്ണവും യാഥാർഥ്യവുമായി പൊരുത്തപ്പെടുന്നതിനായി സൂക്ഷ്മവും നിലനിർത്തലുമാണ് – സ്ഥിരം ടെസ്റ്റ് സെറ്റിൽ മികച്ച പ്രകടനം കാണിച്ചെങ്കിലും, ഉത്പാദന സാഹചര്യങ്ങളിൽ വ്യത്യസ്തമായ ചോദ്യങ്ങൾ നേരിടുക കഴിയും. അതിനാൽ പുതിയ അതിരുകൾ ഉൾപ്പെടുന്ന പുതിയ കേസുകളും യാഥാർത്ഥ്യ പ്രത്യക്ഷപ്രകൃതികളും ഉൾപ്പെടുത്തി ടെസ്റ്റ് സെറ്റുകൾ എപ്പോഴും പുതുക്കണം. ചെറിയ “സ്മോക്ക് ടെസ്റ്റ്” കണികൾ വേഗത്തിലുള്ള പരിശോധനയ്ക്ക്, വലുതായ അളവ് സെറ്റുകൾ വിശദമായ പ്രകടന സാമ്പത്തികങ്ങൾക്കും ഉപയോഗപ്രദമാണ്.

ഓൺലൈൻ അളവ്

നിരീക്ഷണ സൂചികകൾ അവലോകനം

ഇത് സജീവമായ യഥാർത്ഥ ലോക സാഹചര്യത്തിൽ, ഉദാഹരണത്തിന് ഉത്പാദനത്തിൽ, ഏജന്റിനെ വിലയിരുത്തൽ ആണ്… ഓൺലൈൻ അളവ് യഥാർത്ഥ ഉപഭോക്തൃ ഇടപെടലുകളുടെ പ്രകടനം നിരീക്ഷിക്കുകയും തുടർച്ചയായി ഫലങ്ങൾ വിശകലനം ചെയ്യുകയും ചെയ്യുന്നു.

ഉദാഹരണത്തിന്, വിജയ നിരക്കുകൾ, ഉപയോക്തൃ തൃപ്തി സ്കോറുകൾ, മറ്റും ലൈവ് ട്രാഫിക്കിൽ ട്രാക്ക് ചെയ്യാം. ഓൺലൈൻ അളവിന്റെ നേട്ടം: വ്യവസായമേഖലയിൽ പ്രതീക്ഷിക്കാത്ത കാര്യങ്ങൾ ഉൾപ്പെടുന്നു – മോഡൽ ഡ്രിഫ്റ്റ് (ഇൻപുട്ട് മാതൃകകളുടെ മാറ്റം മൂലമുള്ള പ്രകടന കുറവ്) നിരീക്ഷിക്കാനും, ടെസ്റ്റ് ഡേറ്റയിൽ ഇല്ലാത്ത അനുപാതിക ചോദ്യങ്ങൾ കണ്ടെത്താനും കഴിയും. ഇത് അധികൃതർക്ക് സത്യമായ രൂപത്തിൽ എങ്ങനെ ഏജന്റ് പെരുമാറ്റിക്കുന്നു എന്ന് കാണിക്കാൻ സഹായിക്കുന്നു.

ഓൺലൈൻ അളവ് പലപ്പോഴും പ്രയോഗിക്കുന്നു പരോക്ഷം, വ്യക്തമായ ഉപയോക്തൃ ഫീഡ്ബാക്ക് ശേഖരിക്കുകയും, ഷാഡോ ടെസ്റ്റ് അല്ലെങ്കിൽ A/B ടെസ്റ്റ് നടത്തുകയും (പുതിയ ഏജന്റ് പതിപ്പ് പഴയതായി താരതമ്യം ചെയ്യാൻ സമാന്തരമായി ഓടുന്നു). പ്രശ്നം: ലൈവ് ഇടപെടലുകളിൽ വിശ്വസനീയമായ ലേബലുകൾ നേടുക കഷ്ടമാണ് – ഉപയോക്തൃ ഫീഡ്ബാക്ക് അല്ലെങ്കിൽ താഴോട്ടുള്ള സൂചികകൾ (ഉദാ: ഉപയോക്താവ് ഫലം ക്ലിക്ക് ചെയ്‌തോ) ആശ്രയിച്ചിരിക്കും.

രണ്ടു ഒന്നിച്ചുപയോഗിക്കൽ

ഓൺലൈൻ, ഓഫ്ലൈൻ അളവുകൾ പരസ്പരം വിരുദ്ധമല്ല; വളരെ പരസ്പരം സംബന്ധിച്ചവയാണ്. ഓൺലൈൻ നിരീക്ഷണത്തിലൂടെ (ഉദാ: പുതിയ തരത്തിലുള്ള ഉപയോക്തൃ ചോദ്യങ്ങൾ, ഏജന്റ് വൈകുന്നതും മറ്റും) ലഭിക്കുന്ന洞察ങ്ങൾ ഓഫ്ലൈൻ ടെസ്റ്റ് ഡേറ്റാസെറ്റുകൾ മെച്ചപ്പെടുത്താൻ ഉപയോഗിക്കാം. മറുവശത്ത്, ഓഫ്ലൈൻ ടെസ്റ്റുകളിൽ നല്ല പ്രകടനം കാണിക്കുന്ന ഏജന്റുകൾക്കു വിശ്വാസത്തോടെ ഓൺലൈൻ വിന്യാസവും നിരീക്ഷണവും നടത്താം.

പ്രഥമമായി, എത്ര തോഴിൽ ടീമുകൾ ഒരു ലൂപ്പ് സ്വീകരിക്കുന്നു:

ഓഫ്‌ലൈനിൽ അളവ് -> വിന്യാസം -> ഓൺലൈൻ നിരീക്ഷണം -> പുതിയ പരാജയ കേസുകൾ ശേഖരം -> ഓഫ്ലൈൻ ഡേറ്റാസെറ്റിൽ ചേർക്കൽ -> ഏജന്റ് മെച്ചപ്പെടുത്തൽ -> ആവർത്തിച്ചു.

പൊതുവായ പ്രശ്നങ്ങൾ

AI ഏജന്റുകൾ ഉത്പാദനത്തിലേക്ക് വിന്യസിക്കുമ്പോൾ വിവിധ വെല്ലുവിളികൾ അഭിമുഖീകരിക്കാം. സമാനമായ ചില പ്രശ്നങ്ങളും പരിഹാരങ്ങളും താഴെ ബോർഡ് രൂപത്തിൽ കൊടുക്കുന്നു:

പ്രശ്നം	സാദ്ധ്യമല്ലാത്ത പരിഹാരം
AI ഏജന്റ് സ്ഥിരമായി പ്രവൃത്തികളിൽ പരാജയപ്പെടുന്നു	- AI ഏജന്റിന് നൽകിയ പ്രോംപ്റ്റ് തിരുത്തുക; ലക്ഷ്യങ്ങൾ വ്യക്തമാക്കുക. - ടാസ്കുകൾ ഉപടാസ്കുകളാക്കി വിവിധ ഏജന്റുകൾ കൈകാര്യം ചെയ്യുന്നത് സഹായിക്കുന്നുവെന്ന് കണ്ടുപിടിക്കുക.
AI ഏജന്റ് തുടർച്ചയായ ലൂപ്പുകളിൽ പെടുന്നു	- ഏജന്റ് പ്രോസസ്സ് നിർത്തേണ്ട സമയവും നിബന്ധനകളും വ്യക്തമാക്കുക. - യോഗ്യതാ ആവശ്യമായ, ബുദ്ധിപൂർവ്വമായ ടാസ്കുകൾക്കായി reasoning അടിസ്ഥാനമാക്കിയ വലിയ മോഡൽ ഉപയോഗിക്കുക.
AI ഏജന്റ് ഉപകരണ കോൾസ് ശരിയല്ല	- ഉപകരണം പുറത്തുനിന്ന് പരിശോധിക്കുക, സാധുവാക്കുക. - സന്ദർശനപരിമിതികൾ, പ്രോംപ്റ്റുകൾ, ഉപകരണം നാമനിർദ്ദേശം തിരുത്തുക.
ബഹുഏജന്റ് സിസ്റ്റം സ്ഥിരമായി പ്രവർത്തിക്കുന്നില്ല	- ഓരോ ഏജന്റിനും വ്യക്തമായ, വ്യത്യസ്തമായ പ്രോംപ്റ്റുകൾ നൽകുക. - “റൂട്ടിങ്” അല്ലെങ്കിൽ നിയന്ത്രണ ഏജന്റ് ഉപയോഗിച്ച് ഏജന്റ് തിരഞ്ഞെടുക്കാനുള്ള ഹയർആർക്കിക്കൽ സിസ്റ്റം നിർമ്മിക്കുക.

ഈ പ്രശ്നങ്ങൾ പലപ്പോഴും നിരീക്ഷണക്ഷമത ഉപയോഗിച്ച് കൂടുതൽ ഫലപ്രദമായി കണ്ടെത്താം. മുൻപ് പറഞ്ഞ ട്രേസുകളും സൂചികകളും ഏജന്റ് വർക്ക്ഫ്ലോയിൽ പ്രശ്നങ്ങൾ എവിടെ സംഭവിക്കുന്നു എന്ന് വ്യക്തമാക്കുന്നു, ഡീബഗ്ഗിംഗ്, ഒപ്റ്റിമൈസേഷൻ കൂടുതൽ കാര്യക്ഷമമാക്കുന്നു.

ചെലവ് നിയന്ത്രണം

പ്രൊഡക്ഷനിൽ AI ഏജന്റുകൾ വിന്യസിപ്പിക്കുന്നതിനുള്ള ചെലവ് നിയന്ത്രിക്കാൻ ചില തന്ത്രങ്ങൾ ഇവയാണ്:

ചെറിയ മോഡലുകൾ ഉപയോഗിക്കുന്നത്: ചെറിയ ഭാഷാ മോഡലുകൾ (SLMs) ചില ഏജന്റിക് ഉപയോഗ സാഹചര്യങ്ങളിൽ നല്ല പ്രകടനം കാണിക്കാം, അതും ചെലവ് വളരെ കുറയ്ക്കും. മുൻപ് പറയുന്നപോലെ, അവലോകന സംവിധാനം നിർമ്മിച്ച് വലിയ മോഡലുകളുമായുള്ള പ്രകടനം വിലയിരുത്തുന്നതിനും താരതമ്യം ചെയ്യാനുമുള്ള സംവിധാനമാണ് നിങ്ങളുടെ ഉപയോഗ കേസിൽ ഒരു SLM എത്രത്തോളം പ്രവർത്തിക്കും എന്നറിയാൻ ഏറ്റവും നല്ല വഴി. നിർവചന ക്ലാസിഫിക്കേഷൻ അല്ലെങ്കിൽ പാർമീറ്റർ സംസ്കാരം പോലുള്ള ലളിതമായ ദൗത്യംകൾക്കായി SLMകൾ ഉപയോഗിക്കാൻ പരിഗണിക്കുക, എന്നാൽ സങ്കീർണ്ണമായ ചിന്തനങ്ങൾക്കായി വലിയ മോഡലുകൾ ഉപയോഗിച്ച് സംരക്ഷിക്കുക.

റൂട്ടർ മോഡൽ ഉപയോഗിക്കൽ: സമാനമായ ഒരു തന്ത്രമാണ് വ്യത്യസ്ത മോഡലുകളും വലുപ്പങ്ങളും ഉപയോഗിക്കുക. സങ്കീർണ്ണതയുടെ അടിസ്ഥാനത്തിൽ അഭ്യർത്ഥനകൾ ഏറ്റവും അനുയോജ്യമായ മോഡലിലേക്കു മാർഗനിർദേശമുണ്ടാക്കാൻ നിങ്ങൾക്ക് LLM/SLM അല്ലെങ്കിൽ സർവർലെസ് ഫംഗ്ഷൻ ഉപയോഗിക്കാം. ഇത് ചെലവുകൾ കുറയ്‌ക്കാൻ സഹായിക്കുന്നതോടൊപ്പം ശരിയായ ദൗത്യംകളിൽ പ്രകടനം ഉറപ്പാക്കും. ഉദാഹരണത്തിന്, ലളിതമായ ചോദ്യങ്ങൾ ചെറിയ, വേഗത്തിലുള്ള മോഡലുകളിലേക്കു റൂട്ടുചെയ്യുക, സങ്കീർണ്ണമായ ചിന്തന പ്രവർത്തനങ്ങൾക്ക് മാത്രം ചെലവേറിയ വലിയ മോഡലുകൾ ഉപയോഗിക്കുക.

പ്രതികരണങ്ങൾ ക്യാഷ് ചെയ്യൽ: സാധാരണ അഭ്യർത്ഥനകളും ദൗത്യങ്ങളും തിരിച്ചറിയുകയും, അവ ഏജന്റിക് സംവിധാനത്തിലേക്ക് പോകുന്നതിനു മുമ്പ് പ്രത്യുത്തരങ്ങൾ നൽകുകയും ചെയ്യുന്നത് സമാന അഭ്യർത്ഥനകളുടെ തോതിനെ കുറയ്ക്കാൻ നല്ല മാർഗമാണ്. നിങ്ങളുടെ ക്യാഷ് ചെയ്ത അഭ്യർത്ഥനകളെ എത്രത്തോളം സമാനമാണെന്ന് കണ്ടെത്താൻ പാരമ്പര്യമുള്ള AI മോഡലുകൾ ഉപയോഗിച്ച് ഒരു പ്രവാഹം നടപ്പിലാക്കാനും കഴിയും. പ്രായോഗികമായി, ഇതു നിരന്തരം ചോദിക്കപ്പെടുന്ന ചോദ്യങ്ങൾക്കും സാധാരണ പ്രവൃത്തികൾക്കും ചെലവു കുറയ്ക്കാനുള്ള വലിയ സഹായമാണ്.

പ്രായോഗികമായി ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു നോക്കാം

ഈ വിഭാഗത്തിലെ ഉദാഹരണം നോട്ട്ബുക്ക്ൽ, ഞങ്ങൾ എങ്ങനെ ഓബ്‌സർവബിലിറ്റി ഉപകരണങ്ങൾ ഉപയോഗിച്ച് നമ്മുടെ ഏജന്റ് നിരീക്ഷിക്കുകയും വിലയിരുത്തുകയും ചെയ്യാമെന്നാണ് കാണുന്നത്.

പ്രൊഡക്ഷനിലെ AI ഏജന്റുകളെക്കുറിച്ച് കൂടുതൽ ചോദ്യങ്ങളുണ്ടോ?

മറ്റ് പഠനക്കാരെ കാണാനും ഓഫീസ് മണിക്കൂറുകൾക്ക് പങ്കെടുക്കാനും നിങ്ങളുടെ AI ഏജന്റ് ചോദ്യങ്ങൾക്ക് ഉത്തരം കിട്ടാനും Microsoft Foundry Discord യിൽ ചേർന്നു കാഴ്ച നേടുക.

മുമ്പത്തെ പാഠം

Metacognition Design Pattern

അടുത്ത പാഠം

Agentic Protocols

അറിയിപ്പ്: ഈ രേഖ AI പരിഭാഷാ സേവനം Co-op Translator ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല.

This site is open source. Improve this page.