ai-agents-for-beginners

প্রোডাকশনে AI এজেন্ট: পর্যবেক্ষণ এবং মূল্যায়ন

যখন AI এজেন্ট পরীক্ষা পর্যায় থেকে বাস্তব বিশ্বের অ্যাপ্লিকেশনগুলিতে চলে আসে, তখন তাদের আচরণ বুঝতে পারা, তাদের কর্মক্ষমতা পর্যবেক্ষণ করা এবং তাদের আউটপুটগুলি সুশৃঙ্খলভাবে মূল্যায়ন করা গুরুত্বপূর্ণ হয়ে ওঠে।

শেখার লক্ষ্য

এই পাঠ শেষ করার পরে, আপনি কীভাবে/কি বুঝবেন:

• এজেন্ট পর্যবেক্ষণযোগ্যতা এবং মূল্যায়নের মূল ধারণা
• এজেন্টের কর্মক্ষমতা, খরচ এবং কার্যকারিতা উন্নত করার কৌশল
• কী এবং কীভাবে আপনার AI এজেন্ট সুশৃঙ্খলভাবে মূল্যায়ন করবেন
• প্রোডাকশনে AI এজেন্ট মোতায়েন করার সময় কীভাবে খরচ নিয়ন্ত্রণ করবেন
• মাইক্রোসফট এজেন্ট ফ্রেমওয়ার্ক দিয়ে তৈরি এজেন্টগুলিকে কীভাবে ইনস্ট্রুমেন্ট করবেন

লক্ষ্য হল আপনাকে এমন জ্ঞান দিয়ে সজ্জিত করা যাতে আপনার “ব্ল্যাক বাক্স” এজেন্টগুলিকে স্বচ্ছ, পরিচালনাযোগ্য এবং নির্ভরযোগ্য সিস্টেমে রূপান্তর করা যায়।

দ্রষ্টব্য: নিরাপদ এবং বিশ্বাসযোগ্য AI এজেন্ট মোতায়েন করা গুরুত্বপূর্ণ। বিল্ডিং ট্রাস্টওয়ার্ড AI এজেন্ট পাঠটিও দেখুন।

ট্রেস এবং স্প্যান

পর্যবেক্ষণযোগ্যতা টুল যেমন Langfuse বা Microsoft Foundry সাধারণত এজেন্ট রানগুলিকে ট্রেস এবং স্প্যানে উপস্থাপন করে।

• ট্রেস সম্পূর্ণ এজেন্ট টাস্ককে শুরু থেকে শেষ পর্যন্ত উপস্থাপন করে (যেমন একটি ব্যবহারকারী অনুসন্ধান পরিচালনা করা)।
• স্প্যান ট্রেসের ভিতরকার পৃথক ধাপ (যেমন একটি ভাষা মডেল কল করা বা ডেটা উদ্ধার করা)।

পর্যবেক্ষণযোগ্যতা ছাড়া, একটি AI এজেন্ট “ব্ল্যাক বাক্স” এর মতো মনে হতে পারে - এর অভ্যন্তরীণ অবস্থা এবং যুক্তি অস্পষ্ট, যার ফলে সমস্যা নির্ণয় বা কর্মক্ষমতা অপ্টিমাইজ করা কঠিন হয়। পর্যবেক্ষণযোগ্যতার সঙ্গে, এজেন্ট “গ্লাস বাক্স” হয়ে ওঠে, যা স্বচ্ছতা প্রদান করে, যা বিশ্বাস গড়ে তোলা এবং তারা যে উদ্দেশ্য অনুযায়ী কাজ করছে তা নিশ্চিত করার জন্য অপরিহার্য।

প্রোডাকশন পরিবেশে পর্যবেক্ষণযোগ্যতা কেন গুরুত্বপূর্ণ

AI এজেন্ট প্রোডাকশন পরিবেশে স্থানান্তর করলে নতুন চ্যালেঞ্জ এবং প্রয়োজনীয়তা আসে। পর্যবেক্ষণযোগ্যতা এখন আর একটি “ভাল থাকার উপকরণ” নয়, বরং একটি গুরুত্বপূর্ণ ক্ষমতা:

• ডিবাগিং এবং মূল কারণ বিশ্লেষণ: যখন একটি এজেন্ট ব্যর্থ হয় বা অনাপেক্ষিত আউটপুট দেয়, পর্যবেক্ষণযোগ্যতা টুলগুলি ত্রুটির উৎস নির্ধারণ করার জন্য প্রয়োজনীয় ট্রেস সরবরাহ করে। এটি বিশেষভাবে জটিল এজেন্টগুলির ক্ষেত্রে গুরুত্বপূর্ণ, যেখানে একাধিক LLM কল, টুল ইন্টারঅ্যাকশন এবং শর্তসাপেক্ষ যুক্তি থাকতে পারে।
• বিলম্ব এবং খরচ পরিচালনা: AI এজেন্টগুলি প্রায়শই LLM এবং অন্যান্য বহিঃস্থ API-র উপর নির্ভর করে যা প্রতিটি টোকেন বা কলের জন্য বিল দেয়। পর্যবেক্ষণযোগ্যতা এই কলগুলি সঠিকভাবে ট্র্যাক করতে দেয়, অতিরিক্ত ধীর বা ব্যয়বহুল অপারেশনগুলি সনাক্ত করতে সাহায্য করে। এটি দলগুলোকে প্রম্পট অপ্টিমাইজ করতে, আরও কার্যকর মডেল নির্বাচন করতে বা ওয়ার্কফ্লো পুনরায় ডিজাইন করতে সক্ষম করে যা অপারেশনাল খরচ নিয়ন্ত্রণ করে এবং ব্যবহারকারীর অভিজ্ঞতা নিশ্চিত করে।
• বিশ্বাস, নিরাপত্তা এবং সম্মতি: অনেক অ্যাপ্লিকেশনে, নিশ্চিত করা গুরুত্বপূর্ণ যে এজেন্টগুলি নিরাপদ এবং নৈতিক আচরণ করে। পর্যবেক্ষণযোগ্যতা এজেন্ট ক্রিয়া এবং সিদ্ধান্তের একটি অডিট ট্রেল প্রদান করে। এটি প্রম্পট ইনজেকশন, ক্ষতিকর কনটেন্ট উত্পাদন, বা ব্যক্তিগত সনাক্তযোগ্য তথ্য (PII) অপব্যবহারের মতো সমস্যাগুলি সনাক্ত ও প্রশমন করতে ব্যবহৃত হতে পারে। উদাহরণস্বরূপ, আপনি ট্রেসগুলি পর্যালোচনা করতে পারেন বুঝতে কেন একটি এজেন্ট একটি নির্দিষ্ট উত্তর দিয়েছে বা নির্দিষ্ট একটি টুল ব্যবহার করেছে।
• অবিচ্ছিন্ন উন্নয়ন লুপ: পর্যবেক্ষণযোগ্যতা ডেটা পুনরাবৃত্তিমূলক উন্নয়ন প্রক্রিয়ার ভিত্তি। বাস্তবে এজেন্টগুলি কিভাবে কাজ করছে তা মনিটর করে দলগুলি উন্নতির ক্ষেত্র সনাক্ত করতে পারে, মডেল ফাইন-টিউন করার জন্য ডেটা সংগ্রহ করতে পারে এবং পরিবর্তনের প্রভাব যাচাই করতে পারে। এটি একটি ফিডব্যাক লুপ তৈরি করে যেখানে প্রোডাকশন থেকে পাওয়া অন্তর্দৃষ্টি অনলাইন মূল্যায়নের মাধ্যমে অফলাইন পরীক্ষার তথ্য এবং পরিমার্জনকে জানায়, যা ক্রমশ উন্নত এজেন্ট কর্মক্ষমতার দিকে নিয়ে যায়।

প্রধান পরিমাপ যা ট্র্যাক করতে হবে

এজেন্ট আচরণ মনিটর এবং বুঝতে, বিভিন্ন মেট্রিক এবং সংকেত ট্র্যাক করা উচিত। যদিও নির্দিষ্ট মেট্রিকগুলি এজেন্টের উদ্দেশ্যের ওপর নির্ভর করে ভিন্ন হতে পারে, কিছু সর্বজনীনভাবে গুরুত্বপূর্ণ।

এখানে কিছু সবচেয়ে সাধারণ মেট্রিক যেগুলি পর্যবেক্ষণযোগ্যতা টুলগুলি ট্র্যাক করে:

বিলম্ব: এজেন্ট কত দ্রুত প্রতিক্রিয়া দেয়? দীর্ঘ অপেক্ষার সময় ব্যবহারকারীর অভিজ্ঞতায় নেতিবাচক প্রভাব ফেলে। কাজ এবং পৃথক ধাপের বিলম্ব ট্রেসিং করে পরিমাপ করা উচিত। উদাহরণস্বরূপ, যদি একটি এজেন্ট সমস্ত মডেল কলের জন্য ২০ সেকেন্ড সময় নেয়, তবে দ্রুততর মডেল ব্যবহার করে বা মডেল কলগুলি সমান্তরালে চালিয়ে এটি দ্রুততর করা যেতে পারে।

খরচ: প্রতি এজেন্ট রানের খরচ কত? AI এজেন্টগুলি LLM কলগুলির উপর নির্ভর করে যা প্রতি টোকেন বা বিবৃতির ভিত্তিতে বিল দেয় বা বহিঃস্থ API-র ব্যবহার করে। প্রায়ই টুল ব্যবহারে বা একাধিক প্রম্পটে খরচ দ্রুত বাড়তে পারে। উদাহরণস্বরূপ, যদি একটি এজেন্ট পাঁচবার LLM কল করে সামান্য মানের উন্নতির জন্য, আপনাকে মূল্যায়ন করতে হবে এটি খরচ যুক্তিযুক্ত কিনা বা কলের সংখ্যা কমানো যায় কিনা বা সস্তা মডেল ব্যবহার করা যায় কিনা। রিয়েল-টাইম মনিটরিং অপ্রত্যাশিত বৃদ্ধিও শনাক্ত করতে সাহায্য করে (যেমন বাগের কারণে অতিরিক্ত API লুপ)।

অনুরোধ ত্রুটি: কত অনুরোধে এজেন্ট ব্যর্থ হয়েছে? এর মধ্যে API ত্রুটি বা ব্যর্থ টুল কল অন্তর্ভুক্ত থাকতে পারে। আপনার এজেন্টকে প্রোডাকশনে আরও স্থিতিশীল করতে আপনি ফ্যালব্যাক বা পুনরায় চেষ্টা সেটআপ করতে পারেন। উদাহরণস্বরূপ, যদি LLM প্রদানকারী A ডাউন থাকে, তখন আপনি ব্যাকআপ হিসেবে LLM প্রদানকারী B-তে স্যুইচ করেন।

ব্যবহারকারী প্রতিক্রিয়া: সরাসরি ব্যবহারকারী মূল্যায়ন কার্যকর করার মাধ্যমে মূল্যবান অন্তর্দৃষ্টি পাওয়া যায়। এতে স্পষ্ট রেটিং (👍👍/👎👎, ⭐1-5 তারকা) বা পাঠ্য মন্তব্য অন্তর্ভুক্ত থাকতে পারে। ধারাবাহিক নেতিবাচক প্রতিক্রিয়া আপনাকে সতর্ক করবে কারণ এটি একটি ইঙ্গিত যে এজেন্ট প্রত্যাশিতভাবে কাজ করছেনা।

ইমপ্লিসিট ব্যবহারকারী প্রতিক্রিয়া: ব্যবহারকারীর আচরণ স্পষ্ট রেটিং ছাড়াই পরোক্ষ প্রতিক্রিয়া প্রদান করে। এতে তাত্ক্ষণিক প্রশ্ন পুনরায় ফ্রেজ করা, পুনরাবৃত্ত অনুসন্ধান বা পুনরায় চেষ্টা করার বোতাম ক্লিক করা অন্তর্ভুক্ত হতে পারে। উদাহরণস্বরূপ, যদি আপনি দেখতে পান ব্যবহারকারীরা বারবার একই প্রশ্ন জিজ্ঞাসা করছে, তাহলে এটি একটি ইঙ্গিত যে এজেন্ট প্রত্যাশিত কাজ করছেনা।

সঠিকতা: এজেন্ট কত ঘন ঘন সঠিক বা কাঙ্ক্ষিত আউটপুট তৈরি করে? সঠিকতার সংজ্ঞা ভিন্ন হতে পারে (যেমন, সমস্যা সমাধানের সঠিকতা, তথ্য পুনঃপ্রাপ্তি সঠিকতা, ব্যবহারকারী সন্তুষ্টি)। প্রথম ধাপ হল আপনার এজেন্টের জন্য সফলতা কী দেখতে হয় তা সংজ্ঞায়িত করা। আপনি স্বয়ংক্রিয় পরীক্ষা, মূল্যায়ন স্কোর, বা টাস্ক সম্পাদনার লেবেল দ্বারা সঠিকতা ট্র্যাক করতে পারেন। উদাহরণস্বরূপ ট্রেসকে “সফল” বা “ব্যর্থ” হিসাবে চিহ্নিত করা।

স্বয়ংক্রিয় মূল্যায়ন মেট্রিক: আপনি স্বয়ংক্রিয় মূল্যায়নও সেটআপ করতে পারেন। উদাহরণস্বরূপ, আপনি একটি LLM ব্যবহার করে এজেন্টের আউটপুট স্কোর করতে পারেন যেমন এটি সহায়ক, সঠিক অথবা নয়। এছাড়াও বেশ কিছু ওপেন সোর্স লাইব্রেরি রয়েছে যা এজেন্টের বিভিন্ন দিক স্কোর করতে সাহায্য করে। যেমন, RAGAS RAG এজেন্টের জন্য অথবা LLM Guard ক্ষতিকর ভাষা বা প্রম্পট ইনজেকশন সনাক্ত করতে।

বাস্তবে, এই মেট্রিকগুলির একটি সমন্বয় এআই এজেন্টের স্বাস্থ্যের সর্বোত্তম কাভারেজ দেয়। এই অধ্যায়ের উদাহরণ নোটবুক এ আমরা দেখাব কীভাবে এই মেট্রিকগুলি বাস্তব উদাহরণে দেখায়, তবে প্রথমে আমরা শিখব একটি সাধারণ মূল্যায়ন ওয়ার্কফ্লো কীভাবে হয়।

আপনার এজেন্টকে ইনস্ট্রুমেন্ট করুন

ট্রেসিং ডেটা সংগ্রহ করতে, আপনাকে আপনার কোড ইনস্ট্রুমেন্ট করতে হবে। লক্ষ্য হচ্ছে এজেন্ট কোডকে এমনভাবে ইনস্ট্রুমেন্ট করা যাতে তা ট্রেস এবং মেট্রিকস তৈরি করে যা একটি পর্যবেক্ষণযোগ্যতা প্ল্যাটফর্ম দ্বারা ক্যাপচার, প্রক্রিয়াজাত এবং ভিজুয়ালাইজ করা যায়।

OpenTelemetry (OTel): OpenTelemetry LLM পর্যবেক্ষণযোগ্যতার জন্য একটি শিল্প মানদণ্ডে পরিণত হয়েছে। এটি টেলিমেট্রি ডেটা উৎপাদন, সংগ্রহ এবং রপ্তানি করার জন্য API, SDK এবং টুলের একটি সেট প্রদান করে।

অনেক ইনস্ট্রুমেন্টেশন লাইব্রেরি আছে যা বিদ্যমান এজেন্ট ফ্রেমওয়ার্ককে মোড়ানো এবং OpenTelemetry স্প্যান একটি পর্যবেক্ষণযোগ্যতা টুলে রপ্তানি করা সহজ করে। মাইক্রোসফট এজেন্ট ফ্রেমওয়ার্ক OpenTelemetry এর সঙ্গে নেটিভ ইন্টিগ্রেটেড। নীচে একটি MAF এজেন্ট ইনস্ট্রুমেন্ট করার উদাহরণ দেওয়া হলো:

from agent_framework.observability import get_tracer, get_meter

tracer = get_tracer()
meter = get_meter()

with tracer.start_as_current_span("agent_run"):
    # Agent execution is traced automatically
    pass

এই অধ্যায়ের উদাহরণ নোটবুক আপনার MAF এজেন্ট ইনস্ট্রুমেন্ট করার পদ্ধতি দেখাবে।

ম্যানুয়াল স্প্যান তৈরি: যদিও ইনস্ট্রুমেন্টেশন লাইব্রেরি একটি ভাল বেসলাইন প্রদান করে, মাঝে মাঝে আরও বিশেষ বা কাস্টম তথ্যের প্রয়োজন হয়। আপনি ম্যানুয়ালি স্প্যান তৈরি করে কাস্টম অ্যাপ্লিকেশন যুক্তি যোগ করতে পারেন। আরও গুরুত্বপুর্ন হলো, তারা স্বয়ংক্রিয় বা ম্যানুয়ালি তৈরি স্প্যানগুলিকে কাস্টম অ্যাট্রিবিউট (ট্যাগ বা মেটাডেটা নামেও পরিচিত) দ্বারা সমৃদ্ধ করতে পারে। এই অ্যাট্রিবিউটগুলিতে ব্যবসায়িক নির্দিষ্ট ডেটা, মধ্যবর্তী গণনা, বা ডিবাগিং বা বিশ্লেষণের জন্য দরকারী যেকোন প্রসঙ্গ অন্তর্ভুক্ত থাকতে পারে, যেমন user_id, session_id, অথবা model_version।

Langfuse Python SDK দিয়ে ট্রেস এবং স্প্যান ম্যানুয়ালি তৈরি করার উদাহরণ:

from langfuse import get_client
 
langfuse = get_client()
 
span = langfuse.start_span(name="my-span")
 
span.end()

এজেন্ট মূল্যায়ন

পর্যবেক্ষণযোগ্যতা আমাদের মেট্রিক দেয়, কিন্তু মূল্যায়ন হচ্ছে সেই ডেটা বিশ্লেষণ করার প্রক্রিয়া (এবং পরীক্ষা চালানো) যে কীভাবে একটি AI এজেন্ট কর্মক্ষমতা দেখাচ্ছে এবং কীভাবে উন্নত করা যায় তা নির্ণয় করতে। অন্য কথায়, যখন আপনার কাছে সেই ট্রেস এবং মেট্রিক থাকে, কীভাবে এগুলি ব্যবহার করে এজেন্টের বিচার করবেন এবং সিদ্ধান্ত নেবেন?

নিয়মিত মূল্যায়ন গুরুত্বপূর্ণ কারণ AI এজেন্ট সাধারণত নন-ডিটারমিনিস্টিক এবং উন্নয়নশীল (হালনাগাদের মাধ্যমে বা মডেলের আচরণের বিচলন হতে পারে) – মূল্যায়ন ছাড়া, আপনি বুঝতে পারতেন না আপনার “স্মার্ট এজেন্ট” আসলে তার কাজ ভালোভাবে করছে কিনা বা তা পেছনে গেছে কিনা।

AI এজেন্টের জন্য দুটি প্রকার মূল্যায়ন আছে: অনলাইন মূল্যায়ন এবং অফলাইন মূল্যায়ন। উভয়ই মূল্যবান এবং একে অপরকে পরিপূরক করে। আমরা সাধারণত অফলাইন মূল্যায়ন দিয়ে শুরু করি, কারণ এটি যে কোন এজেন্ট মোতায়েনের আগে ন্যূনতম প্রয়োজনীয় ধাপ।

অফলাইন মূল্যায়ন

এতে এজেন্টকে একটি নিয়ন্ত্রিত পরিবেশে মূল্যায়ন করা হয়, সাধারণত টেস্ট ডেটাসেট ব্যবহার করে, লাইভ ব্যবহারকারী অনুসন্ধান নয়। আপনি নির্বাচিত ডেটাসেট ব্যবহার করেন যেখানে আপনি জানেন প্রত্যাশিত আউটপুট বা সঠিক আচরণ কী, এবং তারপর আপনার এজেন্টকে সেগুলিতে চালান।

উদাহরণস্বরূপ, আপনি যদি একটি গণিত শব্দ সমস্যা এজেন্ট তৈরি করেন, তাহলে আপনার কাছে ১০০টি সমস্যা সহ একটি টেস্ট ডেটাসেট থাকতে পারে যার সঠিক উত্তর জানা আছে। অফলাইন মূল্যায়ন সাধারণত উন্নয়নের সময় (এবং CI/CD পাইপলাইনের অংশ হিসেবে) উন্নতি যাচাই বা পশ্চাৎগতি প্রতিরোধ করতে করা হয়। এর সুবিধা হল এটি পুনরাবৃত্তিমূলক এবং আপনার কাছে গ্রাউন্ড ট্রুথ থাকার কারণে পরিষ্কার সঠিকতার মেট্রিক পেতে পারেন। আপনি ব্যবহারকারী অনুসন্ধান অনুকরণ করে এজেন্টের প্রতিক্রিয়া আদর্শ উত্তরের বিপরীতে পরিমাপ করতে পারেন বা উপরের মতো স্বয়ংক্রিয় মেট্রিক ব্যবহার করতে পারেন।

অফলাইন মূল্যায়নের মূল চ্যালেঞ্জ হল নিশ্চিত করা যে আপনার টেস্ট ডেটাসেট ব্যাপক এবং প্রাসঙ্গিক থাকে – এজেন্ট হয়তো একটি নির্দিষ্ট টেস্ট সেটে ভালো ফলাফল দেয় কিন্তু প্রোডাকশনে সম্পূর্ণ ভিন্ন অনুসন্ধানের মুখোমুখি হয়। তাই আপনাকে টেস্ট সেট নতুন ধারালো কেস এবং বাস্তব বিশ্বের উদাহরণ দিয়ে আপডেট রাখতে হবে। একটি ছোট “স্মোক টেস্ট” কেসের সাথে বড় মূল্যায়ন সেট মিশ্রণ উপকারী: দ্রুত পরীক্ষা জন্য ছোট সেট এবং বিস্তৃত কর্মক্ষমতার মেট্রিকের জন্য বড় সেট।

অনলাইন মূল্যায়ন

এটি ইঙ্গিত দেয় যে এজেন্টকে লাইভ, বাস্তব বিশ্ব পরিবেশে মূল্যায়ন করা হয়, অর্থাৎ প্রকৃত ব্যবহারের সময় প্রোডাকশনে। অনলাইন মূল্যায়ন বাস্তব ব্যবহারকারী ইন্টারঅ্যাকশনগুলিতে এজেন্টের কর্মক্ষমতা মনিটর এবং ফলাফলগুলি ধারাবাহিকভাবে বিশ্লেষণ করা।

উদাহরণস্বরূপ, আপনি সাফল্যের হার, ব্যবহারকারীর সন্তুষ্টি স্কোর বা অন্যান্য মেট্রিকগুলিকে লাইভ ট্রাফিকের উপর ট্র্যাক করতে পারেন। অনলাইন মূল্যায়নের সুবিধা হল এটি ল্যাব সেটিংয়ে আপনি যা আল্পনা করেননি তা ক্যাপচার করে – আপনি মডেল বিচলন পর্যবেক্ষণ করতে পারেন (যদি এজেন্টের দক্ষতা ইনপুট প্যাটার্নের পরিবর্তনের সাথে অবনতি পায়) এবং অপ্রত্যাশিত অনুসন্ধান বা পরিস্থিতি ধরা পড়ে যা আপনার টেস্ট ডেটাতে ছিল না। এটি সত্যিকারের চিত্র দেয় যে এজেন্ট কিভাবে বন্য পরিবেশে আচরণ করে।

অনলাইন মূল্যায়ন প্রায়শই ইমপ্লিসিট এবং এক্সপ্লিসিট ব্যবহারকারী প্রতিক্রিয়া সংগ্রহ করে, যেমন আলোচনা করা হয়েছে, এবং সম্ভবত ছায়া টেস্ট বা A/B টেস্ট চালায় (যা একটি নতুন এজেন্ট সংস্করণ পুরাতনটির বিপরীতে চালায়) । চ্যালেঞ্জ হলো লাইভ ইন্টারঅ্যাকশনের জন্য নির্ভরযোগ্য লেবেল বা স্কোর পাওয়া কঠিন – আপনি ব্যবহারকারী প্রতিক্রিয়া বা ডাউনস্ট্রিম মেট্রিকস (যেমন ব্যবহারকারী ফলাফলে ক্লিক করেছে কিনা) নির্ভর করতে পারেন।

দুটোর সংমিশ্রণ

অনলাইন এবং অফলাইন মূল্যায়ন একে অপরকে পরিমার্জন করে; তারা অত্যন্ত পরিপূরক। অনলাইন মনিটরিং থেকে প্রাপ্ত অন্তর্দৃষ্টি (যেমন যেখানে এজেন্ট খারাপ পারফর্ম করছে এমন নতুন ব্যবহারকারী অনুসন্ধানের ধরন) অফলাইন টেস্ট ডেটাসেট উন্নত করতে ব্যবহৃত হয়। বিপরীতে, যারা এজেন্ট অফলাইন টেস্টে ভালো করছে তারা তারপর সমর্থনে প্রোডাকশনে উন্নতভাবে মোতায়েন ও মনিটর করা হয়।

প্রকৃতপক্ষে, অনেক দল একটি লুপ অনুসরণ করে:

অফলাইন মূল্যায়ন -> মোতায়েন -> অনলাইনে মনিটর -> নতুন ব্যর্থতার কেস সংগ্রহ -> অফলাইন ডেটাসেটে যুক্ত করা -> এজেন্ট পরিমার্জন -> পুনরাবৃত্তি।

সাধারণ সমস্যা

AI এজেন্ট প্রোডাকশনে মোতায়েন করার সময়, আপনি বিভিন্ন চ্যালেঞ্জের মুখোমুখি হতে পারেন। এখানে কিছু সাধারণ সমস্যা এবং তাদের সম্ভাব্য সমাধান:

সমস্যা	সম্ভাব্য সমাধান
AI এজেন্ট ধারাবাহিকভাবে কাজ করছে না	- AI এজেন্টকে দেওয়া প্রম্পট পরিমার্জন করুন; উদ্দেশ্য স্থির করুন। - টাস্কগুলি উপটাস্কে ভাগ করে একাধিক এজেন্ট দ্বারা পরিচালনা করার উপায় চিন্তা করুন।
AI এজেন্ট ক্রমাগত লুপে আটকে যাচ্ছে	- নিশ্চিত করুন স্পষ্ট সমাপ্তির শর্তাবলী রয়েছে যাতে এজেন্ট কখন প্রক্রিয়া বন্ধ করবে তা জানে। - যুক্তি এবং পরিকল্পনার জন্য বড় মডেল ব্যবহার করুন যা যুক্তি টাস্কে বিশেষজ্ঞ।
AI এজেন্ট টুল কল সঠিকভাবে কাজ করছে না	- এজেন্ট সিস্টেম থেকে বাহিরে টুলের আউটপুট পরীক্ষা ও যাচাই করুন। - সংজ্ঞায়িত প্যারামিটার, প্রম্পট এবং টুলের নামকরণ পরিমার্জন করুন।
মাল্টি-এজেন্ট সিস্টেম ধারাবাহিকভাবে কাজ করছে না	- প্রতিটি এজেন্টকে দেওয়া প্রম্পট পরিমার্জন করুন যেন তারা একে অপর থেকে পৃথক এবং স্পষ্ট হয়। - কোন এজেন্ট সঠিক তা নির্ধারণ করার জন্য “রাউটিং” বা কন্ট্রোলার এজেন্ট ব্যবহার করে একটি শ্রেণীবদ্ধ সিস্টেম তৈরি করুন।

এই সমস্যাগুলির অনেকগুলি পর্যবেক্ষণযোগ্যতা থাকলে আরও কার্যকরভাবে সনাক্ত করা যায়। পূর্বে আলোচনা করা ট্রেস এবং মেট্রিকগুলি এজেন্টের ওয়ার্কফ্লো কোথায় সমস্যা হচ্ছে তা সঠিকভাবে চিহ্নিত করতে সাহায্য করে, যার ফলে ডিবাগিং এবং অপ্টিমাইজেশন অনেক বেশি দক্ষ হয়।

খরচ পরিচালনা

এখানে কিছু কৌশল রয়েছে যা AI এজেন্ট প্রোডাকশনে মোতায়েন করার খরচ নিয়ন্ত্রণে সাহায্য করে:

ছোট মডেল ব্যবহার: ছোট ভাষার মডেলগুলি (SLMs) নির্দিষ্ট এজেন্টিক ব্যবহারের ক্ষেত্রে ভাল পারফরম্যান্স দিতে পারে এবং খরচ উল্লেখযোগ্যভাবে কমাবে। আগেই উল্লেখ করা হয়েছে, একটি মূল্যায়ন ব্যবস্থা তৈরি করা যা বড় মডেলগুলোর সঙ্গে পারফরম্যান্স নির্ধারণ ও তুলনা করবে, এটি বোঝার সেরা উপায় যে একটি SLM আপনার ব্যবহারের ক্ষেত্রে কতটা ভাল পারফর্ম করবে। সহজ কাজ যেমন ইন্টেন্ট শ্রেণীবিন্যাস বা প্যারামিটার নির্যাসের জন্য SLM ব্যবহার করার কথা বিবেচনা করুন, যখন জটিল যুক্তির জন্য বড় মডেল সংরক্ষণ করুন।

রাউটার মডেল ব্যবহার: একটি অনুরূপ কৌশল হল বিভিন্ন মডেল ও আকার ব্যবহার করা। আপনি জটিলতার ভিত্তিতে রিকোয়েস্ট রাউট করার জন্য একটি LLM/SLM অথবা সার্ভারলেস ফাংশন ব্যবহার করতে পারেন যাতে সেরা ফিট মডেলগুলো পাওয়া যায়। এটি খরচ কমাতে সাহায্য করবে এবং সঠিক কাজগুলোতে পারফরম্যান্স নিশ্চিত করবে। উদাহরণস্বরূপ, সহজ প্রশ্নগুলো ছোট এবং দ্রুত মডেলে রাউট করুন, এবং শুধুমাত্র জটিল যুক্তি কাজের জন্য ব্যয়বহুল বড় মডেল ব্যবহার করুন।

প্রতিক্রিয়া ক্যাশিং: সাধারণ অনুরোধ ও কাজ সনাক্ত করা এবং সেগুলোর প্রতিক্রিয়া আপনার এজেন্টিক সিস্টেমের মাধ্যমে যাওয়ার প্রথমে প্রদান করা একটি ভালো উপায় একই রকম অনুরোধের পরিমাণ হ্রাস করার। আপনি এমনকি একটি প্রবাহ বাস্তবায়ন করতে পারেন যা কিভাবে একটি অনুরোধ আপনার ক্যাশিং করা অনুরোধগুলোর সঙ্গে মিল আছে তা নির্ধারণ করবে আরও প্রাথমিক AI মডেল ব্যবহার করে। এই কৌশলটি প্রায়শই জিজ্ঞাসিত প্রশ্ন বা সাধারণ ওয়ার্কফ্লো জন্য উল্লেখযোগ্যভাবে খরচ কমাতে পারে।

দেখা যাক এটা বাস্তবিকভাবে কিভাবে কাজ করে

এই বিভাগের উদাহরণ নোটবুক এ, আমরা দেখব কিভাবে আমরা পর্যবেক্ষণযোগ্যতা টুল ব্যবহার করে আমাদের এজেন্ট মনিটর ও মূল্যায়ন করতে পারি।

প্রোডাকশনে AI এজেন্ট সম্পর্কে আরও প্রশ্ন আছে?

Microsoft Foundry Discord এ যোগ দিন, অন্যান্য শিক্ষার্থীদের সাথে সাক্ষাৎ করুন, অফিস আওয়ার এ যোগ দিন এবং আপনার AI এজেন্ট সম্পর্কিত প্রশ্নের উত্তর পান।

পূর্ববর্তী পাঠ

Metacognition Design Pattern

পরবর্তী পাঠ

Agentic Protocols

---

অস্বীকৃতি: এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই।

This site is open source. Improve this page.