ai-agents-for-beginners
پیداوار میں AI ایجنٹس: مشاہدہ اور جائزہ
جب AI ایجنٹس تجرباتی نمونوں سے حقیقی دنیا کی ایپلیکیشنز میں منتقل ہوتے ہیں، تو ان کے رویے کو سمجھنے، ان کی کارکردگی کی نگرانی کرنے، اور ان کے نتائج کا منظم جائزہ لینے کی صلاحیت اہم ہو جاتی ہے۔
تعلیمی مقاصد
اس سبق کو مکمل کرنے کے بعد، آپ یہ جانیں گے/سمجھیں گے کہ:
- ایجنٹ مشاہدہ اور جائزہ لینے کے بنیادی تصورات
- ایجنٹس کی کارکردگی، اخراجات، اور مؤثریت کو بہتر بنانے کی تکنیکیں
- اپنے AI ایجنٹس کا منظم جائزہ کیسے اور کیا کرنا ہے
- پیداوار میں AI ایجنٹس کے نفاذ کے دوران اخراجات کو کیسے کنٹرول کیا جائے
- Microsoft Agent Framework کے ساتھ بنائے گئے ایجنٹس کو کیسے انسٹرومنٹ کیا جائے
مقصد یہ ہے کہ آپ کو وہ علم فراہم کیا جائے جس سے آپ اپنے “بلیک باکس” ایجنٹس کو شفاف، قابلِ انتظام، اور قابلِ اعتماد نظاموں میں تبدیل کر سکیں۔
نوٹ: یہ ضروری ہے کہ AI ایجنٹس کو محفوظ اور قابلِ اعتماد طور پر تعینات کیا جائے۔ Building Trustworthy AI Agents سبق بھی دیکھیں۔
ٹریسز اور اسپینز
مشاہداتی ٹولز جیسے Langfuse یا Microsoft Foundry عام طور پر ایجنٹ رنز کو ٹریسز اور اسپینز کے طور پر ظاہر کرتے ہیں۔
- ٹریس ایک مکمل ایجنٹ کام کو شروع سے اختتام تک ظاہر کرتا ہے (جیسے صارف کے سوال کو ہینڈل کرنا)۔
- اسپینز ٹریس کے اندر فردِ قدم ہوتے ہیں (جیسے لینگویج ماڈل کو کال کرنا یا ڈیٹا حاصل کرنا)۔
بغیر مشاہدے کے، AI ایجنٹ ایک “بلیک باکس” محسوس ہو سکتا ہے - اس کی داخلی حالت اور منطق مبہم ہوتی ہے، جس سے مسائل کی تشخیص یا کارکردگی کو بہتر بنانا مشکل ہو جاتا ہے۔ مشاہدہ کے ساتھ، ایجنٹس “گلاس باکس” بن جاتے ہیں، جو شفافیت فراہم کرتے ہیں جو اعتماد قائم کرنے اور یقینی بنانے کے لیے ضروری ہے کہ وہ متوقع طریقے سے کام کر رہے ہیں۔
پیداوار کے ماحول میں مشاہدہ کیوں اہم ہے
AI ایجنٹس کو پیداوار کے ماحول میں منتقل کرنے کے ساتھ نئی چیلنجز اور تقاضے سامنے آتے ہیں۔ مشاہدہ اب صرف “اچھا ہونا” نہیں بلکہ ایک اہم صلاحیت ہے:
- ڈی بگنگ اور روٹ-کاز انیلیسس: جب ایجنٹ ناکام ہو جاتا ہے یا غیر متوقع نتیجہ دیتا ہے، مشاہداتی ٹولز آپ کو غلطی کے ماخذ کو تلاش کرنے کے لیے ضروری ٹریسز فراہم کرتے ہیں۔ یہ خاص طور پر پیچیدہ ایجنٹس میں اہم ہے جو متعدد LLM کالز، ٹول تعاملات، اور مشروط منطق شامل کر سکتے ہیں۔
- لیٹنسی اور لاگت کا انتظام: AI ایجنٹس اکثر LLMs اور دیگر بیرونی APIs پر انحصار کرتے ہیں جو فی ٹوکن یا فی کال بل کرتے ہیں۔ مشاہدہ ان کالز کی درست نگرانی کی اجازت دیتا ہے، جو سست یا مہنگی آپریشنز کی نشاندہی میں مدد دیتا ہے۔ یہ ٹیموں کو پرامپٹس کو بہتر بنانے، زیادہ مؤثر ماڈلز منتخب کرنے، یا ورک فلو کو دوبارہ ڈیزائن کرنے کے قابل بناتا ہے تاکہ آپریشنل اخراجات کو کنٹرول کیا جا سکے اور صارف کا تجربہ بہتر بنایا جا سکے۔
- اعتماد، حفاظت، اور تعمیل: بہت سی ایپلیکیشنز میں یہ یقینی بنانا ضروری ہے کہ ایجنٹس محفوظ اور اخلاقی طور پر کام کریں۔ مشاہدہ ایجنٹ کے اقدامات اور فیصلوں کا آڈٹ ٹریل فراہم کرتا ہے۔ اسے پرامپٹ انجیکشن، نقصان دہ مواد کی تخلیق، یا ذاتی شناختی معلومات (PII) کے غلط استعمال جیسے مسائل کا پتہ لگانے اور ان کا تدارک کرنے کے لیے استعمال کیا جا سکتا ہے۔ مثال کے طور پر، آپ ٹریسز کا جائزہ لے کر سمجھ سکتے ہیں کہ ایجنٹ نے مخصوص جواب کیوں دیا یا مخصوص ٹول کیوں استعمال کیا۔
- مسلسل بہتری کے عمل: مشاہداتی ڈیٹا ایک تکراری ترقیاتی عمل کی بنیاد ہے۔ پیداوار میں ایجنٹس کی کارکردگی کی نگرانی کے ذریعے ٹیمیں بہتری کے مواقع تلاش کر سکتی ہیں، ماڈلز کی فائن ٹیوننگ کے لیے ڈیٹا جمع کر سکتی ہیں، اور تبدیلیوں کے اثرات کی تصدیق کر سکتی ہیں۔ اس سے ایک فیڈبیک لوپ پیدا ہوتا ہے جہاں آن لائن جائزے سے حاصل شدہ پیداوار کے بصیرتیں آف لائن تجربات اور بہتری کی رہنمائی کرتی ہیں، جس کے نتیجے میں ایجنٹ کی کارکردگی بتدریج بہتر ہوتی ہے۔
اہم میٹرکس جو ٹریک کیے جانے چاہئیں
ایجنٹ کے رویے کی نگرانی اور سمجھنے کے لیے، مختلف میٹرکس اور سگنلز کی نگرانی کی جانی چاہیے۔ اگرچہ مخصوص میٹرکس ایجنٹ کے مقصد کے مطابق مختلف ہو سکتے ہیں، چند میٹرکس عالمی اہمیت کے حامل ہیں۔
یہاں کچھ عمومی میٹرکس ہیں جو مشاہداتی ٹولز مانیٹر کرتے ہیں:
لیٹنسی: ایجنٹ کتنی تیزی سے جواب دیتا ہے؟ طویل انتظار صارف کے تجربے کو منفی طور پر متاثر کرتا ہے۔ آپ کو ٹاسکس اور فردِ قدم کے لیے ایجنٹ رنز کو ٹریس کر کے لیٹنسی ناپنی چاہیے۔ مثال کے طور پر، اگر ایک ایجنٹ تمام ماڈل کالز کے لیے 20 سیکنڈ لیتا ہے تو اسے تیز ماڈل استعمال کر کے یا ماڈل کالز کو متوازی چلانے سے تیز کیا جا سکتا ہے۔
اخراجات: ہر ایجنٹ رن پر کتنی لاگت آتی ہے؟ AI ایجنٹس ٹی اوکنز کے حساب سے بل کیے جانے والے LLM کالز یا بیرونی APIs پر انحصار کرتے ہیں۔ بار بار ٹول کا استعمال یا متعدد پرامپٹس لاگت کو تیزی سے بڑھا سکتے ہیں۔ مثال کے طور پر، اگر ایک ایجنٹ معیار میں معمولی بہتری کے لیے پانچ بار LLM کال کرتا ہے، تو آپ کو یہ جانچنا ہوگا کہ کیا لاگت جائز ہے یا کالز کی تعداد کم کر کے یا سستا ماڈل استعمال کر کے اسے کم کیا جا سکتا ہے۔ حقیقی وقت میں نگرانی ناگہانی اضافے (جیسے بگس کی وجہ سے API لوپس) کی نشاندہی میں مددگار ہو سکتی ہے۔
ریکویسٹ ایررز: ایجنٹ نے کتنی درخواستیں ناکام کیں؟ اس میں API ایررز یا ناکام ٹول کالز شامل ہو سکتی ہیں۔ آپ اپنے ایجنٹ کو پیداوار میں ان کے خلاف زیادہ مضبوط بنانے کے لیے فال بیک یا ریٹریز سیٹ کر سکتے ہیں۔ مثلاً اگر LLM فراہم کنندہ A بند ہو جائے تو آپ بیک اپ کے طور پر LLM فراہم کنندہ B پر سوئچ کر سکتے ہیں۔
صارف کی رائے: صارفین کی براہِ راست تشخیصیں قیمتی بصیرت فراہم کرتی ہیں۔ اس میں صریح ریٹنگز (👍تسلیم / 👎رد، ⭐1-5 ستارے) یا متنی تبصرے شامل ہو سکتے ہیں۔ مسلسل منفی رائے آپ کو اس بات کی اطلاع دے گی کہ ایجنٹ اپنی توقعات کے مطابق کام نہیں کر رہا۔
مبہم صارف کی رائے: صارفین کے طرز عمل غیر صریح رائے فراہم کرتے ہیں، چاہے صریح ریٹنگز نہ دی گئی ہوں۔ اس میں فوری سوال کی دوبارہ عبارت، بار بار سوالات، یا دوبارہ کوشش کرنے کا بٹن دبانا شامل ہو سکتا ہے۔ مثال کے طور پر، اگر آپ دیکھیں کہ صارفین بار بار ایک ہی سوال پوچھ رہے ہیں، تو یہ اس بات کی نشانی ہے کہ ایجنٹ توقعات کے مطابق کام نہیں کر رہا۔
درستی: ایجنٹ کتنی بار درست یا مطلوبہ نتائج دیتا ہے؟ درستی کی تعریف مختلف ہو سکتی ہے (مثلاً مسئلہ حل کرنے کی درستگی، معلومات کی بازیافت کی درستی، صارف کی تسلی)۔ پہلا قدم یہ ہے کہ آپ اپنے ایجنٹ کے لیے کامیابی کی تصویر واضح کریں۔ آپ خودکار چیکس، جائزہ اسکورز، یا ٹاسک مکمل ہونے کے لیبلز کے ذریعے درستی کو ٹریک کر سکتے ہیں۔ مثال کے طور پر، ٹریسز کو “کامیاب” یا “ناکام” کے طور پر نشان زد کرنا۔
خودکار جائزہ میٹرکس: آپ خودکار جائزے بھی ترتیب دے سکتے ہیں۔ مثال کے طور پر، آپ LLM استعمال کر کے ایجنٹ کے نتائج کو اسکور کر سکتے ہیں کہ آیا وہ مددگار، درست، یا غیر مددگار ہیں۔ کئی اوپن سورس لائبریریز بھی موجود ہیں جو ایجنٹ کے مختلف پہلوؤں کو اسکور کرنے میں مدد دیتی ہیں، جیسے RAGAS برائے RAG ایجنٹس یا LLM Guard نقصان دہ زبان یا پرامپٹ انجیکشن کا پتہ لگانے کے لیے۔
عملی طور پر، ان میٹرکس کے مجموعے سے AI ایجنٹ کی صحت کا بہترین احاطہ ہوتا ہے۔ اس باب کے مثالی نوٹ بک میں ہم آپ کو دکھائیں گے کہ یہ میٹرکس حقیقی مثالوں میں کیسے نظر آتے ہیں، لیکن پہلے ہم سیکھیں گے کہ ایک عام جائزہ ورک فلو کیسے دکھائی دیتا ہے۔
اپنے ایجنٹ کو انسٹرومنٹ کریں
ٹریسنگ ڈیٹا جمع کرنے کے لیے، آپ کو اپنے کوڈ کو انسٹرومنٹ کرنا ہوگا۔ مقصد ایجنٹ کوڈ کو اس طرح انسٹرومنٹ کرنا ہے کہ وہ ٹریسز اور میٹرکس جاری کرے جو مشاہداتی پلیٹ فارم کے ذریعے پکڑے، پراسیس، اور بصری بنائے جا سکیں۔
اوپن ٹیلی میٹری (OTel): OpenTelemetry LLM مشاہدہ کے لیے انڈسٹری اسٹینڈرڈ کے طور پر ابھرا ہے۔ یہ ٹیلی میٹری ڈیٹا بنانے، جمع کرنے، اور برآمد کرنے کے لیے APIs، SDKs، اور ٹولز کا ایک سیٹ فراہم کرتا ہے۔
کئی انسٹرومنٹیشن لائبریریز موجود ہیں جو موجودہ ایجنٹ فریم ورکس کو لپیٹتی ہیں اور OpenTelemetry اسپینز کو مشاہداتی ٹول میں برآمد کرنا آسان بناتی ہیں۔ Microsoft Agent Framework OpenTelemetry کے ساتھ قواعدی طور پر مربوط ہوتا ہے۔ ذیل میں MAF ایجنٹ کو انسٹرومنٹ کرنے کی مثال ہے:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# ایجنٹ کے عمل کو خودکار طور پر ٹریس کیا جاتا ہے
pass
اس باب میں مثالی نوٹ بک دکھائے گا کہ آپ اپنے MAF ایجنٹ کو کیسے انسٹرومنٹ کر سکتے ہیں۔
دستی اسپین تخلیق: جبکہ انسٹرومنٹیشن لائبریریز ایک اچھا بنیادی معیار فراہم کرتی ہیں، ایسے مواقع بھی آتے ہیں جب زیادہ تفصیلی یا حسبِ ضرورت معلومات کی ضرورت ہوتی ہے۔ آپ دستی طور پر اسپینز بنا سکتے ہیں تاکہ حسبِ ضرورت ایپلیکیشن لاجک شامل کی جا سکے۔ اس سے بھی اہم بات یہ ہے کہ وہ خودکار یا دستی طور پر بنائے گئے اسپینز کو حسبِ ضرورت خصوصیات (جنہیں ٹیگز یا میٹا ڈیٹا بھی کہتے ہیں) کے ساتھ مالا مال کر سکتے ہیں۔ ان خصوصیات میں کاروباری مخصوص ڈیٹا، درمیانی حسابات، یا کوئی بھی سیاق و سباق شامل ہو سکتا ہے جو ڈی بگنگ یا تجزیہ کے لیے مفید ہو، جیسے user_id، session_id، یا model_version۔
Langfuse Python SDK کے ساتھ ٹریسز اور اسپینز کو دستی طور پر بنانے کی مثال:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
ایجنٹ جائزہ
مشاہدہ ہمیں میٹرکس فراہم کرتا ہے، لیکن جائزہ وہ عمل ہے جس میں اس ڈیٹا کا تجزیہ کیا جاتا ہے (اور ٹیسٹ کیے جاتے ہیں) تاکہ طے کیا جا سکے کہ AI ایجنٹ کتنی اچھی کارکردگی دکھا رہا ہے اور اسے کیسے بہتر بنایا جا سکتا ہے۔ دوسرے الفاظ میں، ایک بار جب آپ کے پاس وہ ٹریسز اور میٹرکس ہوں، تو آپ انہیں ایجنٹ کو پرکھنے اور فیصلے کرنے کے لیے کیسے استعمال کرتے ہیں؟
باقاعدہ جائزہ ضروری ہے کیونکہ AI ایجنٹس اکثر غیر متعین ہوتے ہیں اور اپڈیٹس یا ماڈل رویے کی تبدیلی کے ذریعے ترقی کر سکتے ہیں — بغیر جائزے کے، آپ نہیں جان پائیں گے کہ آپ کا “سمارٹ ایجنٹ” واقعی اپنا کام اچھی طرح کر رہا ہے یا اس کی کارکردگی کم ہو گئی ہے۔
AI ایجنٹس کے جائزے کی دو اقسام ہوتی ہیں: آن لائن جائزہ اور آف لائن جائزہ۔ دونوں قیمتی ہیں اور ایک دوسرے کی تکمیل کرتے ہیں۔ ہم عام طور پر آف لائن جائزہ سے شروع کرتے ہیں، کیونکہ یہ کسی بھی ایجنٹ کو تعینات کرنے سے پہلے کم از کم ضروری قدم ہے۔
آف لائن جائزہ
اس میں ایجنٹ کا جائزہ ایک کنٹرولڈ ماحول میں لیا جاتا ہے، عام طور پر ٹیسٹ ڈیٹاسیٹس استعمال کرتے ہوئے، نہ کہ لائیو صارف کے سوالات کے ذریعے۔ آپ ایسے منتخب شدہ ڈیٹاسیٹس استعمال کرتے ہیں جہاں آپ جانتے ہیں کہ متوقع نتیجہ یا درست رویہ کیا ہے، اور پھر اپنے ایجنٹ کو ان پر چلائیں۔
مثال کے طور پر، اگر آپ نے ایک ریاضی کے لفظی مسائل کا ایجنٹ بنایا ہے، تو آپ کے پاس اندر موجود جوابات کے ساتھ 100 مسائل کا ٹیسٹ ڈیٹاسیٹ ہو سکتا ہے۔ آف لائن جائزہ اکثر ترقیاتی دور میں کیا جاتا ہے (اور CI/CD پائپ لائنز کا حصہ ہو سکتا ہے) تاکہ بہتری کی جانچ کی جا سکے یا ریگریشنز سے بچا جا سکے۔ فائدہ یہ ہے کہ یہ دہرایا جا سکتا ہے اور چونکہ آپ کے پاس حقیقت موجود ہے، آپ کو واضح درستی میٹرکس ملتے ہیں۔ آپ صارف کے سوالات کی نقل کر کے ایجنٹ کے جوابات کا جائزہ لے سکتے ہیں یا خودکار میٹرکس استعمال کر سکتے ہیں جیسا کہ اوپر بیان کیا گیا۔
آف لائن جائزے کا کلیدی چیلنج یہ ہے کہ آپ کا ٹیسٹ ڈیٹاسیٹ مکمل اور متعلقہ رہے – ایجنٹ کسی مقررہ ٹیسٹ سیٹ پر اچھا کام کر سکتا ہے لیکن پیداوار میں بہت مختلف سوالات کا سامنا کر سکتا ہے۔ لہٰذا، آپ کو ٹیسٹ سیٹس کو نئے ایج کیسز اور حقیقی دنیا کے منظرنامے ظاہر کرنے والے مثالوں کے ساتھ اپ ڈیٹ رکھنا چاہیے۔ چھوٹے “سموک ٹیسٹ” کیسز اور بڑے جائزہ سیٹس کا مرکب مفید ہے: چھوٹے سیٹس فوری چیکس کے لیے اور بڑے میٹرکس کے لیے۔
آن لائن جائزہ
اس سے مراد ہے کہ ایجنٹ کا جائزہ لائیو، حقیقی دنیا کے ماحول میں لیا جائے، یعنی پیداوار میں حقیقی استعمال کے دوران۔ آن لائن جائزہ میں حقیقی صارف تعاملات پر ایجنٹ کی کارکردگی کی نگرانی اور نتائج کا مسلسل تجزیہ شامل ہے۔
مثال کے طور پر، آپ کامیابی کی شرحیں، صارف کی تسلی کے اسکورز، یا دیگر میٹرکس لائیو ٹریفک پر ٹریک کر سکتے ہیں۔ آن لائن جائزے کا فائدہ یہ ہے کہ یہ لیبارٹری ماحول میں پیش آنے والے غیر متوقع عوامل کو بھی پکڑتا ہے – آپ وقت کے ساتھ ماڈل ڈرفٹ دیکھ سکتے ہیں (اگر ایجنٹ کی مؤثریت ان پٹ پیٹرنز کے بدلنے کے ساتھ کم ہو جاتی ہے) اور ان سوالات یا حالات کو بھی پکڑ سکتا ہے جو آپ کے ٹیسٹ ڈیٹا میں نہیں تھے۔ یہ دکھاتا ہے کہ ایجنٹ حقیقت میں کیسا برتاؤ کرتا ہے۔
آن لائن جائزے میں اکثر غیر صریح اور صریح صارف کی رائے جمع کرنا، جیسا کہ بات ہوئی، شامل ہوتا ہے اور ممکنہ طور پر شیڈو ٹیسٹس یا A/B ٹیسٹس چلانا (جہاں ایجنٹ کا نیا ورژن پرانے کے ساتھ موازنہ کے لیے متوازی چلتا ہے) بھی شامل ہے۔ چیلنج یہ ہے کہ لائیو تعاملات کے لیے قابلِ اعتماد لیبلز یا اسکورز حاصل کرنا مشکل ہو سکتا ہے – آپ صارف کی رائے یا نیچے کے میٹرکس (جیسے صارف نے نتیجہ پر کلک کیا یا نہیں) پر انحصار کر سکتے ہیں۔
دونوں کا امتزاج
آن لائن اور آف لائن جائزے ایک دوسرے کے متضاد نہیں ہیں؛ وہ ایک دوسرے کی تکمیل کرتے ہیں۔ آن لائن مانیٹرنگ سے حاصل شدہ بصیرتیں (جیسے نئے قسم کے صارف سوالات جہاں ایجنٹ کی کارکردگی خراب ہو) آف لائن ٹیسٹ ڈیٹاسیٹس کو بہتر بنانے کے لیے استعمال کی جا سکتی ہیں۔ اس کے برعکس، آف لائن ٹیسٹ میں اچھا کارکردگی دکھانے والے ایجنٹس کو پھر زیادہ اعتماد کے ساتھ تعینات اور آن لائن مانیٹر کیا جا سکتا ہے۔
حقیقت میں، بہت سی ٹیمیں ایک لوپ اختیار کرتی ہیں:
آف لائن جائزہ -> تعینات کرنا -> آن لائن نگرانی -> نئی ناکامیوں کے کیسز جمع کرنا -> آف لائن ڈیٹاسیٹ میں شامل کرنا -> ایجنٹ کو بہتر بنانا -> دہرائیں۔
عام مسائل
جب آپ AI ایجنٹس کو پیداوار میں تعینات کرتے ہیں، آپ مختلف چیلنجز کا سامنا کر سکتے ہیں۔ یہاں کچھ عام مسائل اور ان کے ممکنہ حل دیے گئے ہیں:
| مسئلہ | ممکنہ حل |
|---|---|
| AI ایجنٹ مسلسل کام نہیں کر رہا | - AI ایجنٹ کو دیا گیا پرامپٹ بہتر بنائیں؛ مقاصد واضح کریں۔ - دیکھیں کہ کام کو ذیلی کاموں میں تقسیم کرنا اور متعدد ایجنٹس کے ذریعے سنبھالنا کہاں مددگار ہو سکتا ہے۔ |
| AI ایجنٹ لگاتار لوپس میں پھنس رہا ہے | - یقینی بنائیں کہ آپ کے پاس واضح اختتامی شرائط اور ضوابط ہوں تاکہ ایجنٹ جان سکے کہ عمل کب روکنا ہے۔ - پیچیدہ کاموں کے لیے جو استدلال اور منصوبہ بندی کی ضرورت ہو، بڑے ماڈل استعمال کریں جو استدلال کے کاموں کے لیے خاص ہو۔ |
| AI ایجنٹ کے ٹول کالز درست کام نہیں کر رہے | - ایجنٹ کے نظام سے باہر ٹول کی آوٹ پٹ کی جانچ اور تصدیق کریں۔ - متعین شدہ پیرا میٹرز، پرامپٹس، اور ٹولز کے ناموں کو بہتر بنائیں۔ |
| ملٹی ایجنٹ سسٹم مستقل نہیں چل رہا | - ہر ایجنٹ کو دیا گیا پرامپٹ بہتر کریں تاکہ وہ مخصوص اور ایک دوسرے سے منفرد ہوں۔ - ایک “روٹنگ” یا کنٹرولر ایجنٹ کے ساتھ ہائیرارکل سسٹم بنائیں جو فیصلہ کرے کہ کون سا ایجنٹ درست ہے۔ |
ان میں سے کئی مسائل کو مشاہدہ کی موجودگی میں زیادہ مؤثر طریقے سے شناخت کیا جا سکتا ہے۔ ہم نے جو ٹریسز اور میٹرکس پہلے بات کی، وہ بالکل دکھاتے ہیں کہ ایجنٹ ورک فلو میں کہاں مسائل آ رہے ہیں، جس سے ڈی بگنگ اور آپٹیمائزیشن بہت مؤثر ہو جاتی ہے۔
اخراجات کا انتظام
یہاں کچھ حکمت عملیاں دی گئی ہیں تاکہ AI ایجنٹس کو پروڈکشن میں تعینات کرنے کی لاگتوں کا انتظام کیا جا سکے:
چھوٹے ماڈلز کا استعمال: چھوٹے زبان کے ماڈلز (SLMs) مخصوص ایجنٹک استعمال کے معاملات پر اچھی کارکردگی دکھا سکتے ہیں اور لاگتوں میں قابلِ ذکر کمی کریں گے۔ جیسا کہ پہلے ذکر کیا گیا ہے، ایک تشخیصی نظام بنانا جو کارکردگی کی موازنہ کرے بڑے ماڈلز کے مقابلے میں بہترین طریقہ ہے یہ سمجھنے کے لیے کہ ایک SLM آپ کے استعمال کے معاملے میں کتنا اچھا کارکردگی دکھائے گا۔ آسان کاموں جیسے ارادے کی درجہ بندی یا پیرامیٹر نکالنے کے لیے SLMs استعمال کرنے پر غور کریں، جبکہ پیچیدہ استدلال کے لیے بڑے ماڈلز کو مخصوص رکھیں۔
روٹر ماڈل کا استعمال: ایک مشابہ حکمت عملی مختلف ماڈلز اور سائزز کا استعمال کرنا ہے۔ آپ پیچیدگی کی بنیاد پر درخواستوں کو بہترین ماڈلز تک پہنچانے کے لیے LLM/SLM یا سرورلیس فنکشن استعمال کر سکتے ہیں۔ یہ لاگتوں کو کم کرنے میں مدد کرے گا جبکہ درست کاموں پر کارکردگی کو یقینی بھی بنائے گا۔ مثال کے طور پر، آسان سوالات کو چھوٹے، تیز ماڈلز کی طرف بھیجیں، اور صرف مہنگے بڑے ماڈلز کو پیچیدہ استدلالی کاموں کے لیے استعمال کریں۔
جوابات کو کیش کرنا: عام درخواستوں اور کاموں کی نشاندہی کرنا اور ان کے جوابات کو آپ کے ایجنٹک نظام سے گزرنے سے پہلے فراہم کرنا مماثل درخواستوں کی مقدار کو کم کرنے کا ایک اچھا طریقہ ہے۔ آپ ایک ایسا فلو بھی نافذ کر سکتے ہیں جو آپ کی کیشڈ درخواستوں سے درخواست کی مماثلت کی پیمائش کرے، اس کے لیے زیادہ بنیادی AI ماڈلز کا استعمال کریں۔ یہ حکمت عملی اکثر پوچھے جانے والے سوالات یا عام کاموں کے لیے لاگتوں میں نمایاں کمی کر سکتی ہے۔
عملی طور پر یہ کیسے کام کرتا ہے چلیں دیکھتے ہیں
اس سیکشن کا نمونہ نوٹ بک میں، ہم دیکھیں گے کہ ہم اپنے ایجنٹ کی نگرانی اور تشخیص کے لیے آبزروریبلیٹی ٹولز کیسے استعمال کر سکتے ہیں۔
پروڈکشن میں AI ایجنٹس کے بارے میں مزید سوالات ہیں؟
Microsoft Foundry Discord میں شامل ہوں تاکہ دوسرے سیکھنے والوں سے ملیں، آفس اوقات میں شرکت کریں اور اپنے AI ایجنٹس کے سوالات کے جواب حاصل کریں۔
پچھلا سبق
اگلا سبق
ڈس کلیمر: یہ دستاویز AI ترجمہ سروس Co-op Translator کے ذریعے ترجمہ کی گئی ہے۔ جبکہ ہم درستگی کے لیے کوشاں ہیں، براہ کرم اس بات سے آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستیاں ہو سکتی ہیں۔ اصل دستاویز اپنے مادری زبان میں مستند ماخذ سمجھی جائے گی۔ حساس معلومات کے لیے پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کی ذمہ داری ہم قبول نہیں کرتے۔