ai-agents-for-beginners
وكلاء الذكاء الاصطناعي في الإنتاج: الرصد والتقييم
مع انتقال وكلاء الذكاء الاصطناعي من النماذج التجريبية إلى التطبيقات العملية، تصبح القدرة على فهم سلوكهم، ورصد أدائهم، وتقييم مخرجاتهم بشكل منهجي أمرًا مهمًا.
أهداف التعلم
بعد إكمال هذا الدرس، ستعرف كيف / تفهم:
- المفاهيم الأساسية لرصد وتقييم الوكلاء
- تقنيات لتحسين أداء الوكلاء وتكاليفهم وفعاليتهم
- ما الذي يجب تقييمه وكيفية تقييم وكلاء الذكاء الاصطناعي بشكل منهجي
- كيفية التحكم في التكاليف عند نشر وكلاء الذكاء الاصطناعي في بيئة الإنتاج
- كيفية قياس الوكلاء المبنيين باستخدام إطار عمل Microsoft Agent
الهدف هو تزويدك بالمعرفة لتحويل وكلائك “صندوق أسود” إلى أنظمة شفافة، قابلة للإدارة، وموثوقة.
ملاحظة: من المهم نشر وكلاء ذكاء اصطناعي آمنين وموثوقين. اطلع أيضًا على درس بناء وكلاء ذكاء اصطناعي موثوقين.
التتبعات والفواصل الزمنية
أدوات الرصد مثل Langfuse أو Microsoft Foundry عادةً ما تمثل تشغيل الوكلاء كتتبعات وفواصل زمنية.
- التتبع يمثل مهمة وكيل كاملة من البداية إلى النهاية (مثل معالجة استعلام المستخدم).
- الفواصل الزمنية هي خطوات منفردة داخل التتبع (مثل استدعاء نموذج اللغة أو استرجاع البيانات).
بدون الرصد، قد يشعر وكيل الذكاء الاصطناعي كـ “صندوق أسود” - حيث الحالة الداخلية والتفكير غير شفافة، مما يصعب تشخيص المشاكل أو تحسين الأداء. مع الرصد، يصبح الوكلاء “صناديق زجاجية”، يقدمون شفافية حيوية لبناء الثقة وضمان عملهم كما هو مقصود.
لماذا الرصد مهم في بيئات الإنتاج
نقل الوكلاء إلى بيئات الإنتاج يطرح مجموعة جديدة من التحديات والمتطلبات. لم يعد الرصد “ميزة مرغوبة” بل أصبح قدرة حاسمة:
- تصحيح الأخطاء وتحليل السبب الجذري: عندما يتعطل الوكيل أو ينتج مخرجات غير متوقعة، توفر أدوات الرصد التتبعات اللازمة لتحديد مصدر الخطأ. هذا مهم جدًا في الوكلاء المعقدين الذين قد يتضمنون استدعاءات متعددة للنماذج اللغوية، وتفاعلات مع الأدوات، ومنطقًا شرطيًا.
- إدارة التأخير والتكاليف: يعتمد الوكلاء غالبًا على نماذج لغوية كبيرة (LLMs) وواجهات برمجة تطبيقات خارجية تُحاسب على كل رمز أو استدعاء. يسمح الرصد بتتبع هذه الاستدعاءات بدقة، مما يساعد على تحديد العمليات البطيئة أو المكلفة بشكل مفرط. هذا يمكّن الفرق من تحسين المحفزات، اختيار نماذج أكثر كفاءة، أو إعادة تصميم سير العمل لإدارة تكاليف التشغيل وضمان تجربة مستخدم مناسبة.
- الثقة والسلامة والامتثال: في العديد من التطبيقات، من المهم ضمان أن يتصرف الوكلاء بأمان وأخلاقية. يوفر الرصد مسار مراجعة لأفعال وقرارات الوكيل. يمكن استخدام ذلك لاكتشاف ومعالجة مشاكل مثل حقن المحفزات، توليد محتوى ضار، أو سوء التعامل مع المعلومات الشخصية الحساسة (PII). على سبيل المثال، يمكنك مراجعة التتبعات لفهم سبب تقديم الوكيل رد معين أو استخدام أداة محددة.
- حلقات التحسين المستمر: بيانات الرصد هي أساس عملية تطوير تكرارية. من خلال مراقبة أداء الوكلاء في الواقع، يمكن للفرق تحديد مناطق للتحسين، جمع بيانات لضبط النماذج، والتحقق من تأثير التغييرات. هذا يخلق دورة تغذية راجعة حيث تستفيد التجارب على الإنترنت من الرصد لإثراء التجارب المختبرية وتحسين الأداء تدريجيًا.
مؤشرات رئيسية يجب مراقبتها
لمراقبة وفهم سلوك الوكيل، يجب متابعة مجموعة من المقاييس والإشارات. رغم أن المقاييس قد تختلف حسب غرض الوكيل، إلا أن بعضًا منها عالمي الأهمية.
فيما يلي بعض من أكثر المقاييس شيوعًا التي تراقبها أدوات الرصد:
التأخير: ما مدى سرعة استجابة الوكيل؟ أوقات الانتظار الطويلة تؤثر سلبًا على تجربة المستخدم. يجب قياس التأخير للمهام والخطوات الفردية عبر تتبع تشغيل الوكيل. على سبيل المثال، وكيل يستغرق 20 ثانية لجميع استدعاءات النموذج يمكن تسريعه باستخدام نموذج أسرع أو تشغيل الاستدعاءات بالتوازي.
التكاليف: ما تكلفة تشغيل الوكيل؟ يعتمد الوكلاء على استدعاءات نماذج لغوية كبيرة تُحاسب بناءً على الرموز أو استدعاءات واجهات برمجة التطبيقات الخارجية. الاستخدام المتكرر للأدوات أو المحفزات المتعددة يمكن أن يزيد التكاليف بسرعة. مثلاً، إذا استدعى الوكيل نموذجًا خمس مرات للحصول على تحسين هامشي، يجب تقييم ما إذا كانت التكاليف مبررة أم يمكن تقليل عدد الاستدعاءات أو استخدام نموذج أرخص. يمكن للرصد في الوقت الحقيقي أيضًا اكتشاف ارتفاعات مفاجئة (مثل أخطاء تسبب حلقات API مفرطة).
أخطاء الطلبات: كم عدد الطلبات التي فشل فيها الوكيل؟ قد تشمل أخطاء في API أو فشل استدعاءات الأدوات. لجعل وكيلك أكثر قوة ضد هذه المشاكل في الإنتاج، يمكنك إعداد آليات بديلة أو إعادة المحاولة. مثلاً، إذا كان مزود LLM أ معطلًا، يمكنك التبديل إلى مزود ب كنسخة احتياطية.
تعليقات المستخدم: تنفيذ تقييمات مباشرة من المستخدم توفر رؤى قيمة. يمكن أن تشمل تقييمات صريحة (👍إعجاب/👎عدم رضا، ⭐1-5 نجوم) أو تعليقات نصية. يجب أن ينبهك تقييم سلبي مستمر حيث يدل على أن الوكيل لا يعمل كما هو متوقع.
تعليقات المستخدم الضمنية: سلوك المستخدم يوفر تعليقات غير مباشرة حتى بدون تقييمات صريحة. يمكن أن تشمل إعادة صياغة السؤال مباشرة، تكرار الاستعلامات، أو النقر على زر إعادة المحاولة. مثلاً، إذا رأيت أن المستخدمين يكررون نفس السؤال، فهذا علامة أن الوكيل لا يعمل كما هو متوقع.
الدقة: كم مرة ينتج الوكيل مخرجات صحيحة أو مرغوبة؟ تعريفات الدقة تختلف (مثل صحة حل المشكلات، دقة استرجاع المعلومات، رضا المستخدم). الخطوة الأولى هي تعريف ما يعني النجاح لوكيلك. يمكنك تتبع الدقة عبر الفحوصات الآلية، درجات التقييم، أو علامات إكمال المهام. على سبيل المثال، علامة التتبعات بأنها “ناجحة” أو “فاشلة”.
مؤشرات التقييم الآلي: يمكنك أيضًا إعداد تقييمات آلية. مثلاً، يمكنك استخدام نموذج لغوي كبير لتقييم مخرجات الوكيل مثل كونها مفيدة، دقيقة، أو غير ذلك. هناك عدة مكتبات مفتوحة المصدر تساعد على تقييم جوانب مختلفة من الوكيل، مثل RAGAS لوكلاء RAG أو LLM Guard للكشف عن اللغة الضارة أو حقن المحفزات.
عمليًا، مزيج من هذه المؤشرات يعطي أفضل تغطية لحالة وكيل الذكاء الاصطناعي. في دفتر الأمثلة في هذا الفصل، سنعرض كيف تبدو هذه المؤشرات في أمثلة حقيقية، لكن أولاً سنتعلم كيف يبدو سير عمل التقييم النموذجي.
قياس وكيلك
لجمع بيانات التتبع، ستحتاج إلى إضافة أدوات قياس في الكود الخاص بك. الهدف هو تعديل كود الوكيل لإصدار تتبعات ومقاييس يمكن التقاطها، معالجتها، وعرضها عبر منصة رصد.
OpenTelemetry (OTel): أصبح OpenTelemetry معيار الصناعة لرصد نماذج اللغة الكبيرة. يوفر مجموعة من واجهات برمجة التطبيقات، أدوات التطوير، وأدوات لتوليد وجمع وتصدير بيانات الاتصالات.
هناك العديد من مكتبات القياس التي تغلف أطر العمل الحالية لوكلاء الذكاء الاصطناعي وتتيح تصدير فواصل OpenTelemetry بسهولة إلى أداة الرصد. يدمج إطار Microsoft Agent Framework مع OpenTelemetry بشكل أصلي. أدناه مثال على قياس وكيل MAF:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# يتم تتبع تنفيذ الوكيل تلقائيًا
pass
يوضح دفتر الأمثلة في هذا الفصل كيفية قياس وكيل MAF الخاص بك.
إنشاء الفواصل يدويًا: بينما توفر مكتبات القياس أساسًا جيدًا، هناك حالات غالبًا ما تحتاج لمعلومات أكثر تفصيلاً أو مخصصة. يمكنك إنشاء فواصل يدويًا لإضافة منطق تطبيق مخصص. والأهم، يمكنهم إثراء الفواصل التي تُنشأ تلقائيًا أو يدويًا بسمات مخصصة (تُعرف أيضًا بالتاجات أو بيانات التعريف). قد تتضمن هذه السمات بيانات خاصة بالأعمال، حسابات وسيطة، أو أي سياق قد يفيد في التصحيح أو التحليل، مثل user_id، session_id، أو model_version.
مثال على إنشاء تتبعات وفواصل يدويًا باستخدام Langfuse Python SDK:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
تقييم الوكيل
يوفر الرصد مؤشرات، لكن التقييم هو عملية تحليل تلك البيانات (وأداء اختبارات) لتحديد مدى أداء وكيل الذكاء الاصطناعي وكيف يمكن تحسينه. بمعنى آخر، بعد أن تحصل على تلك التتبعات والمؤشرات، كيف تستخدمها لحكم على الوكيل واتخاذ القرارات؟
التقييم المنتظم مهم لأن وكلاء الذكاء الاصطناعي غالبًا ما يكونون غير حتميِّين ويمكن أن يتطوروا (من خلال التحديثات أو تغير سلوك النموذج) – وبدون تقييم، لن تعرف إذا كان “الوكيل الذكي” يقوم بعمله جيدًا فعلاً أو إذا كان قد تراجع.
هناك فئتان من التقييمات لوكلاء الذكاء الاصطناعي: التقييم عبر الإنترنت والتقييم دون اتصال. كلاهما ذو قيمة، ويكملان بعضهما البعض. عادة ما نبدأ بالتقييم دون اتصال، لأنه أقل حد ضروري قبل نشر أي وكيل.
التقييم دون اتصال
يشمل تقييم الوكيل في بيئة مضبوطة، عادةً باستخدام مجموعات بيانات اختبار، وليس استفسارات المستخدم الحية. تستخدم مجموعات بيانات مختارة حيث تعرف ما هو المخرجات المتوقعة أو التصرف الصحيح، ثم تشغل وكيلك عليها.
على سبيل المثال، إذا بنيت وكيل لحل مسائل رياضية كلامية، قد يكون لديك مجموعة اختبار مكونة من 100 مسألة مع إجابات معروفة. غالبًا ما يتم التقييم دون اتصال أثناء التطوير (ويمكن أن يكون جزءًا من خطوط تجميع CI/CD) لفحص التحسينات أو الحماية من التراجع. الميزة هي أنه قابل للتكرار ويمكنك الحصول على مقاييس دقة واضحة لأن لديك الحقيقة الأرضية. قد تحاكي أيضًا استعلامات المستخدم وتقيس ردود الوكيل مقابل الإجابات المثالية أو تستخدم مؤشرات آلية كما ذُكر أعلاه.
التحدي الأساسي مع التقييم دون اتصال هو ضمان أن مجموعة بيانات الاختبار شاملة وتظل ذات صلة – قد يكون أداء الوكيل جيدًا على مجموعة الاختبار الثابتة لكنه يواجه استفسارات مختلفة في الإنتاج. لذلك، يجب تحديث مجموعات الاختبار بأمثلة جديدة تعكس السيناريوهات الواقعية. مزيج من حالات “اختبار السحب” الصغيرة ومجموعات تقييم أكبر مفيد: مجموعات صغيرة للفحوصات السريعة وأخرى أكبر للمقاييس الأوسع للأداء.
التقييم عبر الإنترنت
يشير إلى تقييم الوكيل في بيئة حية، أي أثناء الاستخدام الفعلي في الإنتاج. يتضمن مراقبة أداء الوكيل على تفاعلات المستخدم الحقيقية وتحليل النتائج باستمرار.
على سبيل المثال، قد تتتبع معدلات النجاح، درجات رضا المستخدم، أو مقاييس أخرى على حركة المرور الحية. ميزة التقييم عبر الإنترنت هي أنه يلتقط أمورًا قد لا تتوقعها في بيئة المختبر – يمكن ملاحظة انحراف النموذج مع الوقت (إذا تدهورت فعالية الوكيل مع تغير أنماط الإدخال) ورصد الاستفسارات أو الحالات غير المتوقعة التي لم تكن موجودة في بيانات الاختبار. يوفر صورة حقيقية عن كيفية تصرف الوكيل في الواقع.
غالبًا ما يشمل التقييم عبر الإنترنت جمع تعليقات المستخدمين الصريحة والضمنية، كما ناقشنا، وربما إجراء اختبارات ظل أو اختبارات A/B (حيث يعمل إصدار جديد من الوكيل موازٍ للمقارنة مع الإصدار القديم). التحدي هو صعوبة الحصول على تسميات أو درجات موثوقة لتفاعلات المستخدم الحية – قد تعتمد على تعليقات المستخدمين أو المقاييس النهائية (مثل هل نقر المستخدم على النتيجة).
الجمع بين النوعين
التقييمات عبر الإنترنت ودونها ليست متنافية؛ بل هي مكملة للغاية. يمكن استخدام الرؤى من المراقبة الحية (مثل أنواع جديدة من استفسارات المستخدم التي يقصر فيها الوكيل) لتعزيز وتحسين مجموعات بيانات الاختبار دون الاتصال. وبالعكس، الوكلاء الذين يؤدون جيدًا في الاختبارات دون الاتصال يمكن نشرهم ومراقبتهم بثقة أكبر عبر الإنترنت.
في الواقع، العديد من الفرق تعتمد حلقة:
تقييم دون اتصال → نشر → مراقبة عبر الإنترنت → جمع حالات فشل جديدة → إضافتها إلى مجموعة البيانات دون اتصال → تحسين الوكيل → تكرار.
مشكلات شائعة
أثناء نشر وكلاء الذكاء الاصطناعي في الإنتاج، قد تواجه تحديات مختلفة. إليك بعض المشكلات الشائعة وحلولها المحتملة:
| المشكلة | الحل المحتمل |
|---|---|
| الوكيل لا ينفذ المهام باستقلالية وثبات | - تحسين المحفز الموجه للوكيل؛ كن واضحًا بشأن الأهداف. - حدد الأماكن التي يمكن فيها تقسيم المهام إلى مهام فرعية وتعامل معها بواسطة وكلاء متعددين. |
| الوكيل يدخل في حلقات مستمرة | - تأكد من وجود شروط إنهاء واضحة حتى يعلم الوكيل متى يتوقف. - للمهام المعقدة التي تتطلب تفكيرًا وتخطيطًا، استخدم نموذجًا أكبر ومتخصصًا لمهام التفكير. |
| استدعاءات أدوات الوكيل لا تعمل بشكل جيد | - اختبر وحقق من نتائج الأداة خارج نظام الوكيل. - حسن المعايير المحددة، المحفزات، وتسميات الأدوات. |
| نظام الوكلاء المتعددين لا يؤدّي بثبات | - حسن المحفزات الموجهة لكل وكيل لضمان أنها محددة ومتميزة. - ابني نظامًا هرميًا باستخدام وكيل “التوجيه” أو المتحكم لتحديد الوكيل الصحيح. |
يمكن تحديد العديد من هذه المشكلات بشكل أكثر فعالية عند وجود الرصد. التتبعات والمؤشرات التي ناقشناها تساعد على تحديد مكان المشاكل بالضبط في سير عمل الوكيل، مما يجعل تصحيح الأخطاء والتحسين أكثر كفاءة.
إدارة التكاليف
فيما يلي بعض الاستراتيجيات لإدارة تكاليف نشر وكلاء الذكاء الاصطناعي في الإنتاج:
استخدام نماذج أصغر: يمكن لنماذج اللغة الصغيرة (SLMs) أن تؤدي أداءً جيدًا في بعض الحالات التي يتطلب فيها الوكيل مهام معينة، وستقلل بشكل كبير من التكاليف. كما ذُكر سابقًا، فإن بناء نظام تقييم لتحديد الأداء ومقارنته مقابل النماذج الأكبر هو أفضل طريقة لفهم مدى أداء نموذج صغير (SLM) في حالتك. فكر في استخدام SLM للمهام الأبسط مثل تصنيف النوايا أو استخراج المعلمات، مع تخصيص النماذج الأكبر للمهام المعقدة التي تتطلب تفكيرًا عميقًا.
استخدام نموذج توجيه: استراتيجية مماثلة هي استخدام تنوع من النماذج والأحجام. يمكنك استخدام نموذج LLM/SLM أو دالة بدون خادم لتوجيه الطلبات بناءً على التعقيد إلى النماذج الأنسب. هذا سيساعد أيضًا في تقليل التكاليف مع ضمان الأداء في المهام الصحيحة. على سبيل المثال، قم بتوجيه الاستفسارات البسيطة إلى نماذج أصغر وأسرع، واستخدم النماذج الكبيرة المكلفة فقط لمهام التفكير المعقدة.
تخزين الردود مؤقتًا (الكاش): تحديد الطلبات والمهام الشائعة وتقديم الردود قبل أن تمر عبر نظام الوكيل الخاص بك هو وسيلة جيدة لتقليل حجم الطلبات المتشابهة. يمكنك أيضًا تنفيذ تدفق لتحديد مدى تشابه الطلب مع الطلبات المخزنة مؤقتًا باستخدام نماذج ذكاء اصطناعي أبسط. يمكن أن تقلل هذه الاستراتيجية التكاليف بشكل كبير للأسئلة المتكررة أو سير العمل الشائع.
لنرى كيف يعمل هذا عمليًا
في دفتر الملاحظات النموذجي لهذا القسم، سنرى أمثلة على كيفية استخدام أدوات الرصد والتقييم لوكيلنا.
هل لديك المزيد من الأسئلة عن وكلاء الذكاء الاصطناعي في الإنتاج؟
انضم إلى Microsoft Foundry Discord للقاء المتعلمين الآخرين، وحضور ساعات العمل، والحصول على إجابات لأسئلتك حول وكلاء الذكاء الاصطناعي.
الدرس السابق
الدرس التالي
تنويه: تمت ترجمة هذا المستند باستخدام خدمة الترجمة بالذكاء الاصطناعي Co-op Translator. بينما نسعى للدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الرسمي والمعتمد. للمعلومات الهامة، يُنصح بالاستعانة بترجمة بشرية محترفة. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة.