ai-agents-for-beginners

Πράκτορες AI στην Παραγωγή: Παρατηρησιμότητα & Αξιολόγηση

Καθώς οι πράκτορες AI μεταβαίνουν από πειραματικά πρωτότυπα σε εφαρμογές πραγματικού κόσμου, η ικανότητα κατανόησης της συμπεριφοράς τους, παρακολούθησης της απόδοσής τους και συστηματικής αξιολόγησης των αποτελεσμάτων τους γίνεται σημαντική.

Στόχοι Μάθησης

Μετά την ολοκλήρωση αυτού του μαθήματος, θα γνωρίζετε/κατανοείτε:

• Βασικές έννοιες παρατηρησιμότητας και αξιολόγησης πρακτόρων
• Τεχνικές για τη βελτίωση της απόδοσης, κόστους και αποτελεσματικότητας των πρακτόρων
• Τι και πώς να αξιολογείτε τους πράκτορες AI σας συστηματικά
• Πώς να ελέγχετε το κόστος κατά την ανάρτηση πρακτόρων AI στην παραγωγή
• Πώς να καταγράφετε πράκτορες που έχουν κατασκευαστεί με το Microsoft Agent Framework

Ο στόχος είναι να σας εξοπλίσουμε με τη γνώση για να μετατρέψετε τους «μαύρους κουτιού» πράκτορές σας σε διαφανή, διαχειρίσιμα και αξιόπιστα συστήματα.

Σημείωση: Είναι σημαντικό να αναπτύσσετε Πράκτορες AI που είναι ασφαλείς και αξιόπιστοι. Δείτε επίσης το μάθημα Κατασκευή Αξιόπιστων Πρακτόρων AI.

Ιχνηλασίες και Διαστήματα

Τα εργαλεία παρατηρησιμότητας όπως το Langfuse ή το Microsoft Foundry συνήθως αναπαριστούν τις εκτελέσεις πρακτόρων ως ιχνηλασίες και διαστήματα.

• Ιχνηλασία αναπαριστά μια πλήρη εργασία πράκτορα από την αρχή έως το τέλος (όπως η επεξεργασία ενός αιτήματος χρήστη).
• Διαστήματα είναι μεμονωμένα βήματα εντός της ιχνηλασίας (όπως μια κλήση σε γλωσσικό μοντέλο ή ανάκτηση δεδομένων).

Χωρίς παρατηρησιμότητα, ένας πράκτορας AI μπορεί να μοιάζει σαν «μαύρο κουτί» - η εσωτερική του κατάσταση και η λογική είναι αδιαφανείς, καθιστώντας δύσκολη τη διάγνωση προβλημάτων ή τη βελτιστοποίηση της απόδοσης. Με την παρατηρησιμότητα, οι πράκτορες γίνονται «γυάλινα κουτιά», παρέχοντας τη διαφάνεια που είναι ζωτικής σημασίας για την οικοδόμηση εμπιστοσύνης και τη διασφάλιση ότι λειτουργούν όπως προβλέπεται.

Γιατί η Παρατηρησιμότητα Είναι Σημαντική σε Παραγωγικά Περιβάλλοντα

Η μετάβαση των πρακτόρων AI σε παραγωγικά περιβάλλοντα εισάγει ένα νέο σύνολο προκλήσεων και απαιτήσεων. Η παρατηρησιμότητα δεν είναι πια «καλό να υπάρχει» αλλά μια κρίσιμη ικανότητα:

• Ανάλυση Σφαλμάτων και Αιτιών: Όταν ένας πράκτορας αποτυγχάνει ή παράγει απροσδόκητα αποτελέσματα, τα εργαλεία παρατηρησιμότητας παρέχουν τις ιχνηλασίες που απαιτούνται για τον εντοπισμό της πηγής του σφάλματος. Αυτό είναι ιδιαίτερα σημαντικό σε σύνθετους πράκτορες που μπορεί να περιλαμβάνουν πολλαπλές κλήσεις LLM, αλληλεπιδράσεις με εργαλεία και συνθήκες λογικής.
• Διαχείριση Καθυστέρησης και Κόστους: Οι πράκτορες AI συχνά βασίζονται σε LLMs και άλλες εξωτερικές API που τιμολογούνται ανά τοκέν ή ανά κλήση. Η παρατηρησιμότητα επιτρέπει την ακριβή παρακολούθηση αυτών των κλήσεων, βοηθώντας στον εντοπισμό λειτουργιών που είναι υπερβολικά αργές ή ακριβές. Αυτό επιτρέπει στις ομάδες να βελτιστοποιήσουν τα prompts, να επιλέξουν πιο αποδοτικά μοντέλα, ή να επανασχεδιάσουν ροές εργασίας για να ελέγξουν το λειτουργικό κόστος και να εξασφαλίσουν μια καλή εμπειρία χρήστη.
• Εμπιστοσύνη, Ασφάλεια και Συμμόρφωση: Σε πολλές εφαρμογές, είναι σημαντικό να διασφαλίζεται ότι οι πράκτορες συμπεριφέρονται με ασφάλεια και ηθικό τρόπο. Η παρατηρησιμότητα παρέχει ένα ιστορικό ελέγχου των ενεργειών και αποφάσεων του πράκτορα. Αυτό μπορεί να χρησιμοποιηθεί για τον εντοπισμό και την αντιμετώπιση προβλημάτων όπως η έγχυση prompts, η παραγωγή επιβλαβούς περιεχομένου ή η κακή διαχείριση προσωπικών δεδομένων (PII). Για παράδειγμα, μπορείτε να ελέγξετε ιχνηλασίες για να καταλάβετε γιατί ένας πράκτορας παρείχε μια συγκεκριμένη απάντηση ή χρησιμοποίησε ένα συγκεκριμένο εργαλείο.
• Βρόχοι Συνεχούς Βελτίωσης: Τα δεδομένα παρατηρησιμότητας είναι το θεμέλιο μιας επαναληπτικής διαδικασίας ανάπτυξης. Παρακολουθώντας πώς αποδίδουν οι πράκτορες στον πραγματικό κόσμο, οι ομάδες μπορούν να εντοπίσουν περιοχές προς βελτίωση, να συγκεντρώσουν δεδομένα για λεπτομερή προσαρμογή μοντέλων και να επικυρώσουν τις επιπτώσεις των αλλαγών. Αυτό δημιουργεί ένα βρόχο ανατροφοδότησης όπου οι γνώμες από την παραγωγή και την online αξιολόγηση ενημερώνουν την offline πειραματική διαδικασία και τη βελτίωση, οδηγώντας σε σταδιακά καλύτερη απόδοση του πράκτορα.

Βασικά Μετρικά που Πρέπει να Παρακολουθείτε

Για να παρακολουθήσετε και να κατανοήσετε τη συμπεριφορά του πράκτορα, πρέπει να παρακολουθείτε μια σειρά μετρικών και σημάτων. Αν και οι συγκεκριμένες μετρικές μπορεί να διαφέρουν ανάλογα με το σκοπό του πράκτορα, ορισμένες είναι οικουμενικά σημαντικές.

Εδώ είναι ορισμένες από τις πιο κοινές μετρικές που παρακολουθούν τα εργαλεία παρατηρησιμότητας:

Καθυστέρηση: Πόσο γρήγορα ανταποκρίνεται ο πράκτορας; Οι μεγάλες αναμονές επηρεάζουν αρνητικά την εμπειρία χρήστη. Πρέπει να μετράτε την καθυστέρηση για εργασίες και μεμονωμένα βήματα, ιχνηλατώντας τις εκτελέσεις του πράκτορα. Για παράδειγμα, ένας πράκτορας που χρειάζεται 20 δευτερόλεπτα για όλες τις κλήσεις μοντέλου μπορεί να επιταχυνθεί με χρήση ταχύτερου μοντέλου ή εκτέλεση των κλήσεων παράλληλα.

Κόστη: Ποιο είναι το κόστος ανά εκτέλεση πράκτορα; Οι πράκτορες AI βασίζονται σε κλήσεις LLM που τιμολογούνται ανά τοκέν ή εξωτερικές API. Η συχνή χρήση εργαλείων ή πολλαπλά prompts μπορούν να αυξήσουν γρήγορα το κόστος. Για παράδειγμα, αν ένας πράκτορας καλεί ένα LLM πέντε φορές για οριακή βελτίωση ποιότητας, πρέπει να αξιολογήσετε αν το κόστος δικαιολογείται ή αν μπορείτε να μειώσετε τον αριθμό των κλήσεων ή να χρησιμοποιήσετε φθηνότερο μοντέλο. Η παρακολούθηση σε πραγματικό χρόνο μπορεί επίσης να βοηθήσει στον εντοπισμό απρόσμενων αιχμών (π.χ. σφάλματα που προκαλούν υπερβολικούς βρόγχους API).

Σφάλματα Αιτήσεων: Πόσες αιτήσεις απέτυχε ο πράκτορας; Αυτό μπορεί να περιλαμβάνει σφάλματα API ή αποτυχημένες κλήσεις εργαλείων. Για να κάνετε τον πράκτορά σας πιο ανθεκτικό σε αυτά στην παραγωγή, μπορείτε να ρυθμίσετε εφεδρικές λύσεις ή επαναλήψεις. Π.χ. αν ο πάροχος LLM Α πέσει, να μεταβείτε στον πάροχο LLM Β ως εφεδρεία.

Ανατροφοδότηση Χρηστών: Η υλοποίηση απευθείας αξιολογήσεων χρηστών παρέχει χρήσιμες πληροφορίες. Αυτό μπορεί να περιλαμβάνει ρητές βαθμολογίες (👍like/👎dislike, ⭐1-5 αστέρια) ή γραπτά σχόλια. Η συνεπής αρνητική ανατροφοδότηση πρέπει να σας ειδοποιεί καθώς αυτό δείχνει ότι ο πράκτορας δεν λειτουργεί όπως αναμένεται.

Συμπεριφορική Ανατροφοδότηση Χρηστών: Οι συμπεριφορές χρηστών παρέχουν έμμεση ανατροφοδότηση ακόμη και χωρίς ρητές βαθμολογίες. Αυτό μπορεί να περιλαμβάνει άμεση αναδιατύπωση ερωτήσεων, επαναλαμβανόμενες ερωτήσεις ή κλικ σε κουμπί επανάληψης. Π.χ. αν βλέπετε ότι οι χρήστες ρωτούν ξανά και ξανά την ίδια ερώτηση, αυτό είναι σημάδι ότι ο πράκτορας δεν λειτουργεί όπως αναμένεται.

Ακρίβεια: Πόσο συχνά ο πράκτορας παράγει σωστά ή επιθυμητά αποτελέσματα; Οι ορισμοί ακρίβειας διαφέρουν (π.χ. ορθότητα επίλυσης προβλημάτων, ακρίβεια ανάκτησης πληροφοριών, ικανοποίηση χρήστη). Το πρώτο βήμα είναι να ορίσετε τι σημαίνει επιτυχία για τον πράκτορά σας. Μπορείτε να παρακολουθείτε την ακρίβεια μέσω αυτόματων ελέγχων, βαθμολογιών αξιολόγησης ή ετικετών ολοκλήρωσης εργασιών. Για παράδειγμα, μαρκάροντας ιχνηλασίες ως «επιτυχείς» ή «αποτυχημένες».

Αυτοματοποιημένα Μετρικά Αξιολόγησης: Μπορείτε επίσης να υλοποιήσετε αυτοματοποιημένες αξιολογήσεις. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε ένα LLM για να βαθμολογήσει την έξοδο του πράκτορα π.χ. αν είναι χρήσιμη, ακριβής ή όχι. Υπάρχουν επίσης πολλές βιβλιοθήκες ανοιχτού κώδικα που βοηθούν στην αξιολόγηση διαφόρων πτυχών του πράκτορα. Π.χ. RAGAS για πράκτορες RAG ή LLM Guard για την ανίχνευση επιβλαβούς γλώσσας ή έγχυσης prompts.

Στην πράξη, ο συνδυασμός αυτών των μετρικών προσφέρει την καλύτερη κάλυψη της υγείας ενός πράκτορα AI. Στο παραδειγματικό σημειωματάριο αυτού του κεφαλαίου, θα σας δείξουμε πώς εμφανίζονται αυτές οι μετρικές σε πραγματικά παραδείγματα, αλλά πρώτα, θα μάθουμε πώς μοιάζει μια τυπική ροή εργασίας αξιολόγησης.

Καταγράψτε τον Πράκτορά σας

Για συλλογή δεδομένων ιχνηλασίας, θα χρειαστεί να καταγράψετε τον κώδικά σας. Ο στόχος είναι να ενσωματωθεί η καταγραφή στον κώδικα του πράκτορα ώστε να εκπέμπονται ιχνηλασίες και μετρικά που μπορούν να συλληφθούν, να επεξεργαστούν και να απεικονιστούν από μια πλατφόρμα παρατηρησιμότητας.

OpenTelemetry (OTel): Το OpenTelemetry έχει αναδειχθεί ως βιομηχανικό πρότυπο για την παρατηρησιμότητα LLM. Παρέχει ένα σύνολο APIs, SDKs και εργαλείων για τη δημιουργία, συλλογή και εξαγωγή τηλεμετρικών δεδομένων.

Υπάρχουν πολλές βιβλιοθήκες καταγραφής που τυλίγουν υπάρχοντα πλαίσια πρακτόρων και διευκολύνουν την εξαγωγή διαστημάτων OpenTelemetry σε εργαλείο παρατηρησιμότητας. Το Microsoft Agent Framework ενσωματώνεται εγγενώς με το OpenTelemetry. Παρακάτω ένα παράδειγμα καταγραφής πράκτορα MAF:

from agent_framework.observability import get_tracer, get_meter

tracer = get_tracer()
meter = get_meter()

with tracer.start_as_current_span("agent_run"):
    # Η εκτέλεση του πράκτορα παρακολουθείται αυτόματα
    pass

Το παραδειγματικό σημειωματάριο αυτού του κεφαλαίου θα σας δείξει πώς να καταγράψετε τον πράκτορά σας MAF.

Χειροκίνητη Δημιουργία Διαστημάτων: Ενώ οι βιβλιοθήκες καταγραφής δίνουν μια καλή βάση, υπάρχουν περιπτώσεις όπου χρειάζονται πιο λεπτομερείς ή εξατομικευμένες πληροφορίες. Μπορείτε χειροκίνητα να δημιουργήσετε διαστήματα για να προσθέσετε εξατομικευμένη λογική εφαρμογής. Πιο σημαντικό, μπορούν να εμπλουτίσουν τα αυτόματα ή χειροκίνητα δημιουργημένα διαστήματα με προσαρμοσμένα χαρακτηριστικά (γνωστά και ως tags ή μεταδεδομένα). Αυτά τα χαρακτηριστικά μπορεί να περιλαμβάνουν επιχειρηματικά δεδομένα, ενδιάμεσους υπολογισμούς ή οποιοδήποτε πλαίσιο χρήσιμο για εντοπισμό σφαλμάτων ή ανάλυση, όπως user_id, session_id ή model_version.

Παράδειγμα δημιουργίας ιχνηλασιών και διαστημάτων χειροκίνητα με το Langfuse Python SDK:

from langfuse import get_client
 
langfuse = get_client()
 
span = langfuse.start_span(name="my-span")
 
span.end()

Αξιολόγηση Πράκτορα

Η παρατηρησιμότητα μας δίνει μετρικά, αλλά η αξιολόγηση είναι η διαδικασία ανάλυσης αυτών των δεδομένων (και εκτέλεσης δοκιμών) για να καθορίσουμε πόσο καλά αποδίδει ένας πράκτορας AI και πώς μπορεί να βελτιωθεί. Με άλλα λόγια, μόλις έχετε αυτές τις ιχνηλασίες και τα μετρικά, πώς τα χρησιμοποιείτε για να κρίνετε τον πράκτορα και να πάρετε αποφάσεις;

Η τακτική αξιολόγηση είναι σημαντική επειδή οι πράκτορες AI συχνά δεν είναι ντετερμινιστικοί και μπορούν να εξελιχθούν (μέσω ενημερώσεων ή μετατοπίσεων στη συμπεριφορά του μοντέλου) – χωρίς αξιολόγηση, δε θα ξέρατε αν ο «έξυπνος πράκτοράς» σας κάνει πραγματικά τη δουλειά του καλά ή αν υποβαθμίστηκε.

Υπάρχουν δύο κατηγορίες αξιολογήσεων για τους πράκτορες AI: online αξιολόγηση και offline αξιολόγηση. Και οι δύο είναι πολύτιμες και αλληλοσυμπληρώνονται. Συνήθως ξεκινάμε με offline αξιολόγηση, καθώς αυτό είναι το ελάχιστο αναγκαίο βήμα πριν την ανάπτυξη οποιουδήποτε πράκτορα.

Offline Αξιολόγηση

Αυτή περιλαμβάνει την αξιολόγηση του πράκτορα σε ελεγχόμενο περιβάλλον, συνήθως με χρήση δοκιμαστικών συνόλων δεδομένων, όχι ζωντανών αιτημάτων χρηστών. Χρησιμοποιείτε επιμελημένα σύνολα δεδομένων όπου γνωρίζετε ποιο είναι το αναμενόμενο αποτέλεσμα ή η ορθή συμπεριφορά, και στη συνέχεια τρέχετε τον πράκτορα σε αυτά.

Για παράδειγμα, αν έχετε κατασκευάσει έναν πράκτορα που λύνει μαθηματικά προβλήματα τύπου κειμένου, μπορεί να έχετε ένα δοκιμαστικό σύνολο δεδομένων με 100 προβλήματα και γνωστές απαντήσεις. Η offline αξιολόγηση γίνεται συχνά κατά την ανάπτυξη (και μπορεί να είναι μέρος διαδικασιών CI/CD) για να ελέγξετε βελτιώσεις ή να προστατευτείτε από υποβαθμίσεις. Το όφελος είναι ότι είναι επαναλήψιμη και μπορείτε να έχετε σαφή μετρικά ακρίβειας επειδή έχετε την αληθινή απάντηση. Μπορείτε επίσης να προσομοιώσετε ερωτήματα χρηστών και να μετρήσετε τις απαντήσεις του πράκτορα σε σχέση με τις ιδανικές ή να χρησιμοποιήσετε αυτοματοποιημένα μετρικά όπως περιγράφτηκε παραπάνω.

Η βασική πρόκληση της offline αξιολόγησης είναι να διασφαλίσετε ότι το δοκιμαστικό σύνολο δεδομένων είναι πλήρες και παραμένει σχετικό – ο πράκτορας μπορεί να αποδίδει καλά σε ένα σταθερό σύνολο αλλά να αντιμετωπίζει πολύ διαφορετικά ερωτήματα στην παραγωγή. Επομένως, πρέπει να διατηρείτε τα σύνολα δοκιμών ενημερωμένα με νέες ακραίες περιπτώσεις και παραδείγματα που αντανακλούν πραγματικά σενάρια. Ένα μείγμα μικρών “δοκιμών καπνού” και μεγαλύτερων συνόλων αξιολόγησης είναι χρήσιμο: μικρά για γρήγορους ελέγχους και μεγαλύτερα για ευρύτερα μετρικά απόδοσης.

Online Αξιολόγηση

Αναφέρεται στην αξιολόγηση του πράκτορα σε ζωντανό, πραγματικό περιβάλλον, δηλαδή κατά τη χρήση στην παραγωγή. Η online αξιολόγηση περιλαμβάνει την παρακολούθηση της απόδοσης του πράκτορα σε πραγματικές αλληλεπιδράσεις χρήστη και την ανάλυση των αποτελεσμάτων συνεχώς.

Για παράδειγμα, μπορεί να παρακολουθείτε ποσοστά επιτυχίας, βαθμολογίες ικανοποίησης χρηστών ή άλλα μετρικά στην ζωντανή κίνηση. Το πλεονέκτημα της online αξιολόγησης είναι ότι καταγράφει πράγματα που μπορεί να μην προβλέψετε στο εργαστήριο – μπορείτε να παρατηρήσετε μετατόπιση του μοντέλου με την πάροδο του χρόνου (αν η αποτελεσματικότητα του πράκτορα υποβαθμίζεται καθώς αλλάζουν τα μοτίβα εισόδου) και να εντοπίσετε απροσδόκητα ερωτήματα ή καταστάσεις που δεν υπήρχαν στα δοκιμαστικά δεδομένα. Παρέχει μια αληθινή εικόνα για το πώς συμπεριφέρεται ο πράκτορας στο πεδίο.

Η online αξιολόγηση συχνά περιλαμβάνει συλλογή έμμεσης και ρητής ανατροφοδότησης χρηστών, όπως αναφέρθηκε, και ενδεχομένως την εκτέλεση shadow tests ή A/B tests (όπου μια νέα έκδοση του πράκτορα τρέχει παράλληλα με την παλιά για σύγκριση). Η πρόκληση είναι ότι μπορεί να είναι δύσκολο να ληφθούν αξιόπιστες ετικέτες ή βαθμολογίες για ζωντανές αλληλεπιδράσεις – μπορεί να βασίζεστε στην ανατροφοδότηση χρηστών ή σε παράγωγα μετρικά (π.χ. αν ο χρήστης έκανε κλικ στο αποτέλεσμα).

Συνδυασμός των δύο

Οι online και offline αξιολογήσεις δεν είναι αμοιβαία αποκλειόμενες· είναι ιδιαίτερα συμπληρωματικές. Οι πληροφορίες από την online παρακολούθηση (π.χ. νέα είδη ερωτημάτων χρηστών όπου ο πράκτορας αποδίδει άσχημα) μπορούν να χρησιμοποιηθούν για να εμπλουτίσουν και να βελτιώσουν τα offline δοκιμαστικά σύνολα δεδομένων. Αντίθετα, οι πράκτορες που αποδίδουν καλά στις offline δοκιμές μπορούν να αναπτυχθούν και να παρακολουθούνται online με μεγαλύτερη εμπιστοσύνη.

Στην πραγματικότητα, πολλές ομάδες υιοθετούν έναν βρόχο:

αξιολόγηση offline -> ανάπτυξη -> παρακολούθηση online -> συλλογή νέων περιπτώσεων αποτυχίας -> προσθήκη στο offline σύνολο -> βελτίωση πράκτορα -> επανάληψη.

Συνήθη Προβλήματα

Καθώς αναπτύσσετε πράκτορες AI στην παραγωγή, μπορεί να συναντήσετε διάφορες προκλήσεις. Εδώ είναι μερικά κοινά προβλήματα και οι πιθανές λύσεις τους:

Πρόβλημα	Πιθανή Λύση
Ο πράκτορας AI δεν εκτελεί εργασίες με συνέπεια	- Βελτιώστε το prompt που δίνεται στον πράκτορα AI· να είστε σαφείς στους στόχους. - Αναγνωρίστε πού ο διαχωρισμός των εργασιών σε υποεργασίες και η ανάθεσή τους σε πολλαπλούς πράκτορες μπορεί να βοηθήσει.
Ο πράκτορας AI μπαίνει σε αέναους βρόγχους	- Διασφαλίστε ότι έχετε σαφείς όρους και συνθήκες τερματισμού ώστε ο πράκτορας να ξέρει πότε να σταματήσει τη διαδικασία. - Για σύνθετες εργασίες που απαιτούν λογική και σχεδιασμό, χρησιμοποιήστε μεγαλύτερο μοντέλο ειδικευμένο σε έργα λογικής.
Οι κλήσεις εργαλείων του πράκτορα AI δεν αποδίδουν καλά	- Δοκιμάστε και επικυρώστε τα αποτελέσματα των εργαλείων εκτός του συστήματος πράκτορα. - Βελτιώστε τους ορισμένους παραμέτρους, prompts και την ονομασία των εργαλείων.
Το σύστημα με πολλούς πράκτορες δεν αποδίδει με συνέπεια	- Βελτιώστε τα prompts που δίνονται σε κάθε πράκτορα ώστε να είναι συγκεκριμένα και διακριτά μεταξύ τους. - Δημιουργήστε ιεραρχικό σύστημα με έναν πράκτορα “δρομολόγησης” ή ελεγκτή για να καθορίζει ποιος πράκτορας είναι ο σωστός.

Πολλά από αυτά τα προβλήματα μπορούν να αναγνωριστούν πιο αποτελεσματικά με την ύπαρξη παρατηρησιμότητας. Οι ιχνηλασίες και τα μετρικά που συζητήσαμε νωρίτερα βοηθούν στον ακριβή εντοπισμό των προβλημάτων στο ροή εργασίας του πράκτορα, καθιστώντας τον εντοπισμό σφαλμάτων και τη βελτιστοποίηση πολύ πιο αποδοτικά.

Διαχείριση Κόστους

Ακολουθούν μερικές στρατηγικές για τη διαχείριση του κόστους της ανάπτυξης πρακτόρων AI στην παραγωγή:

Χρήση Μικρότερων Μοντέλων: Τα Μικρά Γλωσσικά Μοντέλα (SLMs) μπορούν να αποδώσουν καλά σε ορισμένες περιπτώσεις χρήσης πρακτόρων και θα μειώσουν σημαντικά το κόστος. Όπως αναφέρθηκε νωρίτερα, η δημιουργία ενός συστήματος αξιολόγησης για τον προσδιορισμό και τη σύγκριση της απόδοσης έναντι μεγαλύτερων μοντέλων είναι ο καλύτερος τρόπος για να κατανοήσετε πόσο καλά θα αποδώσει ένα SLM στην περίπτωσή σας. Σκεφτείτε να χρησιμοποιήσετε SLMs για πιο απλές εργασίες όπως η ταξινόμηση προθέσεων ή η εξαγωγή παραμέτρων, ενώ κρατάτε μεγαλύτερα μοντέλα για σύνθετη λογική.

Χρήση Μοντέλου Δρομολόγησης: Μια παρόμοια στρατηγική είναι η χρήση ποικιλίας μοντέλων και μεγεθών. Μπορείτε να χρησιμοποιήσετε ένα LLM/SLM ή μια λειτουργία χωρίς διακομιστή για να δρομολογείτε τα αιτήματα βάσει της πολυπλοκότητας στα πιο κατάλληλα μοντέλα. Αυτό θα βοηθήσει επίσης στη μείωση του κόστους ενώ ταυτόχρονα θα εξασφαλίζει την απόδοση στις σωστές εργασίες. Για παράδειγμα, δρομολογήστε απλά ερωτήματα σε πιο μικρά, ταχύτερα μοντέλα και χρησιμοποιήστε τα ακριβά μεγάλα μοντέλα μόνο για σύνθετες εργασίες λογικής.

Αποθήκευση Απαντήσεων (Caching): Η αναγνώριση κοινών αιτημάτων και εργασιών και η παροχή των απαντήσεων πριν περάσουν στο πρακτορικό σας σύστημα είναι ένας καλός τρόπος για να μειώσετε τον όγκο παρόμοιων αιτημάτων. Μπορείτε ακόμη να υλοποιήσετε μια ροή για να προσδιορίσετε πόσο παρόμοιο είναι ένα αίτημα με τα αποθηκευμένα αιτήματά σας χρησιμοποιώντας πιο βασικά μοντέλα AI. Αυτή η στρατηγική μπορεί να μειώσει σημαντικά το κόστος για συχνές ερωτήσεις ή κοινές ροές εργασιών.

Ας δούμε πώς δουλεύει αυτό στην πράξη

Στο παράδειγμα σημειωματάριου αυτής της ενότητας, θα δούμε παραδείγματα για το πώς μπορούμε να χρησιμοποιήσουμε εργαλεία παρακολούθησης για να παρακολουθούμε και να αξιολογούμε τον πράκτορά μας.

Έχετε Περισσότερες Ερωτήσεις για Πράκτορες AI στην Παραγωγή;

Ελάτε στο Microsoft Foundry Discord για να συναντήσετε άλλους μαθητευόμενους, να παρακολουθήσετε ώρες γραφείου και να απαντηθούν οι ερωτήσεις σας σχετικά με πράκτορες AI.

Προηγούμενο Μάθημα

Metacognition Design Pattern

Επόμενο Μάθημα

Agentic Protocols

---

Αποποίηση ευθυνών: Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη Co-op Translator. Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.

This site is open source. Improve this page.