ai-agents-for-beginners

ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ AI ਏਜੰਟ: ਦ੍ਰਿਸ਼ਯਤਾ ਅਤੇ ਮੁਲਾਂਕਣ

ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ AI ਏਜੰਟ

ਜਦੋਂ AI ਏਜੰਟ ਪ੍ਰਯੋਗਾਤਮਕ ਪ੍ਰੋਟੋਟਾਈਪ ਤੋਂ ਅਸਲ ਦੁਨੀਆ ਦੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵੱਲ ਅੱਗੇ ਵਧਦੇ ਹਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਦੇ ਵਿਹਾਰ ਨੂੰ ਸਮਝਣ, ਉਨ੍ਹਾਂ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦਾ ਵਿਵਸਥਿਤ ਤੌਰ ‘ਤੇ ਮੁਲਾਂਕਣ ਕਰਨ ਦੀ ਯੋਗਤਾ ਮਹੱਤਵਪੂਰਨ ਬਣ ਜਾਂਦੀ ਹੈ।

ਸਿੱਖਣ ਦੇ ਲਕਸ਼

ਇਸ ਪਾਠ ਨੂੰ ਪੂਰਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਜਾਣੋਗੇ ਕਿ/ਸਮਝੋਗੇ:

ਲਕਸ਼ ਇਹ ਹੈ ਕਿ ਤੁਹਾਨੂੰ “ਬਲੈਕ ਬਾਕਸ” ਏਜੰਟਾਂ ਨੂੰ ਪਾਰਦਰਸ਼ੀ, ਪ੍ਰਬੰਧਨਯੋਗ ਅਤੇ ਭਰੋਸੇਮੰਦ ਸਿਸਟਮਾਂ ਵਿੱਚ ਬਦਲਣ ਲਈ ਗਿਆਨ ਪ੍ਰਦਾਨ ਕੀਤਾ ਜਾਵੇ।

ਨੋਟ: ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ AI ਏਜੰਟ ਸੁਰੱਖਿਅਤ ਅਤੇ ਭਰੋਸੇਯੋਗ ਹਨ। ਭਰੋਸੇਯੋਗ AI ਏਜੰਟ ਬਣਾਉਣਾ ਪਾਠ ਨੂੰ ਦੇਖੋ।

ਟ੍ਰੇਸ ਅਤੇ ਸਪੈਨ

ਦ੍ਰਿਸ਼ਯਤਾ ਦੇ ਸੰਦ ਜਿਵੇਂ ਕਿ Langfuse ਜਾਂ Azure AI Foundry ਆਮ ਤੌਰ ‘ਤੇ ਏਜੰਟ ਦੇ ਚਲਾਉਣ ਨੂੰ ਟ੍ਰੇਸ ਅਤੇ ਸਪੈਨ ਦੇ ਰੂਪ ਵਿੱਚ ਦਰਸਾਉਂਦੇ ਹਨ।

Langfuse ਵਿੱਚ ਟ੍ਰੇਸ ਟ੍ਰੀ

ਦ੍ਰਿਸ਼ਯਤਾ ਦੇ ਬਗੈਰ, ਇੱਕ AI ਏਜੰਟ “ਬਲੈਕ ਬਾਕਸ” ਜਿਹਾ ਮਹਿਸੂਸ ਹੋ ਸਕਦਾ ਹੈ - ਇਸ ਦੀ ਅੰਦਰੂਨੀ ਸਥਿਤੀ ਅਤੇ ਤਰਕ ਅਸਪਸ਼ਟ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਮੁੱਦਿਆਂ ਦੀ ਪਛਾਣ ਕਰਨਾ ਜਾਂ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਦ੍ਰਿਸ਼ਯਤਾ ਨਾਲ, ਏਜੰਟ “ਗਲਾਸ ਬਾਕਸ” ਬਣ ਜਾਂਦੇ ਹਨ, ਜੋ ਪਾਰਦਰਸ਼ਤਾ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ ਜੋ ਭਰੋਸਾ ਬਣਾਉਣ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਉਹ ਇਰਾਦੇ ਅਨੁਸਾਰ ਕੰਮ ਕਰਦੇ ਹਨ।

ਪ੍ਰੋਡਕਸ਼ਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਦ੍ਰਿਸ਼ਯਤਾ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

AI ਏਜੰਟਾਂ ਨੂੰ ਪ੍ਰੋਡਕਸ਼ਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਤਬਦੀਲ ਕਰਨਾ ਨਵੇਂ ਚੁਣੌਤੀਆਂ ਅਤੇ ਜ਼ਰੂਰਤਾਂ ਲਿਆਉਂਦਾ ਹੈ। ਦ੍ਰਿਸ਼ਯਤਾ ਹੁਣ “ਚੰਗਾ ਹੋਵੇ” ਵਾਲੀ ਚੀਜ਼ ਨਹੀਂ ਰਹੀ, ਸਗੋਂ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਯੋਗਤਾ ਹੈ:

ਟ੍ਰੈਕ ਕਰਨ ਲਈ ਮੁੱਖ ਮਾਪਦੰਡ

ਏਜੰਟ ਦੇ ਵਿਹਾਰ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਸਮਝਣ ਲਈ, ਮਾਪਦੰਡਾਂ ਅਤੇ ਸੰਕੇਤਾਂ ਦੀ ਇੱਕ ਸ਼੍ਰੇਣੀ ਨੂੰ ਟ੍ਰੈਕ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਨਿਰਧਾਰਤ ਮਾਪਦੰਡ ਏਜੰਟ ਦੇ ਉਦੇਸ਼ ਦੇ ਅਨੁਸਾਰ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ, ਕੁਝ ਸਾਰਿਆਂ ਲਈ ਆਮ ਹਨ।

ਇੱਥੇ ਕੁਝ ਸਭ ਤੋਂ ਆਮ ਮਾਪਦੰਡ ਹਨ ਜੋ ਦ੍ਰਿਸ਼ਯਤਾ ਦੇ ਸੰਦ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ:

ਲੇਟੈਂਸੀ: ਏਜੰਟ ਕਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ? ਲੰਬੇ ਇੰਤਜ਼ਾਰ ਦੇ ਸਮੇਂ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ‘ਤੇ ਨਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵ ਪਾਉਂਦੇ ਹਨ। ਤੁਸੀਂ ਟਾਸਕਾਂ ਅਤੇ ਵਿਅਕਤੀਗਤ ਕਦਮਾਂ ਲਈ ਲੇਟੈਂਸੀ ਨੂੰ ਟ੍ਰੇਸਿੰਗ ਏਜੰਟ ਚਲਾਉਣ ਦੁਆਰਾ ਮਾਪ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਏਜੰਟ ਜੋ ਸਾਰੇ ਮਾਡਲ ਕਾਲਾਂ ਲਈ 20 ਸਕਿੰਟ ਲੈਂਦਾ ਹੈ, ਇਸਨੂੰ ਤੇਜ਼ ਮਾਡਲ ਵਰਤ ਕੇ ਜਾਂ ਮਾਡਲ ਕਾਲਾਂ ਨੂੰ ਸਮਾਂਤਰ ਚਲਾਉਣ ਦੁਆਰਾ ਤੇਜ਼ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਲਾਗਤਾਂ: ਪ੍ਰਤੀ ਏਜੰਟ ਚਲਾਉਣ ਦਾ ਖਰਚਾ ਕੀ ਹੈ? AI ਏਜੰਟ LLM ਕਾਲਾਂ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜੋ ਪ੍ਰਤੀ ਟੋਕਨ ਜਾਂ ਬਾਹਰੀ APIs ‘ਤੇ ਬਿਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਬਾਰ-ਬਾਰ ਸੰਦ ਦੀ ਵਰਤੋਂ ਜਾਂ ਕਈ ਪ੍ਰੋਮਪਟਸ ਲਾਗਤਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਵਧਾ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਇੱਕ ਏਜੰਟ LLM ਨੂੰ ਪੰਜ ਵਾਰ ਕਾਲ ਕਰਦਾ ਹੈ ਗੁਣਵੱਤਾ ਵਿੱਚ ਹਲਕੇ ਸੁਧਾਰ ਲਈ, ਤਾਂ ਤੁਹਾਨੂੰ ਅੰਕੜਾ ਲਗਾਉਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕੀ ਲਾਗਤ ਜਾਇਜ਼ ਹੈ ਜਾਂ ਤੁਸੀਂ ਕਾਲਾਂ ਦੀ ਗਿਣਤੀ ਘਟਾ ਸਕਦੇ ਹੋ ਜਾਂ ਸਸਤੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਰੀਅਲ-ਟਾਈਮ ਮਾਨੀਟਰਿੰਗ ਅਣਅਪੇਖਿਤ ਸਪਾਈਕਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਵਿੱਚ ਵੀ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਬੱਗਸ ਜੋ ਵਧੇਰੇ API ਲੂਪਾਂ ਦਾ ਕਾਰਨ ਬਣਦੇ ਹਨ)।

ਰਿਕਵੈਸਟ ਗਲਤੀਆਂ: ਏਜੰਟ ਨੇ ਕਿੰਨੀ ਬੇਨਤੀ ਫੇਲ੍ਹ ਕੀਤੀ? ਇਸ ਵਿੱਚ API ਗਲਤੀਆਂ ਜਾਂ ਫੇਲ੍ਹ ਸੰਦ ਕਾਲਾਂ ਸ਼ਾਮਲ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਇਨ੍ਹਾਂ ਦੇ ਖਿਲਾਫ ਆਪਣੇ ਏਜੰਟ ਨੂੰ ਹੋਰ ਮਜ਼ਬੂਤ ​​ਬਣਾਉਣ ਲਈ, ਤੁਸੀਂ ਫਾਲਬੈਕਸ ਜਾਂ ਰੀਟ੍ਰਾਈਜ਼ ਸੈਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਜੇ LLM ਪ੍ਰਦਾਤਾ A ਡਾਊਨ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਬੈਕਅਪ ਦੇ ਤੌਰ ‘ਤੇ LLM ਪ੍ਰਦਾਤਾ B ‘ਤੇ ਸਵਿੱਚ ਕਰਦੇ ਹੋ।

ਉਪਭੋਗਤਾ ਫੀਡਬੈਕ: ਸਿੱਧੇ ਉਪਭੋਗਤਾ ਮੁਲਾਂਕਣਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਕੀਮਤੀ ਅੰਤਰਦ੍ਰਿਸ਼ਟੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਸਪਸ਼ਟ ਰੇਟਿੰਗ (👍ਥੰਬਸ-ਅੱਪ/👎ਡਾਊਨ, ⭐1-5 ਸਟਾਰ) ਜਾਂ ਟੈਕਸਟ ਕਮੈਂਟਸ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ। ਲਗਾਤਾਰ ਨਕਾਰਾਤਮਕ ਫੀਡਬੈਕ ਤੁਹਾਨੂੰ ਚੇਤਾਵਨੀ ਦੇਣੀ ਚਾਹੀਦੀ ਹੈ ਕਿਉਂਕਿ ਇਹ ਇਸ ਗੱਲ ਦਾ ਸੰਕੇਤ ਹੈ ਕਿ ਏਜੰਟ ਉਮੀਦਾਂ ਅਨੁਸਾਰ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।

ਅਪਰੋਕਸ਼ ਉਪਭੋਗਤਾ ਫੀਡਬੈਕ: ਉਪਭੋਗਤਾ ਦੇ ਵਿਹਾਰ ਸਿੱਧੇ ਰੇਟਿੰਗਾਂ ਦੇ ਬਗੈਰ ਵੀ ਅਪਰੋਕਸ਼ ਫੀਡਬੈਕ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਇਸ ਵਿੱਚ ਤੁਰੰਤ ਸਵਾਲਾਂ ਨੂੰ ਦੁਬਾਰਾ ਫਰਮਾਉਣਾ, ਦੁਹਰਾਈ ਗਈ ਪੁੱਛਗਿੱਛ ਜਾਂ ਰੀਟ੍ਰਾਈ ਬਟਨ ‘ਤੇ ਕਲਿਕ ਕਰਨਾ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜੇ ਤੁਸੀਂ ਵੇਖਦੇ ਹੋ ਕਿ ਉਪਭੋਗਤਾ ਵਾਰ-ਵਾਰ ਇੱਕੋ ਸਵਾਲ ਪੁੱਛਦੇ ਹਨ, ਤਾਂ ਇਹ ਇਸ ਗੱਲ ਦਾ ਸੰਕੇਤ ਹੈ ਕਿ ਏਜੰਟ ਉਮੀਦਾਂ ਅਨੁਸਾਰ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।

ਸਹੀਤਾ: ਏਜੰਟ ਕਿੰਨੀ ਵਾਰ ਸਹੀ ਜਾਂ ਇੱਛਤ ਨਤੀਜੇ ਪੈਦਾ ਕਰਦਾ ਹੈ? ਸਹੀਤਾ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵੱਖ-ਵੱਖ ਹੋ ਸਕਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਸਮੱਸਿਆ-ਸੁਝਾਅ ਦੀ ਸਹੀਤਾ, ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ ਦੀ ਸਹੀਤਾ, ਉਪਭੋਗਤਾ ਸੰਤੁਸ਼ਟੀ)। ਪਹਿਲਾ ਕਦਮ ਇਹ ਹੈ ਕਿ ਆਪਣੇ ਏਜੰਟ ਲਈ ਸਫਲਤਾ ਕਿਵੇਂ ਦਿਖਦੀ ਹੈ, ਇਸਦੀ ਪਰਿਭਾਸ਼ਾ ਕਰੋ। ਤੁਸੀਂ ਸਹੀਤਾ ਨੂੰ ਆਟੋਮੈਟਿਕ ਚੈੱਕਾਂ, ਮੁਲਾਂਕਣ ਸਕੋਰਾਂ ਜਾਂ ਟਾਸਕ ਪੂਰਨਤਾ ਲੇਬਲਾਂ ਦੁਆਰਾ ਟ੍ਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਟ੍ਰੇਸ ਨੂੰ “ਸਫਲ” ਜਾਂ “ਫੇਲ੍ਹ” ਦੇ ਤੌਰ ‘ਤੇ ਚਿੰਨ੍ਹਿਤ ਕਰਨਾ।

ਆਟੋਮੈਟਿਕ ਮੁਲਾਂਕਣ ਮਾਪਦੰਡ: ਤੁਸੀਂ ਆਟੋਮੈਟਿਕ ਮੁਲਾਂਕਣਾਂ ਸੈਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ ਏਜੰਟ ਦੇ ਨਤੀਜੇ ਨੂੰ ਸਕੋਰ ਕਰਨ ਲਈ ਇੱਕ LLM ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਜਿਵੇਂ ਕਿ ਇਹ ਮਦਦਗਾਰ, ਸਹੀ ਜਾਂ ਨਹੀਂ ਹੈ। ਕਈ ਖੁੱਲ੍ਹੇ ਸਰੋਤ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵੀ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਏਜੰਟ ਦੇ ਵੱਖ-ਵੱਖ ਪਹਲੂਆਂ ਨੂੰ ਸਕੋਰ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ। ਉਦਾਹਰਨ ਲਈ, RAGAS RAG ਏਜੰਟਾਂ ਲਈ ਜਾਂ LLM Guard ਹਾਨੀਕਾਰਕ ਭਾਸ਼ਾ ਜਾਂ ਪ੍ਰੋਮਪਟ ਇੰਜੈਕਸ਼ਨ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ।

ਅਮਲ ਵਿੱਚ, ਇਨ੍ਹਾਂ ਮਾਪਦੰਡਾਂ ਦੇ ਸੰਯੋਗਨ ਨਾਲ AI ਏਜੰਟ ਦੇ ਸਿਹਤ ਦੀ ਸਭ ਤੋਂ ਵਧੀਆ ਕਵਰੇਜ ਮਿਲਦੀ ਹੈ। ਇਸ ਅਧਿਆਇ ਦੇ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ ਵਿੱਚ, ਅਸੀਂ ਤੁਹਾਨੂੰ ਦਿਖਾਵਾਂਗੇ ਕਿ ਇਹ ਮਾਪਦੰਡ ਅਸਲ ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਕਿਵੇਂ ਦਿਖਦੇ ਹਨ, ਪਰ ਪਹਿਲਾਂ ਅਸੀਂ ਸਿੱਖਾਂਗੇ ਕਿ ਇੱਕ ਆਮ ਮੁਲਾਂਕਣ ਵਰਕਫਲੋ ਕਿਵੇਂ ਦਿਖਦਾ ਹੈ।

ਆਪਣੇ ਏਜੰਟ ਨੂੰ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਦਿਓ

ਟ੍ਰੇਸਿੰਗ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਆਪਣੇ ਕੋਡ ਨੂੰ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਦੇਣ ਦੀ ਜ਼ਰੂਰਤ ਹੋਵੇਗੀ। ਉਦੇਸ਼ ਇਹ ਹੈ ਕਿ ਏਜੰਟ ਕੋਡ ਨੂੰ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਦੇਣਾ ਤਾਂ ਜੋ ਟ੍ਰੇਸ ਅਤੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਪ੍ਰਦਾਨ ਕੀਤਾ ਜਾ ਸਕੇ, ਪ੍ਰਕਿਰਿਆਸ਼ੀਲ ਕੀਤਾ ਜਾ ਸਕੇ ਅਤੇ ਦ੍ਰਿਸ਼ਯਤਾ ਪਲੇਟਫਾਰਮ ਦੁਆਰਾ ਵਿਖਾਇਆ ਜਾ ਸਕੇ।

OpenTelemetry (OTel): OpenTelemetry LLM ਦ੍ਰਿਸ਼ਯਤਾ ਲਈ ਉਦਯੋਗ ਮਿਆਰ ਦੇ ਤੌਰ ‘ਤੇ ਉਭਰਿਆ ਹੈ। ਇਹ APIs, SDKs ਅਤੇ ਟੈਲੀਮੈਟਰੀ ਡਾਟਾ ਪੈਦਾ ਕਰਨ, ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਨਿਰਯਾਤ ਕਰਨ ਲਈ ਸੰਦਾਂ ਦਾ ਸੈੱਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਕਈ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਹਨ ਜੋ ਮੌਜੂਦਾ ਏਜੰਟ ਫਰੇਮਵਰਕਾਂ ਨੂੰ ਲਪੇਟਦੀਆਂ ਹਨ ਅਤੇ OpenTelemetry ਸਪੈਨ ਨੂੰ ਦ੍ਰਿਸ਼ਯਤਾ ਦੇ ਸੰਦ ਵਿੱਚ ਨਿਰਯਾਤ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਹੇਠਾਂ ਇੱਕ ਉਦਾਹਰਨ ਹੈ ਕਿ OpenLit ਸਾਜ਼ੋ-ਸਾਮਾਨ ਲਾਇਬ੍ਰੇਰੀ ਨਾਲ AutoGen ਏਜੰਟ ਨੂੰ ਕਿਵੇਂ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਦੇਣਾ ਹੈ:

import openlit

openlit.init(tracer = langfuse._otel_tracer, disable_batch = True)

ਇਸ ਅਧਿਆਇ ਵਿੱਚ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ AutoGen ਏਜੰਟ ਨੂੰ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਦੇਣ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰੇਗੀ।

ਮੈਨੂਅਲ ਸਪੈਨ ਬਣਾਉਣਾ: ਜਦੋਂ ਕਿ ਸਾਜ਼ੋ-ਸਾਮਾਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਇੱਕ ਚੰਗਾ ਬੇਸਲਾਈਨ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ, ਅਕਸਰ ਅ

ਏਜੰਟ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ

ਆਮ ਸਮੱਸਿਆਵਾਂ ਅਤੇ ਹੱਲ

ਸਮੱਸਿਆ ਹੱਲ
ਏਜੰਟ ਸਿਸਟਮ ਦੀ ਸਹੀ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ ਹੋ ਰਹੀ - ਸਿਸਟਮ ਵਿੱਚ ਨਿਗਰਾਨੀ (observability) ਨੂੰ ਸ਼ਾਮਲ ਕਰੋ।
- ਟ੍ਰੇਸ ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਮੱਸਿਆ ਦੇ ਸਥਾਨ ਦੀ ਪਛਾਣ ਕਰੋ।
ਜਟਿਲ ਕਾਰਜਾਂ ਲਈ ਸਹੀ ਮਾਡਲ ਦੀ ਚੋਣ ਨਹੀਂ ਹੋ ਰਹੀ - ਵੱਡੇ ਮਾਡਲਾਂ ਲਈ ਖਾਸ ਤੌਰ ‘ਤੇ ਤਰਕਸ਼ੀਲ ਕਾਰਜਾਂ ਲਈ ਮਾਹਰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰੋ।
AI ਏਜੰਟ ਟੂਲ ਕਾਲਾਂ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰ ਰਹੀਆਂ - ਏਜੰਟ ਸਿਸਟਮ ਤੋਂ ਬਾਹਰ ਟੂਲ ਦੇ ਆਉਟਪੁੱਟ ਦੀ ਜਾਂਚ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਕਰੋ।
- ਪਰਿਭਾਸ਼ਿਤ ਪੈਰਾਮੀਟਰਾਂ, ਪ੍ਰਾਂਪਟਾਂ ਅਤੇ ਟੂਲਾਂ ਦੇ ਨਾਮਾਂ ਨੂੰ ਸੁਧਾਰੋ।
ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ ਸਥਿਰ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ - ਹਰ ਏਜੰਟ ਨੂੰ ਦਿੱਤੇ ਗਏ ਪ੍ਰਾਂਪਟਾਂ ਨੂੰ ਸੁਧਾਰੋ ਤਾਂ ਜੋ ਉਹ ਖਾਸ ਅਤੇ ਇੱਕ-ਦੂਜੇ ਤੋਂ ਵੱਖਰੇ ਹੋਣ।
- “ਰਾਊਟਿੰਗ” ਜਾਂ ਕੰਟਰੋਲਰ ਏਜੰਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਹਾਇਰਾਰਕੀ ਸਿਸਟਮ ਬਣਾਓ ਜੋ ਸਹੀ ਏਜੰਟ ਦੀ ਪਛਾਣ ਕਰੇ।

ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਈ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਨਿਗਰਾਨੀ ਸਿਸਟਮ ਦੇ ਨਾਲ ਜ਼ਿਆਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪਛਾਣਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਪਹਿਲਾਂ ਚਰਚਾ ਕੀਤੀ ਸੀ, ਟ੍ਰੇਸ ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਇਹ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ ਕਿ ਏਜੰਟ ਵਰਕਫਲੋ ਵਿੱਚ ਸਮੱਸਿਆ ਕਿੱਥੇ ਆ ਰਹੀ ਹੈ, ਜਿਸ ਨਾਲ ਡੀਬੱਗਿੰਗ ਅਤੇ ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਕਾਫ਼ੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣ ਜਾਂਦੇ ਹਨ।

ਖਰਚੇ ਪ੍ਰਬੰਧਿਤ ਕਰਨਾ

AI ਏਜੰਟਾਂ ਨੂੰ ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਤੈਨਾਤ ਕਰਨ ਦੇ ਖਰਚੇ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਕੁਝ ਰਣਨੀਤੀਆਂ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਨ:

ਛੋਟੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ: ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲ (SLMs) ਕੁਝ ਏਜੰਟਿਕ ਯੂਜ਼-ਕੇਸਾਂ ‘ਤੇ ਚੰਗਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਖਰਚੇ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾ ਸਕਦੇ ਹਨ। ਜਿਵੇਂ ਕਿ ਪਹਿਲਾਂ ਜ਼ਿਕਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਪੜਤਾਲ ਕਰਨ ਅਤੇ ਵੱਡੇ ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਨ ਲਈ ਇੱਕ ਮੁਲਾਂਕਣ ਸਿਸਟਮ ਬਣਾਉਣਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੈ। SLMs ਨੂੰ ਸਧਾਰਨ ਕਾਰਜਾਂ ਲਈ ਵਰਤੋ, ਜਿਵੇਂ ਕਿ ਇਰਾਦੇ ਦੀ ਪਛਾਣ ਜਾਂ ਪੈਰਾਮੀਟਰ ਐਕਸਟ੍ਰੈਕਸ਼ਨ, ਜਦਕਿ ਜਟਿਲ ਤਰਕਸ਼ੀਲ ਕਾਰਜਾਂ ਲਈ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਰੱਖੋ।

ਰਾਊਟਰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ: ਇੱਕ ਹੋਰ ਰਣਨੀਤੀ ਇਹ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਅਤੇ ਆਕਾਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਤੁਸੀਂ ਇੱਕ LLM/SLM ਜਾਂ ਸਰਵਰਲੈੱਸ ਫੰਕਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਰਿਕਵੈਸਟਾਂ ਨੂੰ ਜਟਿਲਤਾ ਦੇ ਆਧਾਰ ‘ਤੇ ਸਭ ਤੋਂ ਉਚਿਤ ਮਾਡਲਾਂ ਵੱਲ ਰੂਪਾਂਤਰਨ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਰਣਨੀਤੀ ਖਰਚੇ ਘਟਾਉਣ ਦੇ ਨਾਲ ਸਹੀ ਕਾਰਜਾਂ ‘ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸਧਾਰਨ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਛੋਟੇ, ਤੇਜ਼ ਮਾਡਲਾਂ ਵੱਲ ਭੇਜੋ ਅਤੇ ਸਿਰਫ਼ ਜਟਿਲ ਤਰਕਸ਼ੀਲ ਕਾਰਜਾਂ ਲਈ ਮਹਿੰਗੇ ਵੱਡੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਰਿਸਪਾਂਸ ਕੈਸ਼ ਕਰਨਾ: ਆਮ ਰਿਕਵੈਸਟਾਂ ਅਤੇ ਕਾਰਜਾਂ ਦੀ ਪਛਾਣ ਕਰਕੇ ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਪਹਿਲਾਂ ਹੀ ਪ੍ਰਦਾਨ ਕਰਨਾ, ਬਜਾਏ ਕਿ ਉਹਨਾਂ ਨੂੰ ਤੁਹਾਡੇ ਏਜੰਟਿਕ ਸਿਸਟਮ ਵਿੱਚ ਲਿਜਾਇਆ ਜਾਵੇ, ਇੱਕ ਵਧੀਆ ਤਰੀਕਾ ਹੈ। ਤੁਸੀਂ ਇੱਕ ਫਲੋ ਵੀ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਇਹ ਪਤਾ ਲਗਾਏ ਕਿ ਇੱਕ ਨਵੀਂ ਰਿਕਵੈਸਟ ਤੁਹਾਡੇ ਕੈਸ਼ ਕੀਤੇ ਜਵਾਬਾਂ ਨਾਲ ਕਿੰਨੀ ਮਿਲਦੀ ਹੈ, ਇਸ ਲਈ ਸਧਾਰਨ AI ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ। ਇਹ ਰਣਨੀਤੀ ਬਹੁਤ ਸਾਰੇ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲਾਂ ਜਾਂ ਆਮ ਵਰਕਫਲੋਜ਼ ਲਈ ਖਰਚੇ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾ ਸਕਦੀ ਹੈ।

ਆਓ ਇਸਨੂੰ ਅਮਲ ਵਿੱਚ ਦੇਖੀਏ

ਇਸ ਭਾਗ ਦੇ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ ਵਿੱਚ, ਅਸੀਂ ਵੇਖਾਂਗੇ ਕਿ ਨਿਗਰਾਨੀ ਟੂਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਵੇਂ ਆਪਣੇ ਏਜੰਟ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਮੁਲਾਂਕਣ ਕਰ ਸਕਦੇ ਹਾਂ।

ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ AI ਏਜੰਟਾਂ ਬਾਰੇ ਹੋਰ ਸਵਾਲ ਹਨ?

Azure AI Foundry Discord ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਵੋ ਤਾਂ ਜੋ ਹੋਰ ਸਿੱਖਣ ਵਾਲਿਆਂ ਨਾਲ ਮਿਲ ਸਕੋ, ਦਫ਼ਤਰ ਦੇ ਘੰਟਿਆਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋ ਸਕੋ ਅਤੇ ਆਪਣੇ AI ਏਜੰਟਾਂ ਬਾਰੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਲੈ ਸਕੋ।

ਪਿਛਲਾ ਪਾਠ

ਮੈਟਾਕੌਗਨਿਸ਼ਨ ਡਿਜ਼ਾਈਨ ਪੈਟਰਨ

ਅਗਲਾ ਪਾਠ

ਏਜੰਟਿਕ ਪ੍ਰੋਟੋਕੋਲ


ਅਸਵੀਕਰਤੀ:
ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਹਾਲਾਂਕਿ ਅਸੀਂ ਸਹੀਅਤ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁਚੀਤਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤ ਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।