ai-agents-for-beginners
ਉਤਪਾਦਨ ਵਿੱਚ AI ਏਜੰਟਸ: ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਅਤੇ ਮੁਲਾਂਕਣ
ਜਿਵੇਂ AI ਏਜੰਟ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਮਾਡਲਾਂ ਤੋਂ ਅਸਲੀ ਦੁਨੀਆ ਦੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵੱਲ ਵਧਦੇ ਹਨ, ਉਹਨਾਂ ਦੇ ਵਿਹਾਰ ਨੂੰ ਸਮਝਣਾ, ਉਹਨਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ, ਅਤੇ ਉਹਨਾਂ ਦੇ ਨਤੀਜੇ ਵਿਆਵਸਥਿਤ ਤਰੀਕੇ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੋ ਜਾਂਦਾ ਹੈ।
ਸਿੱਖਣ ਦੇ ਲਕੜ
ਇਸ ਪਾਠ ਨੂੰ ਪੂਰਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਜਾਣੋਗੇ ਕਿ/ਸਮਝੋਗੇ ਕਿ:
- ਏਜੰਟ ਦੀ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਅਤੇ ਮੁਲਾਂਕਣ ਦੇ ਮੁੱਖ ਸੰਕਲਪ
- ਏਜੰਟਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ, ਲਾਗਤਾਂ ਅਤੇ ਪ੍ਰਭਾਵੀਤਾ ਨੂੰ ਸੁਧਾਰਨ ਦੀ ਤਕਨੀਕਾਂ
- ਤੁਹਾਡੇ AI ਏਜੰਟਾਂ ਦਾ ਵਿਵਸਥਿਤ ਢੰਗ ਨਾਲ ਕੀਤੇ ਜਾਣ ਵੱਲ ਅਤੇ ਕਿਵੇਂ ਕੀਤਾ ਜਾਣਾ ਹੈ
- ਉਤਪਾਦਨ ਲਈ AI ਏਜੰਟਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰਦੇ ਸਮੇਂ ਲਾਗਤਾਂ ਨੂੰ ਕਿਵੇਂ ਨਿਯੰਤਰਿਤ ਕਰਨਾ ਹੈ
- Microsoft Agent Framework ਨਾਲ ਬਣਾਏ ਗਏ ਏਜੰਟਾਂ ਦਾ ਇੰਸਟਰੂਮੈਂਟੇਸ਼ਨ ਕਿਵੇਂ ਕਰਨਾ ਹੈ
ਮਕਸਦ ਤੁਹਾਨੂੰ ਜ਼ਹਿਰ ਭਰੇ ‘ਕਾਲੇ ਬਾਕਸ’ ਏਜੰਟਾਂ ਨੂੰ ਪਾਰਦਰਸ਼ੀ, ਸੰਜਮ ਕਾਰਜਕਾਰੀ ਅਤੇ ਭਰੋਸੇਯੋਗ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਬਦਲਣ ਦਾ ਗਿਆਨ ਦਿੰਦਾ ਹੈ।
ਨੋਟ: ਇਹ ਜਰੂਰੀ ਹੈ ਕਿ AI ਏਜੰਟ ਸੁਰੱਖਿਅਤ ਅਤੇ ਭਰੋਸੇਯੋਗ ਹੋਣ। ਭਰੋਸੇਯੋਗ AI ਏਜੰਟ ਬਣਾਉਣ ਪਾਠ ਨੂੰ ਵੀ ਵੇਖੋ।
ਟ੍ਰੇਸ ਅਤੇ ਸਪੈਨ
ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਦੇ ਸੰਦ ਜਿਵੇਂ ਕਿ Langfuse ਜਾਂ Microsoft Foundry ਆਮ ਤੌਰ ‘ਤੇ ਏਜੰਟ ਦੀ ਚਾਲਾਂ ਨੂੰ ਟ੍ਰੇਸ ਅਤੇ ਸਪੈਨ ਵਜੋਂ ਦਰਸਾਉਂਦੇ ਹਨ।
- ਟ੍ਰੇਸ ਮੁਕੰਮਲ ਏਜੰਟ ਕਾਰਜ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਦਰਸਾਉਂਦਾ ਹੈ (ਜਿਵੇਂ ਯੂਜ਼ਰ ਪੁੱਛੇ ਗਏ ਸਵਾਲ ਦਾ ਹੱਲ ਕਰਨਾ)।
- ਸਪੈਨ ਟ੍ਰੇਸ ਦੇ ਅੰਦਰ ਵਿਅਕਤੀਗਤ ਕਦਮ ਹਨ (ਜਿਵੇਂ ਕਿ ਭਾਸ਼ਾ ਮਾਡਲ ਨੂੰ ਕਾਲ ਕਰਨਾ ਜਾਂ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ)।
ਬਿਨਾਂ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਦੇ, ਇੱਕ AI ਏਜੰਟ ‘ਕਾਲਾ ਬਾਕਸ’ ਜਿਹਾ ਮਹਿਸੂਸ ਹੋ ਸਕਦਾ ਹੈ - ਇਸ ਦੀ ਅੰਦਰੂਨੀ ਸਥਿਤੀ ਅਤੇ ਤਰਕ ਅਪਰਦਰਸ਼ੀ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣਾ ਜਾਂ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਵਧੀਆ ਬਨਾਉਣਾ ਮੁਸ਼ਕਿਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਨਾਲ, ਏਜੰਟ ‘ਗਲਾਸ ਬਾਕਸ’ ਬਣ ਜਾਂਦੇ ਹਨ, ਪਾਰਦਰਸ਼ਤਾ ਦਿੰਦੇ ਹਨ ਜੋ ਭਰੋਸਾ ਬਣਾਉਣ ਲਈ ਜਰੂਰੀ ਹੈ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਮੇਰੋਕਮ ਕਰ ਰਹੇ ਹਨ।
ਉਤਪਾਦਨ ਵਾਲੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
AI ਏਜੰਟਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਦਾਖਲ ਕਰਦੇ ਸਮੇਂ ਨਵੇਂ ਚੁਣੌਤੀਆਂ ਅਤੇ ਜ਼ਰੂਰਤਾਂ ਆਉਂਦੀਆਂ ਹਨ। ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਹੁਣ ਕੇਵਲ ਇੱਕ “ਚੰਗੀ ਚੀਜ਼” ਨਹੀਂ ਰਹੀ ਪਰ ਇੱਕ ਆਵਸ਼ਯਕ ਯੋਗਤਾ ਹੈ:
- ਡਿਬੱਗਿੰਗ ਅਤੇ ਮੂਲ ਕਾਰਨ ਵਿਸ਼ਲੇਸ਼ਣ: ਜਦੋਂ ਕੋਈ ਏਜੰਟ ਫੇਲ੍ਹ ਜਾਂ ਅਣੁਮਾਨਤ ਨਤੀਜਾ ਦਿੰਦਾ ਹੈ, ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਸੰਦ ਉਹ ਟ੍ਰੇਸ ਮੁਹੱਈਆ ਕਰਦੇ ਹਨ ਜੋ ਗਲਤੀ ਦੇ ਸਿਰੋਤ ਦੀ ਪਹਚਾਣ ਵਿੱਚ ਸਹਾਇਕ ਹੁੰਦੇ ਹਨ। ਇਹ ਖਾਸ ਤੌਰ ਤੇ ਜਟਿਲ ਏਜੰਟਾਂ ਲਈ ਜਿੱਥੇ ਕਈ LLM ਕਾਲ, ਟੂਲ ਇੰਟਰੈਕਸ਼ਨ, ਅਤੇ ਸ਼ਰਤੀ ਤਰਕਸ਼ਾਸ਼ਤ੍ਰ ਸ਼ਾਮਿਲ ਹੋ ਸਕਦੇ ਹਨ।
- ਲੈਟੈਂਸੀ ਅਤੇ ਲਾਗਤ ਪ੍ਰਬੰਧਨ: AI ਏਜੰਟ ਆਮ ਤੌਰ ‘ਤੇ LLMs ਅਤੇ ਹੋਰ ਬਾਹਰੀ APIs ‘ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜੋ ਟੋਕਨ ਪ੍ਰਤੀ ਜਾਂ ਕਾਲ ਪ੍ਰਤੀ ਬਿੱਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਇਹਨਾਂ ਕਾਲਾਂ ਦੀ ਸਹੀ ਕਰਵਾਈ ਦੀ ਟਰੇਕਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਉਹ ਕਾਰਜ ਜਿਹੜੇ ਜ਼ਿਆਦਾ ਸੁਸਤ ਜਾਂ ਮਹਿੰਗੇ ਹਨ, ਉਹਨਾਂ ਦੀ ਪਹਚਾਣ ਹੁੰਦੀ ਹੈ। ਇਹ ਟੀਮਾਂ ਨੂੰ ਪ੍ਰੰਪਟ ਸੁਧਾਰਨ, ਕੁਸ਼ਲ ਮਾਡਲ ਚੁਣਨ ਜਾਂ ਕਮਾਈ ਵੇਅਰਕਫਲੋਜ਼ ਦਾ ਨਿਰਮਾਣ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਕਾਰੋਬਾਰੀ ਲਾਗਤਾਂ ਨੂੰ ਸੰਭਾਲਿਆ ਜਾ ਸਕੇ ਅਤੇ ਵਧੀਆ ਯੂਜ਼ਰ ਅਨੁਭਵ ਮੁਹੱਈਆ ਕੀਤਾ ਜਾ ਸਕੇ।
- ਭਰੋਸਾ, ਸੁਰੱਖਿਆ, ਅਤੇ ਅਨੁਕੂਲਤਾ: ਕਈ ਅਰਜ਼ੀਆਂ ਵਿੱਚ ਇਹ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਏਜੰਟ ਸੁਰੱਖਿਅਤ ਅਤੇ ਨੈਤਿਕ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰਨ। ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਏਜੰਟ ਕਾਰਵਾਈਆਂ ਅਤੇ ਫੈਸਲਿਆਂ ਦਾ ਆਡਿਟ ਟ੍ਰੇਲ ਮੁਹੱਈਆ ਕਰਦੀ ਹੈ। ਇਸ ਨੂੰ ਪ੍ਰੰਪਟ ਇੰਜੈਕਸ਼ਨ, ਹਾਨਕਾਰਕ ਸਮੱਗਰੀ ਦੇ ਉਤਪੱਤੀ, ਜਾਂ ਨਿੱਜੀ ਜਾਣਕਾਰੀ (PII) ਦੇ ਗਲਤ ਹੈਂਡਲਿੰਗ ਵਰਗੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਪਛਾਣਣ ਅਤੇ ਘਟਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਨ ਵਜੋਂ, ਤੁਸੀਂ ਟ੍ਰੇਸ ਵੇਖ ਕੇ ਸਮਝ ਸਕਦੇ ਹੋ ਕਿ ਏਜੰਟ ਨੇ ਇੱਕ ਭਰੋਸੇਯੋਗ ਉੱਤਰ ਕਿਉਂ ਦਿੱਤਾ ਜਾਂ ਕਿਸੇ ਖਾਸ ਟੂਲ ਨੂੰ ਕਿਵੇਂ ਵਰਤਿਆ।
- ਲਗਾਤਾਰ ਸੁਧਾਰ ਲੂਪ: ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਡਾਟਾ ਇੱਕ ਬਾਰੰਬਾਰ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਦਾ ਬੁਨਿਆਦ ਹੁੰਦਾ ਹੈ। ਜਦੋਂ ਟੀਮਾਂ ਦੇਖਦੀਆਂ ਹਨ ਕਿ ਏਜੰਟ ਕਿਸ ਤਰ੍ਹਾਂ ਅਸਲੀ ਦੁਨੀਆ ਵਿੱਚ ਕੰਮ ਕਰ ਰਹੇ ਹਨ, ਉਹ ਸੁਧਾਰ ਦੇ ਖੇਤਰ ਪਛਾਣ ਸਕਦੀਆਂ ਹਨ, ਮਾਡਲਾਂ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਡਾਟਾ ਇਕੱਤਰ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਅਤੇ ਬਦਲਾਵਾਂ ਦੇ ਪ੍ਰਭਾਵ ਦੀ ਪੁਸ਼ਟੀ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਇਹ ਇਕ ਫੀਡਬੈਕ ਲੂਪ ਬਣਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਉਤਪਾਦਨ ਦੇ ਅਨੁਭਵ ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ ਤੋਂ ਆਫਲਾਈਨ ਪ੍ਰਯੋਗ ਅਤੇ ਸੁਧਾਰ ਦੀ ਜਾਣਕਾਰੀ ਦਿੰਦਾ ਹੈ, ਜੋ ਪ੍ਰਗਟ ਹੋ ਰਹੀ AI ਏਜੰਟ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਲਈ ਵਧੀਆ ਨਤੀਜੇ ਲਿਆਉਂਦਾ ਹੈ।
ਮੁੱਖ ਮਾਪਦੰਡਾਂ ਨੂੰ ਟ੍ਰੈਕ ਕਰੋ
ਏਜੰਟ ਦੇ ਵਿਹਾਰ ਨੂੰ ਨਿਗਰਾਨੀ ਅਤੇ ਸਮਝਣ ਲਈ ਕਈ ਮਾਪਦੰਡ ਅਤੇ ਸੰਕੇਤ ਟ੍ਰੈਕ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ ਹਨ। ਜਦੋਂ ਕਿ ਖਾਸ ਮਾਪਦੰਡ ਏਜੰਟ ਦੇ ਉਦੇਸ਼ ‘ਤੇ ਨਿਰਭਰ ਕਰ ਸਕਦੇ ਹਨ, ਕੁਝ ਆਮ ਤੌਰ ‘ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ।
ਇਹ ਰਿਹਾ ਕੁਝ ਸਭ ਤੋਂ ਆਮ ਮਾਪਦੰਡ ਜੋ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਸੰਦ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ:
ਲੈਟੈਂਸੀ: ਏਜੰਟ ਕਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ? ਲੰਬੀਆਂ ਉਡੀਕਾਂ ਯੂਜ਼ਰ ਅਨੁਭਵ ਨੂੰ ਨਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵਤ ਕਰਦੀਆਂ ਹਨ। ਤੁਹਾਨੂੰ ਕਾਰਜ ਅਤੇ ਵਿਅਕਤੀਗਤ ਕਦਮਾਂ ਲਈ ਲੈਟੈਂਸੀ ਮਾਪਣੀ ਚਾਹੀਦੀ ਹੈ ਜਦੋਂ ਅਜੇੰਤ ਚਾਲਾਂ ਨੂੰ ਟ੍ਰੇਸ ਕਰਦੇ ਹੋ। ਉਦਾਹਰਨ ਵਜੋਂ, ਇੱਕ ਏਜੰਟ ਜੋ ਸਾਰੇ ਮਾਡਲ ਕਾਲਾਂ ਲਈ 20 ਸਕਿੰਟ ਲੈਂਦਾ ਹੈ, ਉਹ ਤੇਜ਼ ਮਾਡਲ ਵਰਤ ਕੇ ਜਾਂ ਮਾਡਲ ਕਾਲਾਂ ਨੂੰ ਸਮਾਂ-ਸਮੀਕਰਨ ਵਿੱਚ ਚਲਾਕੇ ਤੇਜ਼ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਲਾਗਤਾਂ: ਇੱਕ ਏਜੰਟ ਚਾਲੀ ਲਈ ਕੀ ਖਰਚ ਹੈ? AI ਏਜੰਟ LLM ਕਾਲਾਂ ਜਾਂ ਬਾਹਰੀ APIs ‘ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜੋ ਟੋਕਨ ਬਿਵਹਾਰ ਜਾਂ ਕਾਲ ਪ੍ਰਤੀ ਸ਼ੁਲਕ ਲੈਂਦੇ ਹਨ। ਟੂਲ ਦੀ ਵਧੀਕ ਵਰਤੋਂ ਜਾਂ ਕਈ ਪ੍ਰੰਪਟ ਲਾਗਤਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਵਧਾ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ ਇਕ ਏਜੰਟ ਪੰਜ ਵਾਰੀ LLM ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ ਤਾ ਕੀਮਤ ਨਾਲੋਂ ਪ੍ਰਾਪਤ ਸੁਧਾਰ ਬਰਾਬਰ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਅਤੇਲ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ, ਜਾਂ ਤੁਸੀਂ ਕਾਲਾਂ ਦੀ ਗਿਣਤੀ ਘਟਾ ਸਕਦੇ ਹੋ ਜਾਂ ਸਸਤਾ ਮਾਡਲ ਵਰਤ ਸਕਦੇ ਹੋ। ਹਕੀਕਤੀ ਸਮੇਂ ਦੀ ਨਿਗਰਾਨੀ ਅਚਾਨਕ ਉੱਚੀ ਲਾਗਤਾਂ ਵਰਗੀ ਅਣਚਾਹੀ ਚਾਲਾਂ ਦੀ ਪਛਾਣ ਵਿੱਚ ਵੀ ਮਦਦ ਕਰਦੀ ਹੈ (ਜਿਵੇਂ ਬੱਗ ਵਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ API ਕਾਲ).
ਰਿਕਵੇਸਟ ਤ੍ਰੁੱਟੀਆਂ: ਏਜੰਟ ਨੇ ਕਿੰਨੇ ਰਿਕਵੇਸਟ ਫੇਲ ਕੀਤੀਆਂ? ਇਸ ਵਿੱਚ API ਤ੍ਰੁੱਟੀਆਂ ਜਾਂ ਟੂਲ ਕਾਲ ਫੇਲ੍ਹ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਤੁਹਾਡੇ ਏਜੰਟ ਨੂੰ ਇਹਨਾਂ ਵਿਰੁੱਧ ਹੋਰ ਮਜ਼ਬੂਤ ਬਣਾਉਣ ਲਈ, ਤੁਸੀਂ ਫਾਲਬੈਕ ਜਾਂ ਰੀਟ੍ਰਾਈਜ਼ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ LLM ਪ੍ਰਦਾਤਾ A ਡਾਊਨ ਹੈ, ਤੁਸੀਂ ব্যকআপ ਵਜੋਂ LLM ਪ੍ਰਦਾਤਾ B ‘ਤੇ ਸਵਿੱਚ ਕਰ ਸਕਦੇ ਹੋ।
ਯੂਜ਼ਰ ਫੀਡਬੈਕ: ਸਿੱਧਾ ਯੂਜ਼ਰ ਮੁਲਾਂਕਣ ਲਾਗੂ ਕਰ ਕੇ ਕੀਮਤੀ ਜਾਣਕਾਰੀਆਂ ਪ੍ਰਾਪਤ ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਵਿੱਚ ਸਾਫ ਦਰਜਾਬੰਦੀ (👍ਥੰਬਜ਼-ਅਪ/👎ਥੰਬਜ਼-ਡਾਊਨ, ⭐1-5 ਸਿਤਾਰੇ) ਜਾਂ ਟੈਕਸਟ ਕਮੈਂਟ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ। ਲਗਾਤਾਰ ਨਕਾਰਾਤਮਕ ਫੀਡਬੈਕ ਤੁਹਾਨੂੰ ਸੂਚਨਾ ਦੇਵੇਗਾ ਕਿ ਏਜੰਟ ਉਮੀਦ ਮੁਤਾਬਕ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।
ਆਪੇਸ਼ਿਕ ਯੂਜ਼ਰ ਫੀਡਬੈਕ: ਭਾਵਾਂ ਵਾਲਾ ਜਵਾਬ ਨਿਰਦੇਸ਼ਤ ਦਰਜਾਬੰਦੀ ਦੇ ਬਗੈਰ ਵੀ ਮਿਲਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਤੁਰੰਤ ਸਵਾਲ ਮੁੜ ਪੁੱਛਣਾ, ਧਾਰਾਵਾਹਿਕ ਪੁੱਛਗਿੱਛ, ਜਾਂ ਰੀਟ੍ਰਾਈ ਬਟਨ ਕਲਿਕ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ। ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ ਤੁਸੀਂ ਵੇਖਦੇ ਹੋ ਕਿ ਯੂਜ਼ਰ ਬਾਰੰਬਾਰ ਇੱਕੋ ਸਵਾਲ ਪੁੱਛਦੇ ਹਨ, ਇਹ ਇਕ ਚਿੰਨ੍ਹ ਹੈ ਕਿ ਏਜੰਟ ਉਮੀਦਾਂ ਮੁਤਾਬਕ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।
ਸਹੀਤਾ: ਏਜੰਟ ਕਿੰਨੀ ਵਾਰ ਸਹੀ ਜਾਂ ਇੱਛਿਤ ਨਤੀਜੇ ਪੈਦਾ ਕਰਦਾ ਹੈ? ਸਹੀਤਾ ਦੀ ਵਿਆਖਿਆ ਵੱਖ-ਵੱਖ ਹਾਲਾਤਾਂ ਵਿੱਚ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ (ਜਿਵੇਂ ਸਮੱਸਿਆ-ਹੱਲ ਸਹੀਤਾ, ਜਾਣਕਾਰੀ ਲੈਣ ਦੀ ਸਹੀਤਾ, ਯੂਜ਼ਰ ਸੰਤੁਸ਼ਟੀ)। ਪਹਿਲਾ ਕਦਮ ਤੁਹਾਡੇ ਏਜੰਟ ਲਈ ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਸਫਲਤਾ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਹੈ। ਤੁਸੀਂ ਸਹੀਤਾ ਨੂੰ ਸੁਤੰਤਰਤ ਚੈੱਕ, ਮੁਲਾਂਕਣ ਸਕੋਰਾਂ, ਜਾਂ ਕਾਰਜ ਪੂਰਾ ਕਰਨ ਦੇ ਲੇਬਲਾਂ ਰਾਹੀਂ ਟ੍ਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਵਜੋਂ, ਟ੍ਰੇਸ ਨੂੰ “ਸਫਲ” ਜਾਂ “ਅਸਫਲ” ਵਜੋਂ ਨਿਸ਼ਾਨਿਤ ਕਰਨਾ।
ਆਟੋਮੇਟਿਡ ਮੂਲਿਆਕਣ ਮੈਟਰਿਕਸ: ਤੁਸੀਂ ਆਟੋਮੇਟਿਡ ਮੂਲਿਆਕਣ ਵੀ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਨ ਵਜੋਂ, ਤੁਸੀਂ ਇੱਕ LLM ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਏਜੰਟ ਦੇ ਨਤੀਜੇ ਨੂੰ ਸਕੋਰ ਕਰ ਸਕਦੇ ਹੋ ਕਿ ਇਹ ਸਹਾਇਕ, ਸਹੀ ਜਾਂ ਨਹੀਂ ਹੈ। ਕਈ ਖੁੱਲ੍ਹੇ ਸਰੋਤ ਵਾਲੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵੀ ਹਨ ਜੋ ਏਜੰਟ ਦੇ ਵੱਖ-ਵੱਖ ਪਹਲੂਆਂ ਨੂੰ ਸਕੋਰ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ। ਉਦਾਹਰਨ ਵਜੋਂ, RAGAS RAG ਏਜੰਟਾਂ ਲਈ ਜਾਂ LLM Guard ਹਾਨਿਕਾਰਕ ਭਾਸ਼ਾ ਜਾਂ ਪ੍ਰੰਪਟ ਇੰਜੈਕਸ਼ਨ ਨੂੰ ਪਛਾਣਨ ਲਈ।
ਅਮਲ ਵਿੱਚ, ਇਹਨਾਂ ਮੈਟਰਿਕਾਂ ਦੇ ਮਿਲਾਪ ਨਾਲ AI ਏਜੰਟ ਦੀ ਸਿਹਤ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਕਵਰੇਜ ਮਿਲਦਾ ਹੈ। ਇਸ ਅਧਿਆਇ ਦੇ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ ਵਿੱਚ, ਅਸੀਂ ਤੁਹਾਨੂੰ ਇਹ ਦਿਖਾਵਾਂਗੇ ਕਿ ਇਹ ਮੈਟਰਿਕ ਕਿਸ ਤਰ੍ਹਾਂ ਹਕੀਕਤੀ ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਪਰ ਪਹਿਲਾਂ, ਅਸੀਂ ਸਿੱਖਾਂਗੇ ਕਿ ਇੱਕ ਆਮ ਮੁਲਿਆਕਣ ਕੰਮ ਕਿਵੇਂ ਦਿੱਖਦਾ ਹੈ।
ਆਪਣੇ ਏਜੰਟ ਨੂੰ ਇੰਸਟਰੂਮੈਂਟ ਕਰੋ
ਟ੍ਰੇਸਿੰਗ ਡਾਟਾ ਇਕੱਤਰ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਆਪਣਾ ਕੋਡ ਇੰਸਟਰੂਮੈਂਟ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ। ਮਕਸਦ ਇਹ ਹੈ ਕਿ ਏਜੰਟ ਕੋਡ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਇੰਸਟ੍ਰੂਮੈਂਟ ਕੀਤਾ ਜਾਵੇ ਕਿ ਉਹ ਟ੍ਰੇਸ ਅਤੇ ਮੈਟਰਿਕ ਜਾਰੀ ਕਰੇ, ਜੋ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਪਲੇਟਫਾਰਮ ਦੁਆਰਾ ਕੈਪਚਰ, ਪ੍ਰੋਸੈਸ ਅਤੇ ਵਿਜ਼ੂਲਾਈਜ਼ ਕੀਤੇ ਜਾ ਸਕਣ।
OpenTelemetry (OTel): OpenTelemetry LLM ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਲਈ ਉਦਯੋਗਿਕ ਮਿਆਰੀ ਬਣ ਕੇ ਉਭਰਿਆ ਹੈ। ਇਹ ਟੈਲੀਮੀਟਰੀ ਡਾਟਾ ਬਣਾਉਣ, ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਐਕਸਪੋਰਟ ਕਰਨ ਲਈ API, SDKs ਅਤੇ ਸੰਦਾਂ ਸੈੱਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਕਈ ਇੰਸਟ੍ਰੂਮੈਂਟੇਸ਼ਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਮੌਜੂਦਾ ਏਜੰਟ ਫਰੇਮਵਰਕਾਂ ਨੂੰ ਢੱਕਦੀਆਂ ਹਨ ਅਤੇ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਸੰਦ ਨੂੰ OpenTelemetry ਸਪੈਨਜ਼ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਐਕਸਪੋਰਟ ਕਰਨ ਦੀ ਸਹੂਲਤ ਦਿੰਦੀਆਂ ਹਨ। Microsoft Agent Framework ਕਿਸੇ ਤਰੀਕੇ ਨਾਲ OpenTelemetry ਨਾਲ ਇਕੱਤਰਿਤ ਹੁੰਦਾ ਹੈ। ਹੇਠਾਂ MAF ਏਜੰਟ ਨੂੰ ਇੰਸټرੂਮੈਂਟ ਕਰਨ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਦਿੱਤੀ ਗਈ ਹੈ:
from agent_framework.observability import get_tracer, get_meter
tracer = get_tracer()
meter = get_meter()
with tracer.start_as_current_span("agent_run"):
# Agent execution is traced automatically
pass
ਇਸ ਅਧਿਆਇ ਵਿੱਚ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ MAF ਏਜੰਟ ਨੂੰ ਇੰਸਟਰੂਮੈਂਟ ਕਰਨ ਦਾ ਤਰੀਕਾ ਵੇਖਾਵੇਗੀ।
ਮੈਨੂਅਲ ਸਪੈਨ ਬਣਾਉਣਾ: ਜਦੋਂ ਕਿ ਇੰਸਟਰੂਮੈਂਟੇਸ਼ਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਇੱਕ ਵਧੀਆ ਬੇਸਲਾਈਨ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ, ਅਕਸਰ ਹੋਰ ਵਿਸਥਾਰਵਾਦੀ ਜਾਂ ਕਸਟਮ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਤੁਸੀਂ ਖੁਦ ਮੈਨੂਅਲ ਸਪੈਨ ਬਣਾਕੇ ਕਸਟਮ ਐਪਲੀਕੇਸ਼ਨ ਲੌਜਿਕ ਸ਼ਾਮਲ ਕਰ ਸਕਦੇ ਹੋ। ਸਭ ਤੋਂ ਵਧੀਆ ਗੱਲ, ਉਹ ਆਪਣੇ ਆਪ ਜਾਂ ਮੈਨੂਅਲ ਬਣਾਏ ਗਏ ਸਪੈਨਜ਼ ਨੂੰ ਕਸਟਮ ਗੁਣ (ਜਿਨ੍ਹਾਂ ਨੂੰ ਟੈਗ ਜਾਂ ਮੈਟਾਡੇਟਾ ਵੀ ਕਹਿੰਦੇ ਹਨ) ਨਾਲ ਅਮੀਰ ਕਰ ਸਕਦੇ ਹਨ। ਇਹ ਗੁਣ ਕਾਰੋਬਾਰੀ ਖਾਸ ਡਾਟਾ, ਮੱਧਵਰਤੀ ਗਣਨਾਵਾਂ ਜਾਂ ਕਿਸੇ ਵੀ ਸੰਦਰਭ ਨੂੰ ਸ਼ਾਮਲ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਡਿਬੱਗਿੰਗ ਜਾਂ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ user_id, session_id, ਜਾਂ model_version।
Langfuse Python SDK ਨਾਲ ਮੈਨੂਅਲ ਟ੍ਰੇਸ ਅਤੇ ਸਪੈਨ ਬਣਾਉਣ ਲਈ ਉਦਾਹਰਨ:
from langfuse import get_client
langfuse = get_client()
span = langfuse.start_span(name="my-span")
span.end()
ਏਜੰਟ ਮੁਲਾਂਕਣ
ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਸਾਨੂੰ ਮੈਟਰਿਕ ਦਿੰਦੀ ਹੈ, ਪਰ ਮੁਲਾਂਕਣ ਇਹ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ (ਅਤੇ ਟੈਸਟ ਕਰਨ) ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿਸ ਨਾਲ ਇਹ ਨਿਰਧਾਰਤ ਹੁੰਦਾ ਹੈ ਕਿ AI ਏਜੰਟ ਕਿੰਨਾ ਚੰਗਾ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ ਅਤੇ ਇਸ ਨੂੰ ਕਿਵੇਂ ਸੁਧਾਰਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਦੂਸਰੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਜਦੋਂ ਤੁਹਾਡੇ ਕੋਲ ਉਹ ਟ੍ਰੇਸ ਅਤੇ ਮੈਟਰਿਕ ਹਨ, ਤੁਸੀਂ ਕਿਵੇਂ ਇਸਨੂੰ ਵਰਤ ਕੇ ਏਜੰਟ ਦਾ ਫੈਸਲਾ ਕਰਦੇ ਹੋ ਅਤੇ ਫੈਸਲੇ ਲੈਂਦੇ ਹੋ?
ਨਿਯਮਤ ਮੁਲਾਂਕਣ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ AI ਏਜੰਟ ਆਮ ਤੌਰ ‘ਤੇ ਨਿਰਣਾਇਤ ਸੰਘਣਾ ਨਹੀਂ ਹੁੰਦੇ ਅਤੇ ਬਦਲ ਸਕਦੇ ਹਨ (ਅੱਪਡੇਟਾਂ ਜਾਂ ਡ੍ਰਿਫਟਿੰਗ ਮਾਡਲ ਵਿਹਾਰ ਰਾਹੀਂ) – ਮੁਲਾਂਕਣ ਦੇ ਬਿਨਾਂ ਤੁਹਾਨੂੰ ਪਤਾ ਨਹੀਂ ਲੱਗੇਗਾ ਕਿ ਤੁਹਾਡਾ “ਸਮਾਰਟ ਏਜੰਟ” ਅਸਲ ਵਿੱਚ ਅਚ্ছে ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ ਜਾਂ ਪਿੱਛੇ ਹੋ ਗਿਆ ਹੈ।
AI ਏਜੰਟਾਂ ਲਈ ਮੁਲਾਂਕਣ ਦੀਆਂ ਦੋ ਸ਼੍ਰੇਣੀਆਂ ਹਨ: ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ ਅਤੇ ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ। ਦੋਵੇਂ ਕੀਮਤੀ ਹਨ ਅਤੇ ਇੱਕ ਦੂਜੇ ਨੂੰ ਪੂਰੀ ਕਰਦੇ ਹਨ। ਅਸੀਂ ਆਮ ਤੌਰ ‘ਤੇ ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ, ਕਿਉਂਕਿ ਇਹ ਕਿਸੇ ਵੀ ਏਜੰਟ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਲੋੜੀਂਦਾ ਘੱਟੋ-ਘੱਟ ਕਦਮ ਹੈ।
ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ
ਇਸ ਵਿੱਚ ਇੱਕ ਨਿਯੰਤਰਿਤ ਸੈਟਿੰਗ ਵਿੱਚ ਏਜੰਟ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਆਮ ਤੌਰ ‘ਤੇ ਟੈਸਟ ਡਾਟਾਸੈੱਟ ਵਰਤ ਕੇ, ਸਿੱਧੇ ਜ਼ਿੰਦਾ ਯੂਜ਼ਰ ਪੁੱਛਗਿੱਛ ਤੋਂ ਨਹੀਂ। ਤੁਸੀਂ ਸੰਭਾਲੇ ਹੋਏ ਡਾਟਾਸੈੱਟ ਵਰਤਦੇ ਹੋ ਜਿੱਥੇ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਉਮੀਦਵਾਰ ਨਤੀਜਾ ਜਾਂ ਸਹੀ ਵਿਹਾਰ ਕੀ ਹੈ, ਅਤੇ ਫਿਰ ਉਹਨਾਂ ‘ਤੇ ਆਪਣਾ ਏਜੰਟ ਚਲਾਉਂਦੇ ਹੋ।
ਉਦਾਹਰਨ ਵਜੋਂ, ਜੇ ਤੁਸੀਂ ਗਣਿਤ ਸ਼ਬਦ-ਸਮੱਸਿਆ ਦਾ ਏਜੰਟ ਬਣਾਇਆ ਹੈ, ਤਾਂ ਤੁਹਾਡੇ ਕੋਲ 100 ਸਮੱਸਿਆਵਾਂ ਦਾ ਇੱਕ ਟੈਸਟ ਡਾਟਾਸੈੱਟ ਹੋ ਸਕਦਾ ਹੈ ਜਿਸਦਾ ਸਹੀ ਜਵਾਬ ਪਤਾ ਹੋਵੇ। ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ ਅਕਸਰ ਵਿਕਾਸ ਦੌਰਾਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਅਤੇ CI/CD ਪਾਈਪਲਾਈਨਾਂ ਦਾ ਹਿੱਸਾ ਹੋ ਸਕਦਾ ਹੈ) ਜੋ ਸੁਧਾਰ ਜਾਂ ਰਿਗ੍ਰੈਸ਼ਨਾਂ ਤੋਂ ਬਚਾਅ ਲਈ। ਲਾਭ ਇਹ ਹੈ ਕਿ ਇਹ ਦੋਹਰਾਉਣਯੋਗ ਹੈ ਅਤੇ ਤੁਸੀਂ ਸਪਸ਼ਟ ਸਹੀਤਾ ਮਾਪਦੰਡ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਕਿਉਂਕਿ ਤੁਹਾਡੇ ਕੋਲ ਅਸਲੀ ਸੱਚਾਈ ਹੈ। ਤੁਸੀਂ ਯੂਜ਼ਰ ਪੁੱਛਗਿੱਛ ਦਾ ਸਿਮੂਲੇਸ਼ਨ ਵੀ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਏਜੰਟ ਦੇ ਜਵਾਬਾਂ ਨੂੰ ਆਦਰਸ਼ ਨਤੀਜਿਆਂ ਨਾਲ ਮਾਪ ਸਕਦੇ ਹੋ ਜਾਂ ਉਪਰੋਕਤ ਵਾਂਗ ਆਟੋਮੇਟਿਡ ਮੈਟਰਿਕਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ।
ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ ਦਾ ਮੁੱਖ ਚੁਣੌਤੀ ਇਹ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਤੁਹਾਡਾ ਟੈਸਟ ਡਾਟਾਸੈੱਟ ਵਿਆਪਕ ਅਤੇ ਮਾਮਲੇ ਵਿਚ ਸਮੇਂ ਦੇ ਨਾਲ ਸੰਬੰਧਤ ਰਹੇ - ਏਜੰਟ ਇੱਕ ਨਿਰਧਾਰਤ ਟੈਸਟ ਸੈਟ ਤੇ ਚੰਗਾ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ ਪਰ ਉਤਪਾਦਨ ਵਿੱਚ ਬਹੁਤ ਵੱਖਰੇ ਪ੍ਰਸ਼ਨਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ, ਤੁਹਾਨੂੰ ਟੈਸਟ ਸੈਟਾਂ ਨੂੰ ਨਵੇਂ ਕਿਨਾਰੇ ਕੇਸਾਂ ਅਤੇ ਅਸਲੀ ਦੁਨੀਆ ਦੇ ਉਦਾਹਰਨਾਂ ਦੇ ਨਾਲ ਅਪਡੇਟ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਛੋਟੇ ‘ਸਮੋਕ ਟੈਸਟ’ ਮਾਮਲੇ ਅਤੇ ਵੱਡੇ ਮੁਲਾਂਕਣ ਸੈਟਾਂ ਦਾ ਮਿਸ਼ਰਨ ਲਾਭਦਾਇਕ ਹੈ: ਛੋਟੇ ਸੈਟ ਤੇਜ਼ ਜਾਂਚ ਲਈ ਅਤੇ ਵੱਡੇ ਮਨਚਾਹੀ ਕਾਰਗੁਜ਼ਾਰੀ ਮਾਪਦੰਡ ਲਈ।
ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ
ਇਹ ਅਰਥ ਹੈ ਕਿਸੇ ਜੀਵੰਤ, ਅਸਲੀ ਦੁਨੀਆ ਦੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਏਜੰਟ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ, ਯਾਨੀ ਉਤਪਾਦਨ ਵਿੱਚ ਹਕੀਕੀ ਵਰਤੋਂ ਦੌਰਾਨ। ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ ਵਿੱਚ ਅਸਲੀ ਯੂਜ਼ਰ ਇੰਟਰੈਕਸ਼ਨਾਂ ਤੇ ਏਜੰਟ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਨਤੀਜੇ ਲਗਾਤਾਰ ਵਿਸ਼ਲੇਸ਼ਣ ਸ਼ਾਮਲ ਹੈ।
ਉਦਾਹਰਨ ਵਜੋਂ, ਤੁਸੀਂ ਸਫਲਤਾ ਦਰਾਂ, ਯੂਜ਼ਰ ਸੰਤੁਸ਼ਟੀ ਸਕੋਰ ਜਾਂ ਹੋਰ ਮੈਟਰਿਕਸ ਨੂੰ ਜੀਵੰਤ ਟ੍ਰੈਫਿਕ ‘ਤੇ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ ਦਾ ਫ਼ਾਇਦਾ ਇਹ ਹੈ ਕਿ ਇਹ ਉਹ ਚੀਜ਼ਾਂ ਕੈਪਚਰ ਕਰਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਲੈਬ ਸੈਟਿੰਗ ਵਿੱਚ ਭਵਿੱਖਵਾਣੀ ਨਹੀਂ ਕਰ ਸਕਦੇ – ਤੁਸੀਂ ਸਮੇਂ ਦੇ ਨਾਲ ਮਾਡਲ ਡ੍ਰਿਫਟ ਨੂੰ ਵੇਖ ਸਕਦੇ ਹੋ (ਜੇ ਕਰ ਏਜੰਟ ਦੀ ਪ੍ਰਭਾਵੀਤਾ ਇਨਪੁੱਟ ਪੈਟਰਨਾਂ ਦੇ ਬਦਲਣ ਨਾਲ ਘਟਦੀ ਹੈ) ਅਤੇ ਅਣਸੁਣੀਆਂ ਪੁੱਛਗਿੱਛ ਜਾਂ ਸਥਿਤੀਆਂ ਨੂੰ ਫੜ ਸਕਦੇ ਹੋ ਜੇਕਰ ਉਹ ਤੁਹਾਡੇ ਟੈਸਟ ਡਾਟਾ ਵਿੱਚ ਨਹੀਂ ਸਨ। ਇਹ ਓਸ ਸਥਿਤੀ ਦੀ ਅਸਲੀ ਤਸਵੀਰ ਦਿੰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਏਜੰਟ ਵਰਤਿਆ ਜਾ ਰਿਹਾ ਹੈ।
ਆਨਲਾਈਨ ਮੁਲਾਂਕਣ ਆਮ ਤੌਰ ਤੇ ਆਭਾਸ਼ੀ ਅਤੇ ਸਿੱਧਾ ਯੂਜ਼ਰ ਫੀਡਬੈਕ ਇਕੱਠਾ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਚਰਚਾ ਕੀਤੀ ਗਈ, ਅਤੇ ਸੰਭਾਵਤ ਤੌਰ ‘ਤੇ ਸ਼ੈਡੋ ਟੈਸਟ ਜਾਂ A/B ਟੈਸਟ ਚਲਾਉਂਦਾ ਹੈ (ਜਿੱਥੇ ਏਜੰਟ ਦਾ ਨਵਾਂ ਸੰਸਕਰਨ ਪੁਰਾਣੇ ਨਾਲ ਤੁਲਨਾ ਕਰਨ ਲਈ ਸਾਥੀ ਤੌਰ ‘ਤੇ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ)। ਚੁਣੌਤੀ ਇਹ ਹੈ ਕਿ ਜੀਵੰਤ ਇੰਟਰੈਕਸ਼ਨਾਂ ਲਈ ਭਰੋਸੇਯੋਗ ਲੇਬਲ ਜਾਂ ਸਕੋਰ ਮਿਲਣਾ ਔਖਾ ਹੋ ਸਕਦਾ ਹੈ – ਤੁਸੀਂ ਯੂਜ਼ਰ ਫੀਡਬੈਕ ਜਾਂ ਡਾਊਨਸਟ੍ਰੀਮ ਮੈਟਰਿਕਸ (ਜਿਵੇਂ ਕਿ ਕੀ ਯੂਜ਼ਰ ਨੇ ਨਤੀਜੇ ‘ਤੇ ਕਲਿਕ ਕੀਤਾ) ‘ਤੇ ਨਿਰਭਰ ਕਰ ਸਕਦੇ ਹੋ।
ਦੋਹਾਂ ਦਾ ਮਿਲਾਪ
ਆਨਲਾਈਨ ਅਤੇ ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ ਪਰਸਪਰ ਵੱਖਰੇ ਨਹੀਂ ਹਨ; ਉਹ ਬਹੁਤ ਪੂਰਕ ਹਨ। ਆਨਲਾਈਨ ਨਿਗਰਾਨੀ ਤੋਂ ਪ੍ਰਾਪਤ ਜਾਣਕਾਰੀ (ਜਿਵੇਂ ਨਵੇਂ ਕਿਸਮ ਦੇ ਯੂਜ਼ਰ ਪ੍ਰਸ਼ਨ ਜਿੱਥੇ ਏਜੰਟ ਕੁਝ ਖਾਸ ਖ਼राब ਕਰਦਾ ਹੈ) ਨੂੰ ਆਫਲਾਈਨ ਟੈਸਟ ਡਾਟਾਸੈੱਟਾਂ ਨੂੰ ਵਧਾਉਣ ਅਤੇ ਸੁਧਾਰ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਵਿਰੁੱਧ, ਜੋ ਏਜੰਟ ਆਫਲਾਈਨ ਟੈਸਟਾਂ ਵਿੱਚ ਚੰਗਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, ਉਹ ਫਿਰ ਜ਼ਿਆਦਾ ਵਿਸ਼ਵਾਸ ਨਾਲ ਆਨਲਾਈਨ ਤੈਨਾਤ ਅਤੇ ਨਿਗਰਾਨੀ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।
ਅਸਲ ਵਿੱਚ, ਕਈ ਟੀਮਾਂ ਇੱਕ ਲੂਪ ਅਪਣਾਉਂਦੀਆਂ ਹਨ:
ਆਫਲਾਈਨ ਮੁਲਾਂਕਣ -> ਤੈਨਾਤ -> ਆਨਲਾਈਨ ਨਿਗਰਾਨੀ -> ਨਵੀਆਂ ਅਸਫਲਤਾ ਦੇ ਮਾਮਲੇ ਇਕੱਠੇ ਕਰੋ -> ਆਫਲਾਈਨ ਡਾਟਾਸੈੱਟ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ -> ਏਜੰਟ ਨੂੰ ਸੁਧਾਰੋ -> ਦੁਹਰਾਓ।
ਆਮ ਸਮੱਸਿਆਵਾਂ
ਜਦੋਂ ਤੁਸੀਂ AI ਏਜੰਟਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਤੈਨਾਤ ਕਰਦੇ ਹੋ, ਤੁਸੀਂ ਵੱਖ-ਵੱਖ ਚੁਣੌਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰ ਸਕਦੇ ਹੋ। ਇੱਥੇ ਕੁਝ ਆਮ ਸਮੱਸਿਆਵਾਂ ਅਤੇ ਉਹਨਾਂ ਦੇ ਸੰਭਾਵਤ ਹੱਲ ਦਿੱਤੇ ਗਏ ਹਨ:
| ਸਮੱਸਿਆ | ਸੰਭਾਵਤ ਹੱਲ |
|---|---|
| AI ਏਜੰਟ ਕਾਰਜ ਅਨੁਕੂਲ ਨਹੀਂ ਕਰ ਰਿਹਾ | - AI ਏਜੰਟ ਨੂੰ ਦਿੱਤਾ ਗਿਆ ਪ੍ਰੰਪਟ ਸੁਧਾਰੋ; ਉਦੇਸ਼ ਸਪਸ਼ਟ ਕਰੋ। - ਵੇਖੋ ਕਿ ਕਾਰਜਾਂ ਨੂੰ ਛੋਟੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਣਾ ਅਤੇ ਕਈ ਏਜੰਟਾਂ ਵੱਲੋਂ ਸੰਭਾਲਣਾ ਕਿਸੇ ਅਗਲੇ ਹਿੱਸੇ ਨੂੰ ਸੁਧਾਰ ਸਕਦਾ ਹੈ। |
| AI ਏਜੰਟ ਲਗਾਤਾਰ ਲੂਪ ਵਿੱਚ ਫਸ ਰਿਹਾ ਹੈ | - ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਸੰਪੂਰਨਤਾ ਦੀ ਸਪਸ਼ਟ ਸ਼ਰਤਾਂ ਹਨ ਤਾਂ ਕਿ ਏਜੰਟ ਨੂੰ ਪਤਾ ਹੋਵੇ ਕਿ ਕਦੋਂ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਰੋਕਣਾ ਹੈ। - ਜਟਿਲ ਕਾਰਜਾਂ ਲਈ ਜੋ ਤਰਕ ਅਤੇ ਯੋਜਨਾ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ, ਵੱਡਾ ਮਾਡਲ ਵਰਤੋ ਜੋ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਕਾਰਜਾਂ ਵਿੱਚ ਮਾਹਿਰ ਹੋਵੇ। |
| AI ਏਜੰਟ ਟੂਲ ਕਾਲਾਂ ਚੰਗੀ ਨਹੀਂ ਕਰ ਰਹੀਆਂ | - ਟੂਲ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਏਜੰਟ ਪ੍ਰਣਾਲੀ ਤੋਂ ਬਾਹਰ ਪਰਖੋ ਅਤੇ ਪ੍ਰਮਾਣਿਤ ਕਰੋ। - ਟੂਲ ਦੇ ਪਰਮੀਟਰ, ਪ੍ਰੰਪਟ, ਅਤੇ ਨਾਮਕਰਨ ਨੂੰ ਸੁਧਾਰੋ। |
| ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ ਸਥਿਰ ਨਹੀਂ ਕੰਮ ਕਰ ਰਿਹਾ | - ਹਰ ਏਜੰਟ ਨੂੰ ਦਿੱਤੇ ਗਏ ਪ੍ਰੰਪਟਾਂ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸੁਧਾਰੋ ਕਿ ਉਹ ਵਿਲੱਖਣ ਅਤੇ ਸਪਸ਼ਟ ਹੋਣ। - “ਰਾਊਟਿੰਗ” ਜਾਂ ਕੰਟਰੋਲਰ ਏਜੰਟ ਦੀ ਵਰਤੋਂ ਨਾਲ ਇੱਕ ਪੈਰਾਗਟਮਿਕ ਪ੍ਰਣਾਲੀ ਤਿਆਰ ਕਰੋ ਜੋ ਜਾਂਚੇ ਕਿ ਕਿਹੜਾ ਏਜੰਟ ਸਹੀ ਹੈ। |
ਇਹਨਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਦ੍ਰਸ਼ਟੀਯੋਗਤਾ ਨਾਲ ਜ਼ਿਆਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪਛਾਣਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਕੁਝ ਪਹਿਲਾਂ ਦਿੱਤੇ ਗਏ ਟ੍ਰੇਸ ਅਤੇ ਮੈਟਰਿਕ ਐਜੰਟ ਕੰਮ ਫਲੋ ਵਿੱਚ ਸਹੀ ਥਾਂ ਵੱਲ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਡਿਬੱਗਿੰਗ ਅਤੇ ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਬਹੁਤ ਜ਼ਿਆਦਾ ਕਾਰਗਰ ਹੁੰਦੀ ਹੈ।
ਲਾਗਤਾਂ ਦਾ ਪ੍ਰਬੰਧਨ
ਇੱਥੇ ਕੁਝ ਰਣਨੀਤੀਆਂ ਹਨ ਜੋ AI ਏਜੰਟਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਤੈਨਾਤ ਕਰਦੇ ਸਮੇਂ ਲਾਗਤਾਂ ਨੂੰ ਸੰਭਾਲਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ:
ਛੋਟੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ: ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲ (SLMs) ਕੁਝ ਏਜੰਸੀ ਕੇਸਾਂ ‘ਤੇ ਚੰਗਾ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਲਾਗਤਾਂ ਨੂੰ ਕਾਫੀ ਘਟਾ ਦੇਣਗੇ। ਜਿਵੇਂ ਕਿ ਪਹਿਲਾਂ ਦਿੱਤਾ ਗਿਆ ਹੈ, ਇੱਕ ਮੁਲਾਂਕਣ ਸਿਸਟਮ ਬਣਾਉਣਾ ਜੋ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਵੱਡੇ ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਨ ਲਈ ਜ਼ਰੂਰੀ ਹੈ, ਇਹ ਸਮਝਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੈ ਕਿ ਇੱਕ SLM ਤੁਹਾਡੇ ਮਾਮਲੇ ‘ਤੇ ਕਿੰਨਾ ਚੰਗਾ ਕੰਮ ਕਰੇਗਾ। ਸਰਲ ਕੰਮਾਂ ਜਿਵੇਂ ਕਿ ਇਰਾਦਾ ਵਰਗੀ ਕਲਾਸੀਫਿਕੇਸ਼ਨ ਜਾਂ ਪੈਰਾਮੀਟਰ ਨਿਕਾਸ ਲਈ SLMs ਦੀ ਵਰਤੋਂ ਕਰਨ ‘ਤੇ ਵਿਚਾਰ ਕਰੋ, ਜਦਕਿ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਜਟਿਲ ਤਰਕਸ਼ੀਲ ਕੰਮਾਂ ਲਈ ਰੱਖੋ।
ਰਾਊਟਰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨਾ: ਇੱਕ ਸਮਾਨ ਰਣਨੀਤੀ ਇਹ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਅਤੇ ਆਕਾਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਤੁਸੀਂ ਇੱਕ LLM/SLM ਜਾਂ ਸਰਵਰਲੈੱਸ ਫੰਕਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮੁਸ਼ਕਲਤਾ ਅਨੁਸਾਰ ਬਿਹਤਰ ਮਾਡਲਾਂ ਵੱਲ ਬੇਨਤੀਆਂ ਰਾਊਟ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਲਾਗਤਾਂ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਵੀ ਮਦਦ ਕਰੇਗਾ ਅਤੇ ਸਹੀ ਕੰਮਾਂ ‘ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਯਕੀਨੀ ਬਣਾਏਗਾ। ਉਦਾਹਰਨ ਲਈ, ਸਧਾਰਨ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਛੋਟੇ ਤੇ ਤੇਜ਼ ਮਾਡਲਾਂ ਵੱਲ ਰਾਊਟ ਕਰੋ, ਅਤੇ ਸਿਰਫ ਜਟਿਲ ਤਰਕਸ਼ੀਲ ਕੰਮਾਂ ਲਈ ਮਹਿੰਗੇ ਵੱਡੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਪ੍ਰਤਿਕ੍ਰਿਆਵਾਂ ਨੂੰ ਕੈਸ਼ ਕਰਨਾ: ਆਮ ਬੇਨਤੀਆਂ ਅਤੇ ਕੰਮਾਂ ਦੀ ਪਹਿਚਾਣ ਕਰਨਾ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਆਪਣੇ ਏਜੰਸੀ ਸਿਸਟਮ ਵਿੱਚ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਦਿੱਦੇ ਜਾਣਾ ਇੱਕ ਚੰਗਾ ਤਰੀਕਾ ਹੈ ਜੋ ਉਹਨਾਂ ਹੀ ਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਤੁਸੀਂ ਇਕ ਐਸਾ ਪ੍ਰਵਾਹ ਵੀ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਇਹ ਪਛਾਣ ਕਰੇ ਕਿ ਇੱਕ ਬੇਨਤੀ ਤੁਹਾਡੇ ਕੈਸ਼ ਕੀਤੀਆਂ ਬੇਨਤੀਆਂ ਨਾਲ ਕਿੰਨੀ ਮਿਲਦੀ-ਜੁਲਦੀ ਹੈ, ਜਿਹੜਾ ਵੱਧ ਤਰ੍ਹਾਂ ਮੂਲਭੂਤ AI ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਰਣਨੀਤੀ ਵਾਰ-ਵਾਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲਾਂ ਜਾਂ ਆਮ ਵਰਕਫਲੋ ਲਈ ਲਾਗਤਾਂ ਨੂੰ ਕਾਫੀ ਘਟਾ ਸਕਦੀ ਹੈ।
ਚਲੋ ਦੇਖੀਏ ਇਹ ਅਮਲ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ
ਇਸ ਸੈਕਸ਼ਨ ਦੇ ਉਦਾਹਰਨ ਨੋਟਬੁੱਕ ਵਿੱਚ, ਅਸੀਂ ਵੇਖਾਂਗੇ ਕਿ ਅਸੀਂ ਆਪਣੇ ਏਜੰਟ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਨਜ਼ਰਅੰਦਾਜ਼ੀ ਸੰਦਾਂ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰ ਸਕਦੇ ਹਾਂ।
ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ AI ਏਜੰਟਾਂ ਬਾਰੇ ਹੋਰ ਸਵਾਲ?
Microsoft Foundry Discord ਨਾਲ ਜੁੜੋਂ ताकि ਹੋਰ ਸਿਖਣ ਵਾਲਿਆਂ ਨਾਲ ਮਿਲ ਸਕੋ, ਦਫਤਰ ਘੰਟਿਆਂ ਵਿੱਚ ਸ਼ਿਰਕਤ ਕਰੋ ਅਤੇ ਆਪਣੇ AI ਏਜੰਟਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਮਿਲਣ।
ਪਿਛਲਾ ਪਾਠ
ਅਗਲਾ ਪਾਠ
ਅਸਵੀਕਾਰੋਪਣ: ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ।