왜 통과했고 왜 실패했는지 보여 준다: Copilot Studio 에이전트 평가(Evaluations) 대폭 개선
에이전트를 만들다 보면 이런 순간이 옵니다. 평가를 돌렸는데 몇 개가 실패로 나옵니다. 그런데 왜 실패했는지가 안 보입니다. 에이전트가 어떤 판단을 거쳤는지, 어떤 지식 소스를 참조했는지, 어디서 어긋났는지 알 수 없으니 결국 감으로 지시문을 고치고 다시 돌려 보게 됩니다.
평가 데이터셋을 만드는 것도 부담입니다. 제대로 된 테스트 케이스를 손으로 수십 개 작성하려면 시간이 상당히 들고, 그러다 보니 몇 개만 만들어 놓고 넘어가는 일이 생깁니다. 정작 커버리지가 필요한 영역은 비어 있게 되죠.
메시지 센터 공지 RM569607로 안내된 Improvements to agent evaluations experience는 이 두 가지 답답함을 함께 다룹니다. 메이커가 에이전트 품질과 동작을 더 잘 이해하도록 평가 경험을 강화합니다.
새로 추가되는 기능
Microsoft가 공지에서 나열한 신규 기능은 다음과 같습니다.
1. 더 풍부한 평가 설명 (richer evaluation explanations)
평가 결과에 대한 설명이 상세해집니다. 통과·실패라는 결과만이 아니라 그 판단의 근거를 볼 수 있습니다.
2. 에이전트 추론 추적 (agent reasoning traces)
에이전트가 답변에 이르기까지 어떤 추론 과정을 거쳤는지 추적할 수 있습니다. 블랙박스처럼 보이던 판단 과정이 드러납니다.
3. 인용된 지식 소스 (cited knowledge sources)
에이전트가 어떤 지식 소스를 참조했는지 확인할 수 있습니다. 잘못된 답변이 나왔을 때 “지식 소스가 잘못됐는지, 검색이 잘못됐는지, 해석이 잘못됐는지”를 구분하는 데 핵심 단서가 됩니다.
4. 평가 실행 비교 (evaluation run comparison)
여러 번의 평가 실행 결과를 서로 비교할 수 있습니다. 지시문을 수정한 뒤 이전 대비 개선됐는지, 아니면 다른 항목이 나빠졌는지 확인하는 데 필요한 기능입니다.
5. 대용량 데이터셋 지원 (support for larger datasets)
더 큰 평가 데이터셋을 다룰 수 있습니다. 테스트 케이스를 충분히 확보해도 처리 한계에 걸리지 않습니다.
6. 맞춤형 테스트 생성 (customizable test generation)
테스트 생성 방식을 조정할 수 있습니다. 자동 생성에만 의존하지 않고 조직 상황에 맞게 다듬을 수 있습니다.
7. 지식 소스로부터 데이터셋 생성 (dataset generation from knowledge sources)
이미 등록해 둔 지식 소스를 바탕으로 평가 데이터셋을 만들 수 있습니다. 테스트 케이스를 처음부터 손으로 쓰는 부담이 크게 줄어드는 부분입니다.
8. 사전 검증과 가이드
추가 검증과 안내를 통해 평가를 실행하기 전에 구성 문제를 해결할 수 있도록 돕습니다. 잘못된 설정으로 평가를 돌린 뒤 원인을 찾느라 시간을 쓰는 상황을 줄여 줍니다.
이 개선들이 해결하려는 것
공지는 개선의 목적을 네 가지로 정리합니다.
| 목적 | 관련 기능 |
|---|---|
| 품질 문제를 더 빠르게 식별 | 풍부한 설명, 추론 추적 |
| 평가가 왜 성공·실패했는지 이해 | 추론 추적, 인용된 지식 소스 |
| 실행 간 결과 비교 | 평가 실행 비교 |
| 수작업을 줄이며 더 나은 데이터셋 확보 | 대용량 데이터셋, 맞춤 테스트 생성, 지식 소스 기반 생성 |
왜 지금 중요한가
에이전트 개발에서 평가는 자주 뒤로 밀립니다. 만드는 일이 급하고, 평가는 “나중에 제대로 하자”가 되기 쉽죠. 그런데 에이전트가 실제 업무에 투입되면 상황이 달라집니다. 왜 이렇게 답했는지 설명할 수 없으면 신뢰를 얻기 어렵습니다.
특히 다음과 같은 상황에서 이번 개선이 도움이 됩니다.
- 답변 품질 문제의 원인 규명 — 지식 소스 인용과 추론 추적이 있으면 “지식이 없어서인지, 지시문이 모호해서인지”를 가릴 수 있습니다.
- 개선 효과 입증 — 실행 간 비교로 “고치기 전과 후”를 수치로 보여 줄 수 있습니다. 이해관계자 설득에 필요한 자료입니다.
- 평가 커버리지 확보 — 지식 소스 기반 데이터셋 생성으로 테스트 케이스를 빠르게 확보할 수 있습니다. 평가 커버리지 부족은 에이전트 품질 관리에서 가장 흔한 공백입니다.
- 반복 개선 사이클 — 기준선 기록 → 수정 → 재평가 → 비교라는 사이클이 도구 안에서 돌아갑니다.
일정
| 구분 | 시점 |
|---|---|
| 정식 출시(GA) | 2026년 9월 |
2026년 9월 정식 출시 예정으로 임박해 있습니다.
메이커·도입 담당자를 위한 체크포인트
- 평가를 개발 흐름에 넣으세요: 이번 개선의 전제는 “평가를 돌린다”입니다. 아직 평가를 정례화하지 않았다면, 출시 전에 에이전트별 평가 데이터셋을 만드는 절차부터 정해 두는 것이 좋습니다.
- 지식 소스 정비가 선행 조건: 지식 소스로부터 데이터셋을 생성하는 기능을 쓰려면 지식 소스 자체가 잘 정리되어 있어야 합니다. 오래된 문서나 중복 자료가 섞여 있으면 생성된 테스트 케이스의 품질도 떨어집니다.
- 자동 생성 결과는 검토 대상: 데이터셋을 자동 생성하더라도 사람의 검토는 필요합니다. 생성된 케이스가 실제 사용자 질문 패턴을 대표하는지 확인하세요.
- 기준선을 기록하세요: 실행 비교 기능을 제대로 쓰려면 수정 전 상태를 남겨 둬야 합니다. 첫 평가 결과를 기준선으로 보관하는 습관을 들이세요.
- 추론 추적의 활용 범위 이해: 추론 추적은 문제 진단용 도구입니다. 추적 내용이 곧 에이전트의 보장된 동작을 의미하지는 않으므로, 런타임 검증은 별도로 수행해야 합니다.
- 사전 검증 활용: 평가 실행 전 구성 문제를 잡아 주는 검증 기능이 추가됩니다. 평가가 자꾸 이상하게 나올 때 이 단계부터 확인하면 시간을 아낄 수 있습니다.
마무리
에이전트 개발이 “만들기”에서 “운영하기”로 넘어가는 단계에서 평가는 핵심 도구가 됩니다. 이번 개선의 방향은 명확합니다. 결과만 알려 주던 평가에서, 이유를 보여 주는 평가로.
추론 추적과 지식 소스 인용은 문제의 원인을 좁혀 주고, 실행 비교는 개선 여부를 증명해 주며, 지식 소스 기반 데이터셋 생성은 평가를 시작하는 문턱을 낮춰 줍니다. 세 가지가 함께 맞물릴 때 개선 사이클이 실제로 돌아갑니다.
2026년 9월 정식 출시 예정이니, 지금은 지식 소스를 정비하고 평가 절차를 설계할 시점입니다.
출처
- 원문 ID: RM569607 — Microsoft Copilot Studio: Improvements to agent evaluations experience
- 메시지 센터: https://mc.merill.net/message/RM569607
- Microsoft 365 로드맵: https://www.microsoft.com/microsoft-365/roadmap
실제 출시 일정·기능은 변경될 수 있습니다.