Copilot Studio 평가 개선: 점수 너머의 이유와 회귀까지 확인하세요
에이전트 평가에서 합격률만 보면 실제 수정할 지점을 찾기 어렵습니다. 왜 실패했는지, 어떤 지식을 참고했는지, 지침을 바꾼 뒤 이전에 잘하던 질문까지 틀리게 되지는 않았는지 알아야 합니다.
2026년 10월 21일 MC1518085는 Copilot Studio의 Evaluations 경험 개선을 안내하며 공지 시점에 사용 가능하다고 설명합니다. 이 글은 공지에 명시된 기능 범위를 기준으로 정리합니다.
평가 결과를 설명하는 정보가 늘어납니다
성공과 실패에 대한 더 풍부한 설명, reasoning traces와 인용된 지식 출처를 통해 에이전트의 동작과 grounding을 살펴볼 수 있습니다. 평가 실행 간 비교는 변경으로 생긴 개선뿐 아니라 회귀(regression)를 찾아내는 데 도움이 됩니다.
다만 원문은 추론 추적에서 제공되는 정보의 세부 형식까지 설명하지 않습니다. 이를 모델의 내부 사고 과정 전체를 공개하는 기능으로 확대 해석해서는 안 됩니다.
데이터셋은 최대 100개 테스트 케이스
공지가 안내한 데이터 준비 기능은 다음과 같습니다.
- 데이터셋당 최대 100개 테스트 케이스 지원
- 데이터셋과 질문 생성 방식 사용자 지정
- 구성된 지식 소스로부터 데이터셋 생성
- 단일 응답(single-response) 데이터셋 지원
자동 생성된 질문은 준비 시간을 줄일 수 있지만, 업무 대표성과 정답 기준은 메이커가 검토해야 합니다. 예를 들어 한국어 사내 규정 에이전트라면 일반 질문뿐 아니라 예외 규정, 접근할 수 없는 문서, 용어 혼동 사례를 평가에 포함하는 것이 좋습니다. 이는 활용 제안이지 원문에 명시된 기본 데이터셋 구성은 아닙니다.
실행 전 오류를 줄이는 검증
개선 사항에는 구성 검증, 연결 전제조건 확인, 크레딧 한도 적용과 조치 가능한 오류 메시지도 포함됩니다. 결과가 나쁘기 전에 평가를 제대로 실행할 수 있는 환경인지 확인하는 단계가 강화되는 셈입니다.
실무에서는 같은 데이터셋을 유지한 채 지침·지식 구성 변경 전후를 비교하고, 점수 변화와 출처를 함께 확인하는 방식으로 활용할 수 있습니다. 공지는 별도 필수 조치를 요구하지 않으며, 구체적인 과금 단가나 모든 환경의 제공 조건을 새로 정의하지는 않습니다.
마무리
평가는 일회성 출시 심사보다 반복적인 개선 루프에 가까워지고 있습니다. 결과 설명과 실행 비교를 활용하되, 자동 생성된 데이터셋 자체도 품질 관리 대상으로 다루는 것이 중요합니다.
출처: MC1518085 — Microsoft Copilot Studio - Improvements to agent Evaluations experience · Microsoft 365 Roadmap (이 공지에는 개별 Roadmap ID가 명시되지 않았습니다). 실제 출시 일정·기능은 변경될 수 있습니다.