우리 에이전트에 맞는 평가기, Copilot Studio에서 생성하고 다듬습니다
범용 답변 품질만으로는 특정 업무 에이전트가 제대로 일하는지 판단하기 어렵습니다. 업무별 성공 조건에 맞춘 평가기를 만드는 작업도 필요합니다.
Copilot Studio의 generated custom grader는 특정 에이전트와 평가 시나리오에 맞는 사용자 지정 평가기를 생성하도록 돕습니다.
평가 설정의 출발점을 빠르게
원문은 생성된 평가기를 통해 초기 설정 부담을 줄이고, 다양한 에이전트와 비즈니스 시나리오로 평가 범위를 넓히기 쉽다고 설명합니다.
동시에 메이커가 사용 전에 평가기를 검토하고 조정할 수 있다는 점을 명시합니다. 생성 결과를 정답으로 간주해 바로 품질 판정에 쓰기보다는 실제 성공·실패 사례에 대입해 확인하는 편이 좋습니다.
일정과 운영 제안
기능은 2026년 10월 15일 GA에 도달했습니다. 10월 30일 공지된 내용이며 별도 필수 조치는 없습니다.
국내 메이커는 상담 답변의 필수 고지, 업무 완료 조건, 허용되지 않는 행동처럼 평가 목적을 명확히 정리해두면 좋습니다. 생성된 기준이 모호하거나 지나치게 관대한지 사람이 확인하는 단계도 필요합니다. 이는 적용 제안이며 원문에 없는 생성 화면이나 세부 설정 절차를 뜻하지는 않습니다.
마무리
평가기 생성은 평가 설계의 보조 수단입니다. 기준이 적절한지 검토할 책임까지 없어지는 기능은 아닙니다.
출처: MC1531924 — Copilot Studio - Generated custom grader. Microsoft 365 Roadmap. 원문에 개별 Roadmap ID는 표시되어 있지 않습니다. 실제 출시 일정·기능은 변경될 수 있습니다.