AI 상담 평가도 바로잡을 수 있어야 합니다: 완료된 평가의 통제된 수정
상담 품질 평가를 AI로 확대하면 일관된 기준을 넓게 적용할 수 있지만, 예측 오류나 맥락 오해까지 사라지는 것은 아닙니다. 사람이 평가했더라도 나중에 잘못된 점수를 발견할 수 있습니다.
Dynamics 365 Customer Service의 RM578070은 완료되거나 만료된 평가 결과를 권한 있는 사용자가 수정·재정의하는 기능을 다룹니다. 자동화를 되돌리는 예외 통로가 아니라, 평가 신뢰도를 지키는 Human-in-the-loop 장치입니다.
기본은 읽기 전용, 필요할 때 Edit
완료된 평가는 무결성을 위해 기본적으로 읽기 전용입니다. AI 예측 오류나 수동 평가 실수 등 불일치를 발견하면 감독자가 Edit 작업을 시작할 수 있습니다.
수정 모드에서는 평가 응답, 점수, 코멘트를 변경할 수 있습니다. 목표는 기록을 실제 상담 맥락과 업무 기준에 맞는 최종 검증 결과로 만드는 것입니다.
AI 평가와 사람 평가에 공통 적용
원문이 제시한 적용 범위는 AI 지원 평가, AI 에이전트가 생성한 평가, 수동 평가입니다. 평가 생성 방식에 관계없이 같은 수정 경험을 제공한다는 점이 중요합니다.
단, 누구나 점수를 바꾸는 기능은 아닙니다. 감독 권한을 가진 승인된 사용자만 재정의할 수 있습니다.
변경 흔적을 남기는 거버넌스
변경에는 누가 언제 수정했는지를 포함한 감사 신호가 남고, 재정의된 평가는 명확하게 표시됩니다. 보고서나 후속 검토에서 원래 결과와 통제된 수정의 존재를 구분할 수 있도록 하는 구조입니다.
국내 운영 조직에서는 수정 권한자, 이의 제기 접수 경로, 수정 사유 작성 원칙을 함께 정하는 것이 좋습니다. 이 권고는 제품이 별도 승인 워크플로를 자동 제공한다는 뜻은 아닙니다.
제공 상태
원문은 상태를 Launched, GA를 2026년 7월로 표기합니다. 관리자 등이 최종 사용자를 위해 활성화하는 기능으로 안내되어 있습니다.
마무리
평가 자동화의 성숙도는 얼마나 많이 점수를 매기는지만으로 판단하기 어렵습니다. 잘못된 결과를 권한과 감사 흔적을 유지하며 바로잡을 수 있어야, AI 평가를 현업에서 신뢰하고 확장할 수 있습니다.
출처: 원문 ID RM578070 · Microsoft 365 Roadmap 578070
실제 출시 일정·기능은 변경될 수 있습니다.