의료 AI도 정답보다 과정이 중요하다: MAI-DxO가 보여준 에이전트 설계의 다음 단계
복잡한 업무에서 AI의 실력은 마지막 답변 한 줄만으로 판단하기 어렵습니다. 어떤 정보를 먼저 확인했는지, 추가 작업이 정말 필요했는지, 그 과정에 얼마의 비용이 들었는지도 중요합니다. Microsoft AI가 공개한 의료 AI 연구는 이 문제를 단계별 진단 추론과 오케스트레이션이라는 관점에서 다룹니다.
MAI Health Team은 원문 표기 2026년 10월 22일에 Microsoft AI Diagnostic Orchestrator, MAI-DxO의 연구 결과를 소개했습니다. 게시 메타데이터는 2026-10-22T18:01:00+00:00으로, 한국 시간으로는 10월 23일 오전 3시 1분입니다. 이번 글의 날짜는 이 한국 시간 기준입니다.
Copilot·에이전트 개발자가 주목할 지점은 의료 성능 수치만이 아닙니다. 여러 역할이 가설을 제안하고 반박하며, 새로 얻은 근거를 반영해 다음 행동을 선택하는 구조와 그 구조를 평가하는 방법이 핵심입니다. 다만 이번 발표는 연구 및 평가 결과이며, 일반 Copilot에 자율 진단 기능이 정식 출시되었다는 의미는 아닙니다.
SDBench: 정보를 한꺼번에 주지 않는 평가
의학 지식 시험에서는 문제에 필요한 정보가 처음부터 주어지는 경우가 많습니다. 반면 실제 진단에서는 제한된 정보로 시작해 추가 질문이나 검사를 선택하고, 결과에 따라 판단을 바꿉니다.
Sequential Diagnosis Benchmark(SDBench)는 이 차이를 평가에 반영합니다. AI나 의사가 처음부터 모든 자료를 받는 대신, 다음에 어떤 정보를 요청할지 결정하는 상호작용형 사례를 사용합니다.
원문이 설명한 평가 자료는 다음 두 종류입니다.
| 평가 자료 | 구성과 목적 |
|---|---|
| NEJM 사례 | The New England Journal of Medicine의 복잡한 증례 304건으로 어려운 진단 추론 평가 |
| MIMIC-IV-ED 사례 | 보다 일반적인 응급실 내원 사례로 다른 유형의 진단 상황 평가 |
평가 항목은 진단 정확도, 요청한 근거, 추정 검사 비용입니다. 정답에 도달했는지뿐 아니라 그 답을 얻기 위해 어떤 경로를 택했는지까지 살펴봅니다. 원문에는 MIMIC-IV-ED 평가 사례 수가 명시되어 있지 않으므로, NEJM의 304건을 두 자료 전체의 규모로 해석해서는 안 됩니다.
업무용 에이전트로 바꾸어 생각하면, 최종 보고서의 품질과 함께 불필요한 검색·도구 호출·유료 API 사용 여부도 평가하는 접근에 가깝습니다. 이는 연구에서 도출한 설계 시사점이지, SDBench가 일반 업무용 Copilot 평가 도구라는 뜻은 아닙니다.
MAI-DxO: 답을 바로 내는 대신, 가설을 검토하는 구조
MAI-DxO는 하나의 모델에 즉시 정답을 요구하기보다 가상의 의사 패널처럼 역할을 나누어 추론을 조율합니다. 역할들은 가능한 진단을 제안하고, 유용한 질문이나 검사를 고르며, 형성 중인 판단에 이의를 제기합니다.
오케스트레이터는 여러 차례의 논의를 조정하면서 새 근거에 따라 판단을 갱신합니다. 이때 추가 검사가 줄 정보의 가치와 비용도 함께 고려합니다.
에이전트 개발 관점에서는 세 가지 원칙을 읽을 수 있습니다.
- 가설과 검증을 분리하기: 초안을 만드는 역할과 그 초안의 약점을 찾는 역할을 구분합니다.
- 근거에 따라 다음 행동을 바꾸기: 고정된 순서를 무조건 실행하기보다 새 정보를 반영합니다.
- 추가 행동의 효용을 평가하기: 더 많은 도구 호출이 언제나 더 좋은 결과로 이어진다고 가정하지 않습니다.
이는 개념 수준의 참고점입니다. 원문은 이 시스템을 Copilot Studio에서 그대로 배포하는 절차나 공개 커넥터를 안내하지 않습니다.
연구 결과: 비교 조건과 비용을 함께 봐야 한다
Microsoft AI가 보고한 주요 수치는 아래와 같습니다.
| 평가 조건 | MAI-DxO 진단 정확도 | 의사 비교군 정확도 | 해석 |
|---|---|---|---|
| 복잡한 NEJM 사례, 의사에게 외부 참고자료 없음 | 83% | 22% | 정확도 비율 약 3.7배 |
| 복잡한 NEJM 사례, 의사가 교과서·인터넷 이용 | 83% | 36% | 정확도 비율 약 2.3배 |
| 보다 일반적인 MIMIC-IV-ED 응급실 사례 | 80% | 47% | 정확도 비율 약 1.7배 |
여기서 배수는 해당 평가 조건에서의 정확도 비율입니다. 모든 질환이나 실제 의료 현장에서 의사보다 그만큼 우수하다는 뜻으로 일반화할 수 없습니다.
비용에 더 큰 가중치를 둔 NEJM 평가 구성에서는 정확도 81%를 유지하면서 비교 시스템 대비 절반 미만의 비용을 기록했다고 설명합니다. 발표의 도입부는 조건에 따라 비용을 절반 또는 3분의 1 수준으로 줄였다고 소개하지만, 이를 모든 구성에 공통으로 적용되는 고정 절감률로 읽어서는 안 됩니다. 여기서 다루는 비용 역시 벤치마크의 추정 검사 비용으로, 국내 병원의 실제 진료비나 전체 운영비 절감률과는 구분해야 합니다.
Microsoft는 두 데이터셋에서 MAI-DxO보다 정확도가 높으면서 동시에 비용도 낮은 다른 인간 또는 AI 접근은 없었다고 보고합니다. 이 역시 연구에서 비교한 접근과 평가 범위에 한정된 주장입니다.
또한 GPT-5.5를 포함한 더 새로운 모델로 평가를 반복했을 때, 오케스트레이션 방법을 바꾸지 않고도 성능상의 이점이 유지되거나 개선되었다고 설명합니다. 특정 모델 세대만이 아니라 추론을 조직하는 방식 자체가 중요할 수 있다는 결과입니다.
재현 가능한 평가를 위해 공개하는 것
Microsoft는 일부 NEJM 사례를 대상으로 SDBench 관련 코드를 오픈소스로 공개한다고 밝혔습니다. 공개 범위에는 다음이 포함됩니다.
- 벤치마크
- Gatekeeper
- Judge
- 비용 추정 코드
연구자는 이를 활용해 평가를 재현하거나 다른 모델을 시험하고, 결과를 검토·확장할 수 있습니다. 일부 NEJM 사례 대상 공개라는 범위를 유지해서 이해해야 하며, 모든 평가 데이터나 임상 배포용 MAI-DxO 제품 전체가 공개되었다고 단정할 수는 없습니다.
시작점은 SDBench 프로젝트입니다. 실제 재현에 필요한 실행 환경, 데이터 이용 조건, 모델 접근 요건은 프로젝트 안내에서 확인해야 합니다. 원문이 구체적인 설치 명령이나 라이선스 요건을 제시하지 않으므로 여기서 임의의 실행 절차를 추가하지 않습니다.
연구 근거는 Science 논문과 의료 초지능의 방향을 다룬 BMJ Digital Health and AI 논문으로 연결되어 있습니다.
벤치마크 다음 단계는 실제 임상 검증
Microsoft는 보스턴의 Beth Israel Deaconess Medical Center와 새롭게 협력해 여러 병원 환경에서 임상 추론 능력을 평가할 계획이라고 밝혔습니다.
예정된 전향적 연구에서는 환자가 시스템과 직접 상호작용하고, 시스템의 성능을 의사의 독립적인 평가와 비교합니다. 발표 시점에는 앞으로 수행할 검증 계획이므로, 해당 연구가 완료되어 효과가 입증된 것처럼 설명해서는 안 됩니다.
더 넓은 연구 방향으로는 Mayo Clinic과의 협력도 언급합니다. 첨단 AI, 임상 전문성, 시간에 따라 축적되는 다중양식 데이터를 결합해 실제 진료의 복잡성과 다양성을 다루겠다는 구상입니다.
또한 Microsoft Research 연구자와 Dragon Copilot, PowerScribe 제품 관련 팀 등 Microsoft의 의료 분야 역량을 Microsoft AI의 통합된 노력으로 모은다고 설명합니다. 이 조직적 방향이 곧 각 제품에 MAI-DxO 기능이 출시되었다는 뜻은 아닙니다. 원문에는 MAI-DxO의 일반 제공 일정, 가격, 한국 제공 여부가 제시되어 있지 않습니다.
한국의 Copilot·에이전트 담당자가 가져갈 체크포인트
다음은 원문의 연구 결과를 바탕으로 정리한 도입·개발상의 제안입니다. Microsoft가 발표한 제품 기능이나 의무 요건과는 구분해야 합니다.
| 점검 항목 | 업무용 에이전트에 적용할 질문 |
|---|---|
| 과정 평가 | 최종 답변 외에 검색·질문·도구 호출의 적절성도 측정하는가? |
| 품질과 비용 | 성공률이 높아져도 호출 비용과 지연 시간이 감당 가능한가? |
| 독립적인 검토 | 에이전트가 만든 가설을 다른 기준이나 역할로 반박·검증하는가? |
| 근거 추적 | 어떤 자료 때문에 판단과 다음 행동이 달라졌는지 남기는가? |
| 사람의 책임 | 영향이 큰 결정을 누가 검토하고 승인하는지 정해져 있는가? |
| 현장 검증 | 테스트 사례의 점수가 실제 사용자 업무에서도 유지되는가? |
특히 의료 분야에서는 미국 사례 중심의 벤치마크 결과를 한국의 환자군, 진료 환경, 검사 비용 체계에 그대로 대입해서는 안 됩니다. 개인정보 보호, 임상적 안전성, 규제 및 기관별 승인 요건을 별도로 검토해야 합니다.
이 글은 연구와 에이전트 설계를 설명하는 정보이며, 개인의 진단이나 치료를 위한 의학적 조언이 아닙니다.
마무리: 좋은 에이전트는 무엇을 더 알아야 하는지도 판단한다
이번 연구가 던지는 질문은 “AI가 정답을 맞힐 수 있는가?”를 넘어섭니다. 어떤 근거를 더 모을지, 기존 가설을 언제 수정할지, 추가 행동의 비용이 가치 있는지까지 평가해야 한다는 것입니다.
Copilot과 업무용 에이전트를 만드는 조직에도 같은 관점이 유용합니다. 모델의 성능만 비교하기보다, 근거 수집과 검토 과정을 설계하고 실제 업무에서 품질·비용·안전성을 함께 확인하는 것이 다음 단계입니다.
출처: Building Medical Superintelligence — Microsoft AI, MAI Health Team
원문 표기일: 2026년 10월 22일. 게시 메타데이터의 한국 시간 기준일: 2026년 10월 23일. 수치와 연구·협력 상태는 해당 발표 시점 기준입니다. 자세한 내용은 원문 참조.