토큰 효율의 시대: MAI가 그리는 새로운 프론티어 성능 곡선
지난 몇 달의 이야기가 “토큰맥싱(Tokenmaxxing)” 이었다면, 업계의 다음 초점은 토큰 효율(token efficiency) 입니다. 질문은 이렇게 바뀝니다.
투입한 토큰당 최고의 성능을 어떻게 얻을 것인가? 그리고 투입한 1달러당 최고의 실제 고객 성과를 어떻게 얻을 것인가?
Microsoft AI는 이 질문을 프론티어 기업(frontier firm) 의 조건으로 규정합니다. 프론티어 성능을 비용 대비로 최적화해야 하고, 그 곡선 위에서 어디에 앉을지 선택하는 것이 결정적이라는 것입니다. 그리고 모델(models), 하네스(harnesses), RLE(강화학습 환경)를 함께 최적화(co-optimizing) 하면 자사에 맞는 지점을 고를 수 있다고 말합니다.
핵심 통찰은 명확합니다. 대부분의 경우, 모든 작업에 프론티어 범용 모델이 필요하지는 않습니다. 특정 제품에 맞춰 모델을 튜닝하면 프론티어 성능을 유지하거나 넘어서면서도 토큰 비용을 극적으로 줄일 수 있습니다.
출발점: MAI-Cyber-1-Flash와 MDASH
지난 분기 MAI의 힐 클라이밍 머신(hill-climbing machine) 이 집중한 결과가 이번 주 공개된 MAI-Cyber-1-Flash입니다. MDASH 하네스에 최적화된 이 모델은 다음 성과를 냈습니다.
- CyberGym 벤치마크 1위 — Mythos 대비 12%p 우위
- 비용은 50% 수준
- 놀랍게도 H100에서 서비스됩니다
설계 의도는 전체 작업의 최대 90%를 효율적으로 처리하는 것이었습니다. 그래야 MDASH가 정말로 필요한 10%의 극히 어려운 문제에만 함대에서 가장 크고 비싼 모델(이 경우 GPT-5.4)을 아껴 쓸 수 있기 때문입니다.
한 분기, 열 개 넘는 모델 — 그리고 실제 수치
Satya Nadella가 Q4 실적 발표에서 언급했듯, 지난 분기 이후 Microsoft AI는 이미지·음성·전사·코딩·보안 전반에 걸쳐 12개가 넘는 새 모델을 출시했습니다. 이 모델들은 이미 Microsoft의 가장 널리 쓰이는 제품 다수를 구동하며, 훨씬 적은 토큰으로 품질을 유지하거나 개선하고 있습니다. 많은 경우 GPU 비용을 50~90% 절감했습니다.
MAI-Code-1-Flash — GitHub Copilot
GitHub 동료들과 함께 만든(hand-in-hand) 모델입니다. 6월 이후 수백만 명의 개발자가 일상 업무에서 사용하고 있습니다. VS Code에서 GPT-5.4 Mini 및 Claude Haiku 4.5 대비:
- 코드 수락률(code accept rate) 10% 높음
- 중앙값 토큰 사용량 10% 낮음
- 이미 리텐션 개선도 확인
Excel — 같은 체크포인트, 다른 환경
같은 체크포인트를 Excel RL 환경에서 학습시켜, 가장 일반적인 작업에서 GPT-5.6에 필적하는 성능을 달성했습니다. 그러면서도 더 비용 효율적이고, 최신 고가 가속기가 아니라 A100이나 H100에서 서비스할 수 있을 만큼 작습니다.
MAI-Image-2.5-Flash — 이미지
- Bing Image Creator의 종단 간 기본 모델
- PowerPoint에서 프로덕션 적용 — GPT-Image-2 대비 GPU 비용 최대 84% 절감
- OneDrive 주요 편집 시나리오의 기본값 — 저장률(save rate) 26% 증가, 토큰 효율 최대 2.5배
MAI-Voice-2-Flash — 음성
Dynamics 365 Contact Center를 구동합니다. T-Mobile, EasyJet 같은 고객이 이 위에서 콜센터 에이전트를 구축하고 있으며, GPU 비용을 최대 89% 절감했습니다.
MAI-Transcribe-1.5 — 전사
Dragon Copilot의 58개 언어 다국어 워크플로를 담당합니다. 17만 명의 의료 제공자가 사용하며 지난 분기 2,800만 건의 환자 진료를 처리한 솔루션입니다. 테스트 결과 전사 및 언어 식별 오류율이 상대 기준 50% 감소했습니다.
실리콘까지 함께 설계
여기에 더해, 자체 실리콘과 모델을 함께 설계(co-designing) 함으로써 Maia 200에서 MAI 모델 실행 시 와트당 성능이 40% 향상되는 결과를 얻고 있습니다.
비용만이 아니다 — 진짜 이유는 ‘회복탄력성’
이 글에서 가장 눈여겨볼 대목은 비용 절감 수치 뒤에 있는 논리입니다.
이제 모든 기업은 의존하고 있는 어느 한 모델이 사라질 수 있다고 가정해야 합니다. 보안 사고, 비즈니스나 정책의 불일치, 지정학적 변화 등을 통해서 말입니다.
그래서 내리는 결론은 이렇습니다.
제품이나 에이전트 시스템 안의 모든 모델은 대체 가능(substitutable)해야 하며, 이는 하네스·컨텍스트·메모리·액션 공간을 단일 모델 계열과 독립적으로 구축할 때만 가능합니다.
이것이 Microsoft AI가 만들었다는 힐 클라이밍 머신의 정체입니다.
한국의 Copilot·에이전트 도입 담당자에게 이 문장은 실무적으로 중요합니다. 특정 모델에 아키텍처를 강하게 결합해 두면, 모델 하나의 변화가 전체 시스템의 리스크가 됩니다. 반대로 하네스와 컨텍스트·메모리·액션을 모델과 분리해 두면 모델을 갈아 끼우는 선택지가 생깁니다.
한국 조직을 위한 실행 포인트
- 모델 라우팅 설계: “90%는 경량 특화 모델, 10%만 대형 모델” 구조가 성능 손실 없이 비용을 반으로 줄였습니다. 사내 에이전트에서도 작업 난이도별 라우팅을 기본 설계로 검토할 만합니다.
- 모델 종속성 점검: 지금 운영 중인 에이전트가 특정 모델 계열에 얼마나 묶여 있는지 확인해 보세요. 프롬프트·도구 정의·메모리 구조가 모델 독립적인지가 핵심 질문입니다.
- 작업별 특화의 힘: 같은 체크포인트를 Excel 환경에서 학습시켜 프론티어급 성능을 낸 사례는, 범용성보다 특화가 유리한 구간이 분명히 있음을 보여 줍니다.
- 비용을 성과 단위로 측정: “토큰당 성능”이 아니라 “투입 1달러당 실제 고객 성과” 로 지표를 잡는 관점이 이 글의 핵심입니다.
마무리
Microsoft AI는 이것이 진정으로 새로운 성능 곡선의 시작이라고 말합니다. 그리고 그 곡선의 형태는 모델이 아니라 시스템을 나타낸다고 덧붙입니다. 이 곡선을 따라가면 더 나은 품질, 더 낮은 비용, 더 많은 선택지를 얻게 된다는 것입니다.
동시에 팀은 아직 매우 이른 단계이며 배울 것이 많다는 점도 솔직히 인정합니다. 다만 방향은 분명합니다. 비용 대비 성과(cost-to-outcome) 곡선에서 프론티어를 옮기는 힐 클라이밍입니다.
모델 하나의 성능 경쟁을 넘어 시스템 전체의 효율로 논의가 옮겨가고 있다는 점 — 에이전트를 설계하는 모든 조직이 참고할 만한 전환입니다.
출처: Optimizing the frontier performance curve (Microsoft AI News, 2026-07-30)
자세한 내용은 원문을 참조하세요.