MAI-Base-2 사전학습 완료: Microsoft가 공개한 차세대 AI 엔진의 설계
Copilot과 업무 에이전트를 평가할 때 우리는 주로 답변 품질과 도구 실행 능력을 봅니다. 그 밑에는 모델을 어떤 데이터로, 얼마나 안정적이고 효율적으로 학습했는가라는 문제가 있습니다. Microsoft AI의 이번 발표는 그 기반을 들여다볼 수 있는 기술 공개입니다.
Microsoft AI는 2026년 10월 15일 UTC, 한국 시간으로 10월 16일에 공개한 글에서 MAI-Base-2의 사전학습을 완료했다고 밝혔습니다. 총 2.8조 파라미터를 갖는 Mixture-of-Experts(MoE) 기반 모델이며, 활성 파라미터는 800억 개입니다. 6월에 발표한 MAI-Thinking-1이 MAI-Base-1을 기반으로 후속학습한 모델이었다면, 이번에는 다음 세대의 기반 모델을 소개한 것입니다.
먼저 경계를 분명히 해야 합니다. 원문 시점의 MAI-Base-2는 후속학습(post-training) 중입니다. 이번 발표를 Microsoft 365 Copilot에 대한 탑재 완료, 일반 사용 가능한 API 출시, 또는 모델 가중치의 공개 배포로 읽어서는 안 됩니다.
한눈에 보는 학습 규모와 현재 상태
| 항목 | 원문에서 공개한 내용 |
|---|---|
| 모델 구조 | MoE 기반 모델, 모든 레이어에 MoE 적용 |
| 파라미터 | 총 2.8조 개, 활성 800억 개 |
| 학습 인프라 | GB200 GPU 16,000개 |
| 학습 기간 | 2026년 8~9월에 걸쳐 38일 |
| 전체 학습 혼합물 | 50조 토큰 |
| 평균 MFU | 21% |
| Goodput | 학습이 실제로 진행된 시간 비율 89% |
| 웹 데이터 지식 기준일 | 2026년 3월 |
| 현재 단계 | 사전학습 완료, 후속학습 진행 중 |
MFU(model FLOPs utilization)는 계산 자원을 얼마나 활용했는지 보는 지표입니다. Microsoft는 이 수치를 GB200의 BF16 이론 최대치인 2.5 PFLOPS로 정규화했으며, 재계산(rematerialization)과 옵티마이저의 FLOPs는 제외했다고 설명합니다. 따라서 다른 학습 사례와 비교할 때는 같은 산식인지 확인해야 합니다. Goodput 89% 역시 응답 정확도가 아니라 학습 시간의 유효 활용 비율입니다.
“4~12배 효율적”이라는 수치의 정확한 의미
Microsoft는 별도로 남겨 둔 평가 데이터에서 MAI-Base-2가 시험한 다른 공개 가중치 모델보다 낮은 BPB(bits-per-byte) 를 기록했다고 보고했습니다. BPB는 토크나이저 차이의 영향을 줄여 텍스트 예측 성능을 비교하는 지표로, 낮을수록 좋습니다.
비교에는 DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL이 포함됩니다. 다만 뒤의 세 모델은 후속학습된 체크포인트만 이용할 수 있었고, 원문도 후속학습이 이 평가에 영향을 줄 수 있다는 단서를 붙였습니다.
핵심 효율 수치는 다음과 같이 해석해야 합니다.
- DeepSeek-V4-Pro-Base 대비 4.2~12.3배: 네 가지 평가에서 같은 BPB에 도달하는 데 필요한 사전학습 FLOPs를 스케일링 법칙으로 추정해 비교한 값입니다.
- MAI-Base-1 대비 6.3~12.7배: 같은 방식으로 살펴본 학습 레시피의 FLOPs 효율 개선입니다.
- 추론 속도·API 가격과는 별개: 사용자가 받는 답변이 12배 빨라진다거나, Copilot 이용 비용이 그만큼 줄어든다는 뜻은 아닙니다. MAI-Base-2 자체에는 비교 기준 모델보다 더 많은 학습 FLOPs를 투입했습니다.
코드 평가는 MAI 자체 코드베이스를 사용했고, STEM·수학·Q&A 평가는 학습 데이터 오염 위험을 낮추기 위해 외부 업체에 의뢰했습니다. 평가 세트와 학습 데이터 간 중복 제거도 수행했다고 밝혔습니다. 이는 Microsoft가 공개한 자체 평가 결과이지, 모든 업무·언어·에이전트 시나리오에서 우위를 입증한 독립 평가라는 뜻은 아닙니다.
작은 실험을 거대한 모델로 옮기는 방법
데이터 반복까지 맞추는 source scaling
팀은 레이어 수로 모델 크기를 정하는 scaling ladder를 사용했습니다. 레이어 수를 L이라 하면 hidden size는 (256/3) × L, query head 수는 L을 가장 가까운 16의 배수로 반올림하는 식으로 아키텍처를 연결했습니다. 모델 크기를 바꿀 때 활성 파라미터당 학습 토큰 수(TPP)는 일정하게 유지했습니다.
여기에 source scaling을 더했습니다. 예를 들어 전체 50조 토큰 학습에서 특정 데이터셋을 8회 반복한다면, 5조 토큰짜리 작은 실험에서는 해당 데이터의 10분의 1만 사용해 역시 8회 반복합니다. 작은 모델만 훨씬 다양한 고유 데이터를 보는 상황을 피하고, 큰 모델에서 발생할 과적합과 정규화 문제를 더 잘 예측하려는 설계입니다.
학습률과 weight decay를 함께 탐색
학습률(LR)과 weight decay(WD)는 서로 영향을 주므로 따로 최적화하지 않았습니다. 탐색 격자를 log(LR)와 log(LR × WD) 축으로 구성하고, 평가 결과에 2차 함수를 맞춰 최적점을 찾았습니다.
원문이 제시한 경험적 법칙은 다음과 같습니다. 여기서 steps는 학습 스텝 수입니다.
LR* × WD* = 17.04 / stepslog(LR*) = -1.51 + 0.175 × log(TPP) - 0.573 × log(steps)Dropout = sigmoid(0.526 × (log(ActiveParams) - 27.2))
이 값들은 작은 실험에서 추정하고 중간 규모에서 검증한 해당 학습 설정의 결과입니다. 기업의 소형 모델이나 미세조정 작업에 그대로 복사할 보편적인 권장값은 아닙니다.
MoE와 GPU 인프라를 함께 바꾼 이유
MoE는 입력 토큰을 여러 expert에 나눠 처리합니다. 문제는 특정 expert에 토큰이 몰릴 때 발생합니다. 메모리를 과도하게 예약하면 낭비가 생기고, 토큰을 버리면 모델 품질이 나빠질 수 있습니다.
Microsoft는 expert를 그룹으로 묶고 dispatch → compute → collect를 여러 라운드로 실행하는 dropless MoE를 구현했습니다. 각 expert의 토큰 수용량을 고정하되 초과분은 다음 라운드에서 처리하고, 같은 그룹의 남는 용량도 활용합니다. 역전파에서도 그룹 단위 재계산과 다중 라운드를 적용해 라우팅 불균형에 따른 메모리 변동을 줄였습니다.
용량을 크게 잡으면 메모리를 더 쓰고, 작게 잡으면 라운드와 계산이 늘어납니다. 실제 운영에서는 정상 상태가 한 라운드로 처리되도록 설정했습니다. 통신과 계산을 겹치고, GEMM·NVLink 작업을 그룹화하고, GPU에서 직접 all-to-all 통신을 시작하며, symmetric memory와 레이어 간 일괄 load-balancing loss 연산으로 부가 비용도 줄였습니다.
이러한 개선으로 MoE 레이어의 MFU는 24%에서 35%로 상승했습니다. 앞서 표의 전체 학습 평균 MFU 21%와는 측정 범위가 다른 수치입니다. 그 결과 MAI-Base-1에서 사용한 교대 레이어 방식 대신, MAI-Base-2에서는 모든 레이어에 MoE를 적용할 수 있었다고 설명합니다.
설계 판단에는 같은 평가 손실에 도달하는 데 필요한 FLOPs뿐 아니라 실제 경과 시간도 사용했습니다. 계산량은 줄어도 현재 하드웨어에서 느려지는 변경이라면, 인프라 개선이 필요한 지점으로 본 것입니다.
Muon과 gradient clipping: 속도뿐 아니라 안정성
옵티마이저는 AdamW보다 안정적인 학습과 효율 개선을 보인 Muon을 채택했습니다. Muon은 Newton–Schulz 연산에 전체 모멘텀 행렬이 필요하지만, ZeRO는 모멘텀을 GPU에 분산 저장합니다. 이를 맞추기 위해 FP32 모멘텀 조각을 갱신하고 BF16으로 변환한 뒤, all-to-all로 전체 행렬을 모아 연산하고 다시 원래 조각으로 돌려보내 FP32 가중치 업데이트에 반영했습니다.
여러 배치의 prefetch, 재분할 메타데이터 재사용, 일부 복제 가중치의 별도 통신 경로도 적용했습니다. 최적화 후 Muon은 평균 학습 반복 시간의 2.1%, 165ms를 차지했습니다. 팀이 추정한 이론적 하한은 55ms였으며, 차이의 원인으로 느린 작업자, 커널 실행 오버헤드, 부하 불균형, 메모리 복사·할당을 제시했습니다.
안정성 측면에서는 전체 배치의 가중치 gradient를 일괄 축소하는 방식에 더해, 네트워크의 일부 지점에서 activation gradient clipping을 사용했습니다. 소수의 이상 데이터 때문에 정상적인 예제의 기여까지 함께 줄어드는 문제를 더 정밀하게 완화하려는 접근입니다.
흥미롭게도 이 장치는 데이터 진단에도 쓰였습니다. 코드 데이터에서 라이선스 헤더가 문장 중간에 잘린 예제를 추적해 전처리 버그를 발견하고 수정했습니다. 모델 학습 안정화와 데이터 파이프라인 품질 관리가 연결된 사례입니다.
데이터: 증류 없이 확장하고, 비전을 처음부터 통합
Microsoft는 다른 모델의 지식을 증류하는 방식이 아니라 organic data를 기반으로 학습하고, 모든 학습 토큰을 자체 파이프라인에서 처리했다고 밝혔습니다. MAI-Base-1 대비 고유 학습 토큰 기준 코퍼스는 약 36% 증가했습니다.
품질 분류, 주제별 분류, 웹 파싱, 중복 제거, 평가 데이터 오염 제거를 개선했고, 임베딩 기반 다양성 샘플링으로 새로운 정보를 우선했습니다. 웹 크롤러는 robots.txt 및 관련 메타 태그·HTML 제어를 존중하고, Microsoft Responsible AI 정책 위반 소스와 USTR의 Notorious Markets 목록에 해당하는 소스를 제외한다고 설명합니다.
MAI-Base-2는 encoder-free VLM 구조로 비전을 사전학습부터 통합했습니다. 이미지·텍스트 쌍과 텍스트·이미지가 섞인 문서를 늘렸으며, 이미지 설명, 차트 이해, 시각적 위치 파악, 공간 추론, 의료 이해, 컴퓨터 사용, 악보 읽기 등을 학습 데이터 범위로 제시했습니다.
VLM 코퍼스는 고유 토큰 4.5조 개이며, 반복 학습을 포함한 비전 데이터는 전체 50조 토큰 학습 혼합물의 18%를 차지했습니다. 이 과제들이 학습 범위에 있다는 사실과, 특정 고객 업무에서 검증된 제품 기능이라는 주장은 구분해야 합니다.
Copilot·에이전트 도입 담당자가 확인할 것
이번 발표에서 주목할 부분은 모델·데이터·인프라를 함께 설계하는 자체 모델 파이프라인입니다. Microsoft는 이를 자사 제품에 먼저 활용하고 이후 Foundry 고객으로 확대하는 방향, 그리고 신뢰할 수 있는 파트너에게 Foundry를 통해 가중치를 라이선스하는 방향을 설명했습니다.
다만 원문은 구체적인 제공 일정, 대상 지역, 가격, 한국어 성능, 사용 가능한 컨텍스트 길이, API 사양을 확정하지 않았습니다. 가중치 라이선스 계획도 누구나 내려받는 오픈웨이트 공개 선언과는 다릅니다.
한국 기업이 후속 발표를 볼 때는 다음을 확인하는 것이 좋습니다. 이는 원문 발표와 구분되는 도입 관점의 제안입니다.
- 제품 제공 상태: 후속학습 결과, 실제 배포 모델명, API·지역·라이선스 조건을 확인합니다.
- 업무별 품질: 한국어 문서, 사내 약어, 표·차트, 도구 호출과 장기 작업을 자체 평가합니다. BPB를 업무 성공률로 대체하지 않습니다.
- 데이터와 계약: 학습 데이터 출처에 관한 설명과 별도로, 고객 데이터 처리·보존·보안 및 계약 조건을 확인합니다.
- 실제 운영 비용: 사전학습 FLOPs 효율과 추론 지연·처리량·토큰 가격을 각각 평가합니다.
마무리
MAI-Base-2는 모델을 크게 만드는 일과 학습을 효율적으로 만드는 일을 함께 추진한 사례입니다. 작은 실험의 데이터 반복 조건부터 expert 통신, 옵티마이저, 데이터 품질까지 연결한 점이 핵심입니다.
원문 시점에는 MAI-Base-2의 후속학습과 MAI-Base-3 준비가 진행 중입니다. 당장 사용할 Copilot 기능의 출시 소식이라기보다는, 앞으로의 모델과 에이전트 엔진을 평가할 때 참고할 기반 기술과 검증 범위의 공개로 읽는 것이 정확합니다. 도표와 세부 실험은 공식 기술 보고서 PDF에서 확인할 수 있습니다.
출처: Frontier Pre-training at Microsoft AI — Microsoft AI, 2026년 10월 15일 UTC(한국 시간 10월 16일). 자세한 내용은 원문 참조.