마이크로소프트는 총 파라미터 수가 2.8조(兆)에 달하는 AI 모델 “MAI-Base-2”의 사전 학습이 완료되었음을 발표했습니다. Frontier Pre-training at Microsoft AI | Microsoft AIhttps://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/
2026년 6월, 마이크로소프트는 자체 개발한 추론 모델 “MAI-Thinking-1”을 발표했습니다. 이는 “MAI-Base-1”을 기반으로 한 모델로, 350억 개의 활성 파라미터와 총 1조의 파라미터를 가지고 있었습니다. 그리고 2026년 10월, MAI-Base-1의 다음 세대의 모델이 되는 MAI-Base-2의 존재가 공표되었습니다. MAI-Base-2는 800억 개의 활성 파라미터와 총 2.8조의 파라미터를 가진 MoE 모델입니다.
MAI-Base-2는 MAI-Base-1보다 규모가 더 크고 더 많은 데이터로 학습된 것이 특징입니다. 2026년 8월부터 9월까지 1만 6천 기의 GB200 GPU를 사용하여 38일간 MAI-Base-2를 학습시켰다고 합니다. 아래는 MAI-Base-2의 정확도를 총 파라미터 수가 1조를 초과하는 오픈 웨이트 모델과 비교한 그림입니다. 숫자가 낮을수록 우수합니다. 참고로 MAI-Base-2가 오픈 웨이트 모델인지 여부는 명시되어 있지 않습니다. MAI-Base-1은 클로즈드 웨이트 모델입니다.
또한, 사전 학습의 계산량을 12분의 1로 줄여 DeepSeek-V4-Pro-Base의 사전 학습 점수에 거의 근접했다고 합니다.
MAI-Base-2는 MAI-Base-1과 마찬가지로 다른 모델로부터의 “증류”로 구축되지 않았음을 강조하고 있습니다. 또한, 기반 학습 데이터로부터 구축 후 모델, 모델을 가동시키는 인프라까지 풀스택으로 Microsoft가 소유하고 있음을 강점으로 꼽고 있습니다. 반면에 MAI-Base-2는 MAI-Base-1과 달리 사전 학습 단계부터 이미지 데이터도 포함한 멀티모달 모델로 구축되었습니다. 이미지와 텍스트의 조합 등을 포함하는 학습 데이터가 사용되었으며, 전체 50조 토큰의 학습 데이터 중 18%를 이미지 관련 데이터가 차지하고 있습니다. Microsoft는 MAI-Thinking-1 이후 품질 분류, 웹 페이지 분석, 중복 제거, 평가 데이터와 학습 데이터의 중복 제거를 개선하고 MAI-Base-2에서는 2026년 3월까지의 지식을 대상으로 더 많은 웹 콘텐츠를 처리할 수 있도록 파이프라인을 확장했다고 합니다. 이러한 방법론에 의해 모델의 성능이 크게 향상되었다고 합니다. MAI-Base-2에 대해 Microsoft는 “차세대 모델의 기반이 되는 것”으로 위치시키고 있으며, 최근 일 내에 추가 정보를 발표할 예정입니다. 또한, MAI-Base-2의 후속 학습을 진행하는 동시에 이미 “MAI-Base-3”의 준비에도 착수하고 있다고 합니다.
원문 보기 | 출처: Gigazine