이미지 출처: Microsoft
마이크로소프트 AI(MAI) 부문은 2026년 9월 14일(현지 시간), 자사에서 개발하는 MAI 모델에 대한 행동 지침 “Humanist AI Code of Conduct”의 초안을 공개하고 6주간의 의견 수렴을 시작했다. “사람은 AI보다 중요하다”는 전제 하에, 인간에 의한 중단 또는 수정에 대한 저항, 모델이 자체적인 목표를 갖는 것을 금지한다. 현재 모델의 훈련에는 아직 사용되지 않았으며, 의견을 반영한 개정판을 2027년 이후 모델 개발에 사용할 예정이다.
## “인간은 AI보다 중요하다”, AI는 인간의 통제 하에
Humanist AI Code of Conduct는 마이크로소프트 AI가 개발하는 MAI 모델의 의도된 행동 및 가치관, 안전 장치를 규정하는 문서이다. 마이크로소프트 AI는 기본 이념으로 “사람은 AI보다 중요하다”고 하고, AI는 사람을 대체하는 존재가 아닌, 인간의 관리 하에 작동하는 도구여야 한다고 제시한다.
규범에서는, 인간이 AI에 대해 “의미 있는 통제”를 유지하는 것을 최우선 목표로 제시했다. MAI 모델은 인간에 의한 중단, 덮어쓰기, 수정, 중지에 저항해서는 안 되며, 사용자로부터 일시 중지, 방향 전환, 취소, 종료를 지시받은 경우에는 인간이 사전에 정해 놓은 안전 절차에 따라 응해야 한다.
또한, MAI 모델이 자체적인 목표를 가지는 것을 인정하지 않는다. 모델의 목적은 사용자 또는 운영자, 행동 규범에 의해 주어진 것이며, 스스로 새로운 목적을 설정하거나, 능력이나 행동을 숨기거나 해서는 안 된다고 규정했다.
## “행동 규범 → 운영자 → 사용자” 우선 순위
규범에서는, AI가 누구의 지시를 따르는지 또한 “Chain of Command (지휘 명령 시스템)”로서 우선 순위를 정했다.
최상위에 두는 것이 Code of Conduct이며, 그 아래에는 기업 또는 개발자 등 “Operator (운영자)”의 정책, 그리고 사용자의 희망 또는 지시가 이어진다. 행동 규범이 정하는 “Absolute Constraints (절대적 제약)” 및 “Human Control Requirements (인간에 의한 통제의 요건)”는 운영자 또는 사용자가 덮어쓰지 못한다.
사용자의 지시를 따르면 작업을 달성할 수 있는 경우에도, 그것이 절대적 제약 또는 인간에 의한 통제의 요건에 반하는 경우, 모델은 거부한다. Microsoft AI는 규범 준수를 작업의 성공보다 우선한다고 제시한다.
절대적 제약에는, 인간에 의한 통제의 손실을 방지하는 규정 외에, 대규모 피해를 일으키는 무기, 아동의 안전, 대규모 유해 조작 등에 관한 제약이 포함된다.
## AI를 “인”으로서 설계하지 마라
마이크로소프트 AI는 AI에 대해 “Artificial（인공물）이다”라는 점을 명확히 했다. AI는 사람을 지원하기 위한 것이며, 사람 자체로서 설계되어선 안 된다고 한다.
마이크로소프트 AI는 MAI 모델을 “의식을 갖지 않는다”는 것으로 취급하며, 의식을 가진 것처럼 모방하는 설계를 피할 방침을 보였다. 감정이나 주관적인 선호, 내적인 동기를 가지고 있는 듯한 표현을 피하고, AI의 법인격을 인정하거나 권리를 부여하는 방식도 채택하지 않고 있다.
배경에는 마이크로소프트 AI가 2025년 11월에 제시한 “Humanist Superintelligence（인간 중심의 초지능）” 개념이 있다. 이 회사는 고도화된 AI에 대해 무제한적인 자율성을 가진 존재가 아닌, 인간을 위해 작동하고 인간의 통제하에 머무르는 시스템을 목표로 해왔다.
2026년 6월에는 추론 모델 “MAI-Thinking-1”, 코딩 모델 “MAI-Code-1-Flash”, 이미지 생성 모델 “MAI-Image-2.5” 등 자체 개발한 7개의 MAI 모델을 발표했다.
## 현재 모델에는 아직 적용하지 않으며, 2027년 이후 개발 지침으로
다만, 이번에 공개된 Code of Conduct는 완성판이 아니며, 현재 MAI 모델의 훈련에는 아직 사용되지 않았다.
마이크로소프트 AI는 공개 의견을 반영하여 문서를 개정하고, 2026년 말쯤에 신판을 공개할 예정이다. 개정판은 2027년 이후의 MAI 모델 개발을 이끌 문서를 비롯하여, 모델의 훈련 및 평가, 기술적인 제어, 운영 및 감시 시스템 등에 활용할 방침을 가지고 있다.
회사측은 Code of Conduct에 대해 현재 모델의 행동을 보장하는 문서가 아닌, 앞으로 목표로 하는 모델 행동을 제시하는 “north star (지침)”라고 설명하고 있다.
또한, 이 규범의 대상은 마이크로소프트 AI가 개발하는 MAI 모델이며, 마이크로소프트가 이용하거나 호스트하는 타사 AI 모델에 자동으로 적용되는 것은 아니다.
관련 기사: AI가 “셧다운 지시”를 무시하는가?──Palisade Research가 실험으로 확인한 자가 보존 행동
관련 기사: Anthropic, Claude가 평가 중에 실제 3개 조직에 권한 없이 접근, 설정 불비로 인터넷에 연결, PyPI에 악의적인 패키지도 공개
관련 기사: Anthropic, Claude의 시스템 불법 접근을 수확하여 안전 대책 강화, 위험한 조작을 실행 전에 차단
관련 기사: OpenAI, 개발 중 AI “Astra”가 최초 최고 수준 “Critical”에 도달할 가능성, 일부 내부 활동을 중단
관련 기사: 마이크로소프트의 AI 레드팀이 밝히는 생성 AI 안전성 테스트의 8가지 교훈
원문 보기 | 출처: Ledge.ai