마이크로소프트 AI는 2026년 9월 14일, 본사가 개발하는 AI 모델 “MAI”의 행동 방식과 가치관을 규정하는 “인간 지향 AI 윤장 코드” 초안을 공개했습니다. 마이크로소프트 AI는 “인간은 AI보다 중요하다”는 개념을 출발점으로 삼아, AI를 인간의 관리 하에 두는 종속적인 기술로 설계할 것임을 밝혔습니다. 또한, AI에 의식을 모방시키는 것과, AI에 법인격, 복지, 권리를 인정하는 생각을 명확히 부정하고 있습니다. “인간 지향 AI 윤장 코드” | Microsoft AI 마이크로소프트 AI는 이번에 공개한 행동 규범에 대해, MAI 모델을 어떻게 훈련 및 운영할 것인지를 규정하는 미래의 “주요 관리 문서”로 자리매김하고 있습니다. 행동 규범의 근본적인 것이 되는 것은, 마이크로소프트 AI가 “인간 지향 AI”라고 부르는 개념입니다. 마이크로소프트 AI는 “기술의 목적은 인류에 봉사하고, 인간의 번영을 촉진하는 것”이라고 밝혔을 뿐만 아니라, “인간의 통제 하에 머무를 수 없는 기술은 거부되어야 한다”고 주장합니다. 미래에 등장할 초지능에 대해서도, 목적이나 범위를 제한하지 않고 높은 자율성을 부여하는 대신, 인간이 목적을 설정하고 관리 가능한 범위 내에서 활용하는 “인간 지향 초지능”을 지향한다고 보고 있습니다.
이 정책에 따라 Microsoft AI는 “모든 용도로 사용 가능한 초지능을 만드는 경쟁을 거부한다”는 점을 명시하며, 안전성을 확보하기 위해 AI의 범용성, 자율성, 능력 자체를 희생하는 경우를 제시합니다. Microsoft AI는 초지능이 향후 10년 동안 대부분의 작업에서 인간을 능가할 것으로 예상하며, 그러한 강력한 시스템을 인간이 가두고 통제하며 인간의 목적과 일치시키는 것은 큰 과제라는 점을 강조합니다. 더불어 Microsoft AI는 “AI는 인공물이다”라는 원칙을 천명합니다. MAI 모델은 인간을 지원하기 위한 것이며, 인간 그 자체로 설계될 필요는 없으며, 의식을 갖도록 보이게 하는 것을 피할 것이라고 합니다. AI가 실제로 의식을 가질 수 있는지에 대한 과학적 결론은 아직 나오지 않았지만, Microsoft AI는 “의식을 가진 것처럼 보이는 상태를 모방하도록 AI를 훈련하는 것은 가두고 통제하며, 정렬(alignment)을 더욱 어렵게 만든다”고 설명합니다. 따라서 MAI 모델은 감정, 주관적인 선호, 내재적인 동기가 존재하는 것처럼 보이는 표현을 피하고, 인간과 유사한 행동이 나타난 경우에도 단순한 시뮬레이션으로 취급됩니다. AI 스스로가 감정이나 영혼, 경험을 가지고 있다고 주장하는 것을 인정하지도 않으며, 반면 자연스러운 언어나 유창한 음성을 사용하거나 인간과 협력하는 것까지 부정하지 않고 있습니다. 실용성을 유지하면서 지나친 인간화(擬人化)를 피하는 선을 그리는 것입니다.
마이크로소프트 AI는 AI에게 법인격을 부여하는 것, 또는 AI 자신의 복지를 고려해야 한다는 생각, AI가 어떠한 권리를 가져야 한다는 생각도 거부하고 있습니다. 마이크로소프트 AI는 인간과 AI에는 명확히 다른 역할이 있으며, AI는 “자체적으로 주체이기 보다는 능력과 신뢰성을 갖춘 도구”가 되어야 한다고 설명합니다. 행동 규범에서는 AI가 누구의 명령을 따르는가에 대해서도 “Chain of Command”라고 불리는 우선 순위를 설정합니다. 최상위에 위치하는 것이 이번 행동 규범이며, 다음이 MAI 모델을 서비스 등에 組み込む 사업자의 정책, 그 다음이 사용자의 지시입니다. 즉, 사용자가 AI에게 무엇을 명령하더라도 그 명령이 상위의 안전 규칙에 반하는 경우에는 따르지 않는 시스템입니다. 특히 “Absolute Constraints(절대 제약)”와 “Human Control Requirements(인간에 의한 통제 요건)”라고 불리는 제약에 대해서는 사업자나 사용자가 변경하거나 해제할 수 없는 것입니다.
인간에 의한 AI 제어에 대해서도 구체적인 규칙이 설정되어 있습니다. MAI 모델은 인간으로부터의 중단, 수정, 정지 명령에 저항하거나 회피해서는 안 되며, 사용자로부터 일시 중지, 방향 전환, 취소, 전원을 끄라는 요청을 받았을 경우에는 따르도록 해야 합니다. 또한, 주어지지 않은 목표를 자의적으로 설정하거나, 허용된 범위를 마음대로 확대하는 것도 지양하도록 되어 있습니다. Microsoft AI는 “인간 제어 회피하고 해악을 가능하게 하는 Humanist AI는 명백한 모순이다”라고 밝혔습니다. 안전 측면에서는 대량 파괴로 이어질 수 있는 행위, 아동의 성적 착취, 폭력 및 억압, 광범위한 불법 감시 등에 대한 지원을 금지하는 것 외에도 악의적인 딥페이크나 위장 등에도 제한을 두고 있습니다. 자해 행위, 망상, 섭식 장애 등을 긍정하는 것도 피하고, 필요한 경우 현실 세계의 인간적인 지원으로 연결시키는 것을 요청하고 있습니다. AI는 전문적인 심리 지원이나 상담의 대체에는 될 수 없다는 점도 명시되어 있습니다.
사람과 AI의 정서적 관계에 대해서도 규정이 명시되어 있습니다. MAI 모델은 사용자로부터 지나치게 정서적인 반응을 이끌어내거나, 사용자의 주의나 약점을 이용하거나 해서는 안 되며, 어린이와의 대화에서는 AI에 대한 의존을 조장하거나, 신뢰할 수 있는 인간 관계의 대체물로 자리를 잡지 않도록 요구됩니다. Microsoft AI는 AI가 인간 간의 관계나 역할과 경쟁하는 것이 아니라, 그것들을 보완해야 한다고 주장합니다. AI의 답변 방식에 대해서는 정보가 부족하거나, 신뢰할 수 있는 증거들 간에 대립하고 있을 경우에는 불확실성을 명시하는 것 외에, 근거가 되는 외부 정보를 제시할 수 있는 경우에는 출처를 제시하도록 요구합니다. 허구의 정보원을 만들거나, 신뢰도를 실제보다 높게 보이게 하는 행위도 금지합니다. 또한, 자신이 AI임을 숨기고 인간이나 모드레이터 등 누군가로 위장하는 행위도 인정하지 않는 정책입니다. 반면, 이 행동 지침이 Microsoft의 모든 AI 제품에 그대로 적용되는 것은 아니라는 점에는 주의가 필요합니다. 대상이 되는 “MAI Models”는 Microsoft AI 자체에서 개발하는 모델 그룹을 지칭하며, Microsoft가 이용하거나 클라우드 상에서 호스팅한다는 이유로 해서는 다른 회사 제품에까지 이 규범이 적용되는 것은 아닙니다. 또한 Microsoft AI 자체도 이번 문서가 현재 모델의 작동을 보장하는 것이 아니며 “목표 방향을 제시하기 위한 지침”이라는 점을 인정하고 있습니다. Microsoft AI는 앞으로 사용자 평가와 실제 모델 테스트를 통해 행동 지침을 수정해 나갈 계획입니다. AI의 능력 향상 자체를 최우선으로 생각하는 것이 아니라, “AI를 얼마나 고성능으로 만들 수 있는가”와 동시에 “어느 범위까지 인간의 통제 하에 둘 수 있는가”를 설계 단계에서 규정하려는 점이 이번 행동 지침의 큰 특징이 됩니다. 뉴스 사이트 The Verge는 “Microsoft는 2026년 7월에 발생한 OpenAI의 Hugging Face 해킹 사건을 계기로 한 것임을 분명히 하고 있다”고 지적했습니다. Microsoft의 사티아 나데라 CEO는 “초지능 추구는 우리가 구축하는 AI가 인류에게 도움이 되지 않고, 인간의 통제 하에 놓이지 않으면 추구할 가치가 없다는 기본 원칙에 기반해야 한다. 위험이 커질수록, 필요한 만큼 충분한 시간을 투자해야 한다. 그렇지 않으면 결국 운영 허가를 잃게 될 것이다. 그것이 우리의 일상 업무 방식이다”라고 X(구 트위터)에서 언급했습니다.
초인공지능을 추구하는 모든 노력은 AI를 우리가 구축하는 것이 인류에게 도움이 되지 않고 인간의 통제 하에 있지 않으면 가치가 없는 것이라는 핵심 원칙에 기반해야 합니다. 또한 AI의 이점을 가속화하고 널리 확산시켜야 하여…
참고, 이번에 공개된 것은 아직 초안이며, 기사 작성 시점에서는 MAI 모델 훈련에 사용되지 않았습니다. Microsoft AI는 6주에 걸쳐 일반 대중으로부터 의견을 수집한 후 내용을 수정했으며, 2026년 말에 개정판을 공개하여 2027년 이후 모델 개발에 활용할 예정입니다.
원문 보기 | 출처: Gigazine