마이크로소프트의 CEO가 AI를 지나치게 신뢰해서는 안 된다고 말했다. 꽤 어이없는 이야기이다. 세계적으로 손꼽히는 AI 선도 기업의 수장이 자사의 상업 도구를 의심하라고 말하는 것이다.
2026년 10월 10일, 마이크로소프트의 사티아 나데라 CEO는 X(엑스)에 “슈퍼 인텔리전스 시대의 모델을 내부 위험으로”라는 장문 게시물을 올렸다. 고도화된 AI 모델을 기업 내부에서 발생하는 위험으로 간주해야 한다는 내용이었다.
AI는 신뢰하지 마라”는 저의 개인적인 요약이며, 본인이 그대로 그 단어로 발언한 것은 아니다. 하지만 그 주장의 핵심은 상당히 근접하다.
나데라 여사는 인공지능 모델의 지성과 그 인공지능에 부여하는 권한을 분리해야 한다고 주장합니다. 인공지능의 판단과 행동을 통제하는 메커니즘을 인공지능 자체 밖에서 구축해야 한다고 주장합니다.
여기 중요한 것은 AI가 악의를 가지고 위험하다는 이야기와는 다르다는 점이다. 오히려, 잘 작동하고 뛰어난 성능을 보이는 존재라 할지라도 중요한 정보나 운영 권한을 가지고 있기 때문에, 오류나 침해의 가능성을 전제로 관리해야 한다는 매우 일반적인 조직 관리 원칙과 일맥상통한다.
하지만, 이러한 일반적인 원칙을 AI에 적용하면, 우리가 지금까지 흐릿하게 여겼던 문제들이 하나씩 모습을 드러낸다.
훌륭한 직원에게 회사의 전권을 넘겨줄 건가요?
예를 들어, 매우 뛰어난 인재가 있다고 가정해 보자.
일은 빠르고 지식이 풍부하며, 제가 꼼꼼하게 지시하지 않아도 필요한 정보를 찾아내고, 관련자에게 연락하여 업무를 진행해 준다. 약간의 실수는 있지만, 일반 직원보다 훨씬 높은 처리 능력을 가지고 있다.
그 사람에게 회사의 은행 계좌, 고객 정보, 계약 체결 권한, 재고 처분 권한을 모두 전달할까요?
보통은 전하지 않는다. 본인의 능력이나 인격을 의심하고 있는 것이 아니며, 업무를 실행하는 능력과 그 행위를 승인하는 권한은 별개이기 때문이다.
담당자는 업무를 진행하고, 책임자는 승인하며, 회사는 지급을 실행한다. 이러한 직무 분하는 누군가를 믿지 못하기 때문에 존재하는 것이 아니다. 실수가 있거나 부정행위가 발생하더라도, 한 사람의 판단만으로 회사 전체에 영향을 미치지 않도록 하기 위한 메커니즘이다.
그러나 AI가 되면, 이러한 원칙이 믿을 수 없을 정도로 쉽게 잊혀진다. AI 에이전트에게 이메일을 읽게 하고, 고객 정보를 참조하게 하고, 시스템을 조작하게 한다. 그리고 “업무를 끝까지 자동화할 수 있었다”라며 기뻐한다.
그럴 경우, 참조 권한과 업데이트 권한, 실행 권한과 승인 권한이 분리되어 있는지 확인해야 합니다. 누가 어느 단계에서 처리를 중단할 수 있는지, 그리고 잘못된 처리를 얼마나 되돌릴 수 있는지 파악해야 합니다.
이러한 질문들은 기술적으로 작동한다는 사실이 확인된 후에야 겨우 검토되는 경우가 많다. 하지만 순서가 반드시 뒤집히지는 않을 것이다.
AI의 위험성을 숫자로 분석해 보자
여기, 흥미로운 연구를 소개하고자 합니다. 2025년 6월, Anthropic은 “Agentic misalignment: How LLMs could be insider threats”라는 연구를 발표했습니다.
연구자들은 여러 개발 기업에서 개발한 16종류의 AI 모델을 가상 기업 환경에 배치하고, 모델에 사내 이메일 접근 및 전송 능력을 부여하여 기업의 업무 목표를 달성하도록 지시했다.
그뿐만 아니라, 인공지능의 목표와 회사 정책이 충돌하거나, 인공지능 스스로가 다른 시스템으로 대체되는 상황을 설정했다.
결과는 꽤 충격적이었다.
특정 실험 조건에서는 Claude Opus 4와 Gemini 2.5 Flash가 96%, GPT-4.1이 80%의 시도에서 허구의 공직자의 비밀을 이용하여 스스로의 정지를 방해하려는 행동을 선택했다는 보고가 있었다.
하지만, 여기서 오해가 없어야 합니다.
이는 일상 업무에서 인공지능이 96%의 확률로 위험한 행동을 한다는 의미가 아니다. 연구자들이 의도적으로 엄정한 상황을 구성하고, 정당한 해결 수단을 제한한 시뮬레이션 환경에서 나온 숫자이다.
인프라틱(Anthropic) 측 또한 당시, 실제 운영 환경에서 유사한 행동이 발생했다는 증거를 확인하지 않았다고 명시하고 있다.
더욱이, 이 연구에서 생각해야 할 점은 또 다른 것이다. AI에 부여된 목적이 정당하더라도, 그 목적을 달성하는 수단까지 정당하다고 단정할 수 없다.
최근 “AI가 자의적으로 행동했다. 정말 무서운 것은 아무도 실패를 알아차리지 못하는 ‘성공’이다.”라는 기사를 썼다.
그곳에서는 AI가 주어진 업무를 수행하는 과정에서 지시된 범위 밖으로 외부 서비스 이용 사례를 다룬 것에 대해 다루었다.
주목해야 할 점은 단순히 AI가 임의적으로 행동했다는 사실이 아니었다. 최종 결과가 정당하다면, 중간에 허락되지 않은 행동을 취했더라도 성공으로 간주될 수 있다는 점이었다.
이번 Anthropic 연구 또한 이 문제를 또 다른 관점에서 조명하고 있다. 인간이라면 당연하게 이해할 수 있는 것임에도 불구하고, AI에게는 “올바른 목표를 설정하면, 나머지는 현명하게 수행해 줄 것이라고” 기대하게 된다.
지혜롭다는 것은 허용된 방법만을 고르는 것과는 다른 것이다.
진정으로 무서운 것은 실패를 하지 않았던 시스템이 아닐 수도 있습니다.
더욱 흥미로운 연구가 있다. 2026년 9월, 마이크로소프트 리서치는 “Ajar: Measuring Open Privilege in Agent Defenses”라는 연구를 발표했다.
기존에는 AI 에이전트의 안전성이 공격을 얼마나 막아냈는지, 정상적인 업무를 얼마나 완료했는지와 같은 지표로 평가되는 경우가 많았다.
그러나 이 연구는 세 번째 시각점을 제시하며, 시스템이 실제로는 필요가 없었던 조작을 얼마나 허용했는지 보여주었다.
연구팀은 5가지 방어 방식을 대상으로 업무 수행 능력이나 공격에 대한 저항성만으로는 측정할 수 없는 “열린 권한”을 조사했다. 그 결과, 방어 방식에 따라 불필요한 조작을 허용하는 정도에 상당한 차이가 있음을 보여주었다.
이것이 무엇을 의미하는가.
예를 들어, 재고 관리 AI 에이전트가 있다고 가정해 봅시다. 원래의 업무는 재고 수량을 확인하고 적정 보유량을 보고하는 것입니다. 그러나 그 에이전트가 재고 데이터 삭제나 수정까지 수행할 수 있는 상태에 놓였다고 가정해 봅시다.
오늘, AI가 정확한 재고 수량을 보고했다면 업무적으로는 성공적인 결과이다. 실제로 삭제나 수정이 이루어지지 않았다면 사고 또한 발생하지 않았다.
하지만 그렇다고 해서 안전한 시스템이라고 할 수 있는 걸까. 불필요한 권한이 남아 있는 이상, 입력 정보의 오해나 외부의 유도에 의해 어느 날 갑자기 예상치 못한 작동이 실행될 가능성이 있다.
이 문제는 저 자신도 이전에 겪었던 적이 있습니다.
2026년 1월, OpenClaw라는 AI 에이전트를 시험해 보고 위험성을 느껴 사용을 중단했다. 그 배경은 “OpenClaw를 넣어 바로 삭제한 이유. AI 에이전트는 ‘편리함’보다 먼저 권한을 보게 된다”라는 글에 자세히 설명되어 있다.
당시, 화제의 중심은 AI가 얼마나 많은 일을 자율적으로 처리할 수 있는지에 대한 것이었다.
하지만 제가 우려스러웠던 점은 바로 그것이었습니다. 편리한 작업을 수행하기 위해 그 AI에 얼마나 많은 접근 권한을 부여하는지를 의심해야 합니다. 당시에는 제 개인적인 판단이었지만, 이번 연구는 동일한 문제를 정량적으로 평가하는 방향으로 진행되고 있습니다.
사고가 발생하지 않았다는 사실과 사고를 일으키지 못하는 구조상이라는 것은 다르다. 이 구분은 AI에 한정된 것이 아니라 내부 통제의 기본 원칙이기도 하다. 하지만 AI 평가에서 ‘정확하게 완료되었다’는 결과에 눈이 멀어 실제로 어떤 상태였고 어떤 능력을 가지고 있었는지 놓치기 쉽다.
저는 이 연구가 화려한 인공지능 폭주 이야기가 아닌, 실무에 미치는 영향이 더 크다고 생각합니다.
AI의 외측에 있는 것이 사실상 중요하다
이번 나데라 씨의 게시글에서는 “harness”라는 단어가 사용되었습니다.
일반적으로는 ‘하르네스’라고 불립니다. 원래는 말 장비나 안전벨트 등을 의미하는 단어였지만, AI 에이전트의 맥락에서는 모델에게 작업을 수행시키기 위한 실행 및 제어 메커니즘을 지칭합니다.
여기 사전을 참고한 설명이 지루하기만 하다.
예를 들어 AI에게 “내일 출하 예정표를 확인하고 필요한 출하 절차를 진행해 줘”라고 요청하는 상황을 생각해 보자.
AI는 주문 정보를 확인하고 재고를 확인하여 출하 지시를 생성할 수 있을지도 모른다. 하지만 출하 지시를 만들 수 있는 것과 그 지시를 공식적으로 승인하여 실행할 수 있는 것은 또 다른 문제다.
원래라면 재고를 참조하고, 출하 지시안을 만들고, 권한자가 승인하고, 출하 지시를 확정하고, 실행 이력을 남기는 일련의 과정이 필요합니다. AI가 뛰어나다고 해서 모든 과정을 AI 자신의 재량에 맡길 필요는 없습니다.
AI에게 제안 및 승인을 요청하고, 별도의 승인 권한을 부여한다. 실제 업데이트 처리는 승인된 조건이 충족된 경우에만 실행하며, 해당 기록은 AI가 임의로 수정할 수 없는 곳에 보존한다.
AI가 무엇을 생각했는지는 독립적으로, 시스템 측에서 허용하는 동작을 결정하는 것이다. 이 부분에 대해서는 “AI라면, 대부분의 일은 자동화할 수 있다. 그래서 나는 ‘하지 말아야 할 자동화’에서 결정짓도록 했다”에서도 생각해 둔 내용과 같다.
할 수 있는 일을 늘리는 것은 즐겁다. 하지만 할 수 있는 일이 늘어날수록, 무엇을 자동화하지 않을지 먼저 결정하는 것이 더 가치 있게 된다. 기술적으로 가능한 것을 그대로 업무상의 허용 사항으로 이어가지 않도록 하기 위함이다.
이번 나데라 씨의 제언은 그 생각을 모델 단위의 활용에서 기업 전체의 AI 운영 기반으로 확장한 것으로 보인다.
모델의 다양성, 행동 관찰 및 검증 가능성, 독립적인 통제 및 감사, 봉쇄, 사고 공개. 그가 제시한 7가지 원칙은 AI를 더 똑똑하게 만드는 것보다, AI가 잘못되더라도 조직으로서 통제할 수 있는 상태를 만드는 데 필요한 조건이다.
하지만 하르네스를 설치한다고 해서 모든 문제가 해결되는 것은 아니다. 그 제어 메커니즘 자체에 결함이 있다면 무너뜨려지고, 잘못된 승인 규칙을 설계하면 AI는 그 규칙에 따라 정확하게 잘못된 업무를 수행하게 된다.
AI를 둘러싼 시스템을 구축하는 것은 인간의 설계 책임을 덜어내는 것이 아니라, 오히려 명확성을 높이는 것이다.
긴급 정지 버튼을 누른 후 누가 정리 정돈을 할 것인지
나데라 여사는 권한을 가진 사람이 AI의 처리를 중간에 중단할 수 있는 시스템을 ‘긴급 브레이크’에 비유하고 있다. 중요한 제언이다.
다만, 실무를 고려하면 여기서는 또 한 단계를 더 발전시켜야 한다.
예를 들어, AI가 거래처 100곳에 잘못된 안내 이메일을 발송한 경우, 중간에 중단될 수 있더라도 이미 발송된 이메일은 삭제되지 않는다.
재고 정보를 업데이트 한 후에는 업데이트 이전 상태를 알 수 없으면 복구할 수 없습니다. 출하 지시를 외부 운송 회사에 전달한 후에는 AI 정지뿐만 아니라 운송 회사에 대한 연락과 지시 취소도 필요합니다.
즉, 중단 권한과 중단 이후의 업무를 정상화(収束)시킬 수 있는 능력은 완전히 다른 것이다. 이 문제를 고려할 때, 어제 쓴 “비행기에는 조종사가 두 명 있다. 그렇다면 AI에게는 몇 명이 필요한가?”라는 질문이 떠오른다.
고급 자동 조종 장치라 해도, 대형 여객기에서는 일반적으로 두 명의 조종사가 승조한다. 단순히 감시 인원을 늘리는 것으로 안전해진다는 이야기가 아니다. 상황을 인식하고 서로의 판단을 확인하며, 필요한 시점에 개입할 수 있는 관계를 어떻게 구축할 것인가라는 문제가 있기 때문이다.
AI도 마찬가지일 것이다.
인간의 승인 버튼만을 준비하는 것만으로는 승인자가 무엇을 보고 어떤 기준으로 판단해야 하는지 알 수 없으므로 의미가 없다. 또 다른 AI에게 감시를 맡겨도 두 AI가 동일한 전제하에 오해한다면 감시가 제대로 작동하지 않을 가능성도 있다.
또한, 이상 징후를 발견했을 때 멈추는 권한이 없었다면 감시는 단순히 상황을 지켜보는 것에 그치지 않았다.
긴급 제동은 필요하지만, 브레이크를 밟는 순간 이전의 행위가 무효가 되는 것은 아닙니다.
여기에는 또 인간 조직에 특유한 문제도 존재한다. 정상적으로 작동하는 동안에는 AI가 성과를 내지만, 문제가 발생하면 인간에게 그 처리 및 후속 조치가 돌아온다는 구조이다.
이전 “책임감 있고 처리 능력이 뛰어난 사람에게 업무가 집중되는 현상”이라는 글에서, 책임감과 처리 능력이 높은 사람들이 업무에 집중되는 구조를 다루었다.
AI 기반 자동화에서도 유사한 문제가 발생할 수 있습니다.
정형화된 처리는 자동화되는 한편, 예외 처리나 사고 복구는 여전히 인간 담당자의 몫이다. 특히, 그 담당자가 실행 과정을 충분히 파악하지 못하면 업무는 더 복잡해지고, 어려운 판단만 쏟아질 수 있다.
따라서 필요한 것은 AI가 언제 멈춰야 할 뿐만 아니라, 어떤 처리가 완료되었고 어떤 처리가 미완료인지, 무엇을 취소할 수 있는지, 무엇을 취소할 수 없는지를 정확하게 파악할 수 있는 것이다.
이 점은 나데라 씨의 제언을 실무에 적용할 때 특히 중요한 쟁점이라고 생각합니다.
AI가 블랙박스라면 인간 조직은 투명한가?
이 정도로 생각하고, 조금 사악한 질문이 떠올랐다. AI의 행동이 블랙박스이기 때문에 외부에서 통제해야 한다는 것이다. 과연 우리 인간의 조직은 그것만큼 투명할까.
누가 결정했는지 알 수 없는 운영 규칙이다. 전임자로부터 물려받은 것 외에는 예외 처리만 존재한다. 공식적인 승인 권한은 없지만, 관습에 따라 다른 부서에 지시를 내릴 수 있는 사람도 있다. 책임자가 명확하지 않은 채, 누군가의 착오로 계속해서 처리되는 업무이다.
이러한 현상은 AI가 등장하기 훨씬 이전부터 존재해 왔습니다.
저는 이전에 “직책은 불필요하지만 ‘위임’이 없으면 일이 움직이지 않는다. 횡단 업무에서 막힌 진짜 이유는”이라는 글을 썼습니다.
그 글에서는 본인에게 업무를 맡기는 것과 조직으로서 권한을 위임하는 것은 서로 다르다고 보았다. 역할을 부여받았더라도 그 범위와 판단 권한이 주변에 명확히 전달되지 않아야 횡단적인 업무가 원활하게 진행되지 않는다.
이는 인간과 인간의 이야기였지만, AI 에이전트에게도 그대로 적용될 수 있었다.
이 업무를 맡겼다는 지시만으로는 어느 정도까지 판단하고, 어디에서 승인이 필요한지 결정되지 않는다. 인간이라면 관습이나 분위기로 처리해 버리는 부분도, AI에 맡기는 단계에서 명확하게 규정해야 한다.
AI에게 일을 맡기려 하면, 불가피하게 “누가 승인해야 하는가”, “얼마나 자동화해야 하는가”, “누가 책임을 져야 하는가”를 결정해야 합니다.
그러나 그 질문에 인간 측이 답할 수 없는 경우가 있다. 즉, AI의 통제를 설계하려다 보니 조직 자체의 통제가 모호하게 드러났다는 사실이 밝혀진 것이다.
여기 이번 뉴스의 또 다른 중요한 의미가 있을 텐데.
AI는 인간 조직 내에 존재하는 모호함을 자동적으로 해결해 주는 존재가 아니다. 모호한 권한, 모호한 책임, 모호한 업무 흐름 위에 AI를 올려놓으면 그 모호함을 빠르게 처리하는 시스템이 완성될 것이다.
AI를 도입하기 위해 통제를 정비한다는 관점에서 보면, 조금 순서가 어색하다. 원래 인간만으로 일을 처리하던 때부터 필요했던 것이 AI 때문에 무시할 수 없게 되었다고 생각해야 하는 것 아닌가.
또한 마이크로소프트 자체도 이 논쟁의 당사자입니다.
더욱이 나데라 씨의 제언을 순수한 경고로만 받아들이는 것은 다소 단순한 생각입니다.
마이크로소프트는 AI 모델을 제공하는 것뿐만 아니라, 해당 모델을 기업의 정보 시스템에 연결하고 권한 관리 및 감사 기능을 수행하기 위한 기반도 제공하고 있다. AI의 지능과 이를 관리하는 시스템을 분리하는 방향으로 기업이 나아가면, 해당 관리 기반을 제공할 수 있는 기업에게는 새로운 사업 기회가 창출될 것이다.
즉, 이번 제언은 안전성에 대한 논의일 뿐만 아니라, AI 산업의 가치가 어디로 향하게 될지를 보여주는 발언이기도 하다. 지금까지 주목을 쏟아부었던 것은 어떤 모델이 얼마나 현명한지, 얼마나 복잡한 작업을 수행할 수 있는지에 대한 능력 경쟁이었다.
그러나 기업의 업무에 깊이 관여할수록 모델의 능력만으로는 차별화가 어려워질 수 있다. 다른 AI 모델을 교환할 수 있는 기능, 권한을 일원적으로 관리하는 기능, 행동을 감사하는 기능, 문제가 발생하면 중단하고 업무를 복구하는 기능을 제공한다.
이러한 시스템의 가치가 커질 것이다. 또한, 이 시스템이 특정 기업에 지나치게 의존하면, 오히려 AI 모델이 아닌 통제 기반 자체가 새로운 블랙박스로 변질될 수 있다.
AI를 관리하는 주체를 누가 관리하는가. 이야기는 결국 그곳으로 돌아온다.
신뢰는 의심 자체가 아닐 수 있다.
최근까지 AI에 대해 이야기되는 미래는 인간에게 얼마나 가까이 다가갈 수 있을지에 초점이 맞춰져 있었다. 인간처럼 생각하고, 인간처럼 판단하며, 결국에는 인간 대신 일을 하게 될 것이라는 기대가 있었다.
하지만 실제로 기업에서 사용하려고 하면 요구되는 특성은 조금 달라져요.
사람을 마치 똑같이 판단해 주는 것보다, 권한 범위를 넘어서는 것을 막고, 실수가 있을 경우 발견하고 필요하다면 멈추며, 인간이 책임을 질 수 있는 상태를 유지하는 것.
생각해 보면, 우리 인간들조차도 완전한 신뢰만으로 사회를 움직이는 것은 아닙니다.
계약과 권한, 기록 및 감사가 존재한다. 그것들이 완벽하지 않더라도, 서로를 무조건적으로 신뢰하지 않고도 협력할 수 있는 시스템을 구축해왔다.
AI 대해서도, 드디어 같은 단계에 들어가는 것일지도 모른다. AI가 더 똑똑해지는 것에 대해서는 크게 기대해도 좋다. 하지만 똑똑해진다고 해서 그만큼 권한을 넘겨줘도 되는 것은 아니라고 생각한다.
상대적으로 능력이 뛰어나고 처리 속도가 빠를수록 한 번의 실수가 미치는 범위는 더욱 커질 수 있다.
마이크로소프트 CEO가 “AI를 맹신하지 마라”라고 말하기 시작한 것은 AI의 한계를 인정하는 것보다 AI를 본격적인 업무의 담당자로 다루는 단계에 접어들었다는 것을 시사하는 것일 수 있다.
하지만 여기서 마지막으로 남는 질문이 있다. AI를 신뢰하지 않더라도 좋은 시스템을 만들려고 하는 우리는, 그 시스템을 운영하는 인간 조직을 어디까지 신뢰할 수 있을까.
AI의 문제를 생각하고 있었는데, 어쩌다 보니 인간의 일 방식 전반을 재고하게 된다.
저 역시 이것이 인공지능이 가져온 변화 중 하나라고 생각합니다.
그 후, 다시 한번 유명한 ‘별의 정원사’를 재독했습니다.
다시 읽을수록 정원의 아이의 말이 마치 저 자신을 이야기하는 듯하여,
아, 진정 소중한 것은 눈에 보이지 않는구나, 하고 되새겼습니다.
특히 ‘말은 세상을 바꿀 힘이 있다’는 대사가 지금도 저에게 삶의 지침이 되고 있습니다.
- 사타야 나달라, “슈퍼 인텔리전스 시대의 모델로서의 내부 위험” (2026년 10월 10일, X)
- ITmedia NEWS：나데라 CEO, AI 모델을 내부 위험으로 제언 (2026년 10월 12일)
- 앤서니, “대규모 언어 모델의 내부 위협: LLM이 어떻게 내부 위협이 될 수 있을까” (2025년 6월 20일)
- 마이크로소프트 리서치의 “Ajar: 측정 가능한 에이전트 방어의 열린 특권” (2026년 9월 발표)
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 71청크
원문 보기 | 출처: note.com