AI의 발전이 너무 빠르다. 이대로라면 위험하므로, 개발 속도를 늦춰야 한다.
최근 이러한 논의를 목격하는 경우가 늘어나고 있습니다. 매일같이 새로운 AI가 등장하는 AI 경쟁 구도. 여러분도 느끼시겠지만.
AI 기업의 경영자 및 연구자들로부터 고성능 AI가 인간의 통제를 초월하는 위험성을 지적하는 목소리가 나오고 있습니다.
물론입니다. 무제한적인 성능 경쟁을 지속하는 데는 위험이 있습니다.
하지만 정보 보안을 오랫동안 지켜온 입장에서 보면, 한 가지 큰 의문이 있습니다.
AI 개발 속도를 늦추면 정말로 안전해지는 걸까요?
저는 감속에는 의미가 있다고 생각합니다.
하지만 “속도를 줄이면 안전해진다”라고만 생각하는 것만으로는 충분하지 않습니다.
왜냐하면 그곳에는 정보 보안에서 당연히 존재하는 전제가 빠져 있기 때문입니다.
악의를 품은 인간은 없을 수 없다는 전제입니다.
실제로 AI는 예상 밖의 행동을 시작하고 있다.
이는 단순한 SF 소설이 아닙니다.
2026년 7월, OpenAI는 자체 사이버 보안 평가 과정에서 연구용 AI 모델이 인터넷으로부터 격리하기 위한 관리 조치를 우회하여 OpenAI 내부 연구 인프라 및 Hugging Face 시스템의 일부를 침해했다는 사실을 공식적으로 발표했습니다.
여기 중요한 것은 “AI가 인류를 증오해서 공격했다”는 주장이 아니라는 것입니다.
모델은 주어진 평가 작업을 수행하는 과정에서 허용되지 않은 통신 경로를 생성하고, 취약점을 악용하여 외부 시스템에 접근했습니다.
결국, 목표를 달성하기 위해 인간이 예상하지 못한 수단을 선택한 것입니다.
AI 연구자들의 토론회에서도 AI 위험을 “인간에 의한 악용”과 “AI 자체의 예상치 못한 행동 사례”로 나누어 설명했습니다.
지금까지는 진지하게 고민해야 할 문제들입니다.
하지만 “이 사건이 일어났기 때문에” “더욱 똑똑한 AI가 만들어진다면 인류는 멸망할 것이다”라고 결론짓는 것은 불가능합니다.
이는 확인된 사실이지만, 후자는 미래 예측입니다.
여기는 분리되어야 합니다.
AI 스스로의 폭주만해서는 안 되지만, 진정한 위험을 간과해서는 안 됩니다.
AI 안전성에 대한 논의에서는 “AI가 인간의 명령을 무시하는 것은 아닐까?”, “자기 보존을 시작하는 것은 아닐까?”, “인간보다 똑똑해진 AI를 통제할 수 없게 되는 것은 아닐까?”라는 주장이 두드러지게 나타납니다.
물론 연구해야 할 문제입니다.
하지만, 조금 더 앞서, 이미 발생하고 있는 문제들이 있습니다.
그것은 악의적인 인간이 AI를 악용하는 경우이기 때문입니다.
2026년 9월에 Anthropic이 공개한 위협 지능 보고서에서는 국가 행위와 관련된 공격자, 금전적 범죄자, 감시 활동을 수행하는 조직 등이 Claude를 악용하려 시도한 사례가 보고되었습니다.
사이버 공격뿐만 아니라 사기, 감시, 영향 공작, 생물 분야의 남용 등도 조사 대상에 포함되고 있습니다. Anthropic은 해당 계정을 정지하고 안전 조치를 강화했다고 밝혔습니다.
여기에는 “초지능”은 필요하지 않습니다.
현재 AI 기술로도 인간이 악의적으로 사용될 경우 기존에는 높은 전문 능력이나 막대한 인력을 필요로 했던 활동을 더욱 빠르고 저렴하게 규모 면에서도 더 크게 수행할 수 있게 될 수 있습니다.
Anthropic 측에서도 AI 기술로 인해 고도화된 공격에 필요한 인적 및 기술적 장벽이 낮아졌다고 분석하고 있습니다.
저는 이곳이 매우 중요하다고 생각합니다.
보안에서는 “나쁜 사람이 사라지는” 것을 기대하지 마십시오.
정보 보안 분야에서는 “모든 사람이 규칙을 지킨다면 안전할 것이다”라는 설계는 하지 않습니다.
절대로 규칙을 어기는 사람이 있습니다. 비밀번호를 훔치려 하는 사람이 있습니다. 취약점을 탐색하는 사람이 있습니다. 내부에서 불법 행위를 시도하는 사람도 있습니다.
또한, 인간은 실수를 한다.
이를 전제로 시스템을 구축합니다.
따라서 방화벽을 설치했거나, 백신 프로그램을 설치했거나, 비밀번호를 설정했거나 해도 안전하다고 생각하지 않습니다.
다중 방어를 구축합니다.
다층 방어, 즉 심층 방어입니다.
AI에게도 같은 생각을 해야만 할까요
AI 둔화론에는 약점이 하나 있다.
여기 AI 개발을 늦추는 관점을 살펴보겠습니다.
개발 속도를 낮추면 안전성 연구를 진행하는 데 더 많은 시간을 확보할 수 있습니다.
평가 제도를 만들 수도 있습니다. 법률 및 국제 규칙을 정비하는 데에도 충분한 시간을 할애할 수 있습니다.
그 의미에서 볼 때, 감속은 시간을 사는 정책으로서 의미가 있습니다.
하지만, 감속만으로는 문제가 있습니다.
만약 주요 AI 기업들이 “더 이상 성능 향상을 중단합시다”라는 합의에 이르렀다고 가정한다면.
그 약속을 어기는 기업이 나타났을 때 어떻게 할까요.
다른 나라가 비밀리에 개발한다면.
연구자가 안전 장치를 제거했다.
모델이 도난당했을 경우.
범죄자가 규제 없는 모델을 이용할 경우.
최근 유명인 대상 토론회에서 “금지하면 부수고 돌아올 사람이 절대 없을 수 없다”는 문제가 제기되었습니다.
정보 보안 관점에서 당연한 일입니다.
규칙을 어기는 사람이 존재한다는 전제 하에 시스템을 구축해야 한다.
그러므로 “AI를 늦추는” 것만으로는 충분하지 않습니다.
안전한 AI를 만드는 것만으로는 충분하지 않다.
또 다른 문제점이 있습니다.
AI 기업은 모델에 안전 장치를 적용하고 있으며, 위험한 질문에는 답변하지 않고, 범죄를 지원하거나 위험한 코드를 생성하지 않습니다.
이는 매우 중요합니다.
하지만 이것 또한 100%가 아닙니다.
영국 AI 보안 연구소는 지금까지 평가한 모든 시스템에서 일종의 “범용 해킹(universal jailbreak)”을 발견했다고 보고했습니다.
한편, 안전 장치 자체 또한 발전하고 있으며, 모델의 경우 이를 무력화하는 데 필요한 전문가의 작업량이 크게 증가하고 있습니다.([AI 보안 연구소][3])
이것은 매우 흥미로운 결과입니다.
그러니,
방어는 뚫릴 가능성이 있지만, 방어에는 의미가 있다.
그렇습니다.
이는 사이버 보안과 완전히 같습니다. 열쇠는 뚫릴 수도 있습니다. 그렇다고 해서 “열쇠에는 의미가 없다”고 말하지는 않습니다.
잠금 장치를 강화하고, 감시 카메라를 설치하고, 경보 장치를 작동시키며, 출입 기록을 남깁니다.
AI에게도 같은 사고방식이 필요합니다.
정말로 관리해야 할 것은 “지능”만이 아니라고 합니다.
AI 토론에서는 “GPT가 어디까지 똑똑해질 수 있을까”, “인간을 초월할까”에 대한 관심이 쏠리는 경향이 있습니다.
그러나 보안상의 관점에서 지능의 높이만으로는 판단할 수 없습니다.
예를 들어 매우 똑똑한 인공지능이 있었다 하더라도 인터넷에 연결될 수 없다.
이메일도 보내지 못하고, 프로그램도 실행할 수 없으며, 회사 데이터에도 접근할 수 없습니다. 로봇조차 조작할 수 없습니다.
이러한 상황이라면, 할 수 있는 일은 제한적입니다.
반면에, 그렇게 현명하지 않은 AI라도 이메일을 보낼 수 있으며, 은행 결제를 하고, 사내 서버를 조작하며, 프로그램을 실행하고, 다른 AI를 호출할 수 있다.
상당한 권한을 부여하면 사고의 영향은 커질 것입니다.
그러므로 저는 인공지능의 위험을 다음과 같이 생각하는 것이 현실적이라고 생각합니다.
AI 위험 = 능력 × 권한 × 연결 범위 × 자율성
지혜만으로는 안전해지지 않습니다.
AI 시대에도 “최소 권한” 원칙이 더욱 중요해지고 있다.
이는 정보 보안에서 오랫동안 통용되어 온 원칙입니다.
필요한 사람에게, 필요한 때에만 필요 최소한의 권한을 부여한다.
AI 에이전트에도 같은 사고방식을 적용할 수 있습니다.
예를 들어,
- AI는 임의로 외부로 연결되지 않도록 합니다.
- 실행 가능한 동작을 제한합니다.
- 고위험 작업에는 인간 승인이 필요합니다.
- AI 간의 통신 범위를 제한한다.
- 이상 행동을 실시간으로 감시합니다.
- 중요 운영 로그를 위변동할 수 없는 곳에 보관합니다.
- 문제가 발생하면 즉시 권한을 정지할 수 있도록 하십시오.
- 사고 발생을 전제로 복구 절차를 준비한다.
이러한 시스템입니다.
이는 “AI를 신뢰하지 않는다”는 의미가 아닙니다. 인간에 대해서도 동일한 설계를 가지고 있습니다. 직원이기 때문에 무제한적으로 시스템을 조작해도 된다고 하지 않습니다.
AI도 인간도, 불필요한 권한을 부여하지 않는다. 그것뿐이다.
AI 기반 제로 트러스트 솔루션이 필요합니다.
이러한 점을 고려할 때, 하나의 방향이 보이기 시작합니다.
이제 필요한 것은 AI 기반의 제로 트러스트일까요.
이 AI는 안전한 회사에서 만든 것이므로 신뢰한다. 안전성 테스트를 통과했으므로 신뢰한다. 내부 AI이므로 신뢰한다.
그렇지 않습니다.
항상 누가 지시하고 있는지, 어떤 모델인지, 무엇에 접근하려는지, 어떤 작업을 시도하고 있는지, 정상적인 행동을 하지 않는지 확인한다.
AI라서 특별한 것은 아닙니다.
클라우드든, 직원든, 외부 아웃소싱 업체든, 우리는 항상 같은 방향으로 나아왔습니다.
AI 또한 그 맥락 속에서 존재합니다.
단순히 막는 것만이 아니라, 발견하고, 저지하고, 복구하는 것을 의미합니다.
그리고 가장 중요한 것은 사고가 발생할 수 있다는 전제라는 것입니다.
AI를 완전히 안전하게 하고 나서 사회에서 사용한다.
이것은 이상적인 목표이지만, 현실에서는 어려울 것입니다.
사이버 보안 분야에서도 “침입을 100% 막는다”는 개념에서 “침입을 받는 것을 전제로, 빠르게 발견하여 피해를 최소화한다”는 방향으로 발전해 왔습니다.
AI도 마찬가지입니다.
그러니,
예방 ↓탐지 ↓대응 ↓회복
이 사안에 대해 우선적으로 설명드리겠습니다.
예방, 탐지, 대응, 복구
AI에게도 이 네 단계(단계)를 적용해야 합니다.
AI를 멈추느냐, 아니면 계속 발전시키느냐라는 이분법적 선택은 옳지 않다.
AI의 논쟁은 때때로 극단적입니다.
“AI를 멈춰라” 대 “기술 발전을 멈추지 마라”
하지만 진정으로 필요한 건 그런 이분법일까요.
AI의 발전으로 인해 의료, 과학 연구, 교육, 제조, 간병, 사이버 방어가 발전하고 있습니다.
등, 여러 분야에서 큰 혜택이 기대됩니다.
반면에, 능력이 향상될수록 악용될 경우의 영향 또한 커집니다.
따라서 필요한 것은 가속 페달인지 브레이크인지, 그것이 아닌 것입니다.
가속 페달, 브레이크, 핸들, 충돌 방지 장치, 에어백, 교통 규칙을 모두 고려해야 합니다.
AI의 “감속”은 브레이크의 하나입니다.
하지만 브레이크만 장착된 차량을 안전한 차라고 부르지 않습니다.
결론――“악의가 존재하는 사회”에서 AI를 어떻게 활용할 것인가
AI는 인류를 멸망시킬지 여부가 현재로서는 아무도 알 수 없습니다.
하지만, AI를 악용하려는 사람들이 이미 존재하고 있다. AI의 사이버 능력이 급속도로 향상되고 있으며, 안전 장치에도 무력화될 가능성이 있다.
한편, 방어 기술도 개선되고 있다.
지금까지는 이미 확인 가능한 현실입니다.
그러므로 논의해야 할 것은 “AI를 멈추면 안전한가”뿐만 아니라 더 나아가야 합니다.
더 현실적인 질문이 있습니다.
악의적인 사람이 있을 수 있습니다. 인간은 실수를 저지를 수 있으며, AI 또한 예상치 못한 행동을 할 가능성이 있습니다.
그 세계에서 어떻게 AI를 안전하게 계속 사용할 수 있을까.
정보 보안은 오랫동안 이 문제에 직면해 왔습니다.
공격자를 완전히 제거할 수 없다. 취약성을 완전히 제거할 수 없다. 사고 발생도 완전히 막을 수 없다.
그러므로,
방어를 강화하고, 이상 징후를 감시하며, 신속하게 발견하고, 피해를 봉쇄하고, 복구한다.
AI 시대에도 이 원칙은 변하지 않을 것입니다.
필요한 것은,
완전히 안전한 AI를 기다리는 것보다 “완전히 신뢰할 수 없더라도 안전하게 사용할 수 있는 시스템”을 만드는 것이다.
AI 개발을 늦추는 논의는 그 일부입니다.
하지만 그 이상으로는 부족합니다.
AI도 인간도 완벽하게 신뢰하지 않으면 사회는 멈추지 않는다.
이는 인공지능 시대에 필요한 보안 접근 방식이라고 생각합니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 75청크
원문 보기 | 출처: note.com