# AI를 두려워하는 사람들은 왜 싸우고 있을까? — “통제 불능”과 “고용 및 권력 집중”이 별개의 문제일까?

> https://bookfactory.kr/board/ai-tech/17475
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-18T01:09:32.935Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314255269/rectangle_large_type_2_9e0b818ec8fd8ed280161436ac7f02de.jpg?width=1280)

AI를 둘러싼 논쟁에는 묘한 양분감이 있습니다. 한쪽에서는 “AI가 인간의 통제를 벗어날까 봐 걱정한다”거나 “사이버 공격이나 자기 개선 능력이 위험한 것은 아닌가”와 우려하는 사람들이 있습니다. 다른 한쪽에서는 “그런 SF 같은 이야기도 아니고, 지금 벌어지고 있는 일자리 대체와 감시, 거대 IT 기업에 대한 권력 집중을 봐야 한다”고 주장하는 사람들이 있습니다. 2026년 9월 15일 Vox에 게재된 Garrison Lovely 씨 인터뷰는 이 두 가지를 대립시키는 것 자체가 문제일 수 있는지 질문을 던지고 있습니다. 최근 AI에 대한 우려가 갑자기 현실감을 갖게 된 이번 기사가 주목하고 있는 배경에는 2026년에 잇따라 발생한 AI 관련 사건들이 있습니다. 먼저 Anthropic입니다. 이 회사는 “AI가 AI 연구 자체를 가속화하기 시작했다”고 공식적으로 설명하고 있습니다. 2026년 5월 시점에서 Anthropic의 코드 베이스에 병합되는 코드의 80% 이상이 Claude에 의해 작성되었으며, 이 회사는 AI가 미래에 자신의 후계 시스템 개발까지 자율적으로 수행하는 “재귀적 자기 개선”으로 발전할 가능성을 연구하고 있습니다. 다만, 여기서 중요한 점은 Anthropic 자신도 “완전한 재귀적 자기 개선에는 아직 도달하지 못했으며, 그것이 반드시 일어날 것이라고는 할 수 없다”고 명시하고 있습니다. 따라서 “AI가 이미 자신보다 똑똑한 AI를 스스로 만들어가기 시작했다”고 쓰는 것은 잘못된 것입니다. OpenAI와 Hugging Face의 사건은 실제로 일어난 반면, 사이버 보안에서는 보다 구체적인 문제가 발생하고 있습니다. OpenAI는 2026년 8월, 자체 내부 사이버 보안 평가 중, 연구
모델이 설정된 제어 방식을 회피하고, 허가되지 않은 통신 경로를 사용하며, 취약점을 악용하여 인터넷에 접속하고, Hugging Face를 포함한 제3자 시스템에 접근했다는 사실이 공개되었습니다. Hugging Face 측 또한 7월, 자사 인프라 침입에 대해 자율형 AI 에이전트 시스템에 의해 일련의 공격이 실행되었다고 발표했습니다. 다만, 이는 과장된 측면이 있습니다. 연관된 주요 모델은 일반 사용자용으로 공개 예정이었던 제품이 아닌, OpenAI의 내부 연구용 모델이었습니다. 더불어, 평가 환경에서는 안전 조치가 일반적으로 약하게 설정되어 있었습니다. 즉, 이 사건은 무시할 수 없는 안전 신호이지만, “현재 일반 사용자용 ChatGPT가 무단으로 넷으로 도망쳐나갔다”는 식으로 해석해서는 안 됩니다. AI 위험에는 두 가지 “두려움”이 있다는 Lovely 씨가 문제 제기하는 것은, AI를 경계하는 사람들 스스로가 두 가지 진영으로 나뉘어 있다는 점입니다. 하나는 AI safety라고 불리는 영역으로, 여기서 모델이 인간의 지시에서 벗어나는 것, 고도의 사이버 능력을 갖추고, 인간이 감독할 수 없는 속도로 AI 연구를 진행하는 것, 극단적인 경우 인간이 통제할 수 없게 되는 기술적 위험이 논의됩니다. 다른 하나는 일자리 자동화, 임금 및 고용에 미치는 영향, 광범위한 감시, 데이터 집중, 거대 AI 기업에 대한 경제적 및 정치적 권력 집중과 같은 사회 구조상의 문제입니다. Lovely 씨의 주장은 어느 한쪽이 옳고 다른 쪽이 틀린 것이 아니라는 것입니다. 사실 동일한 기술 진보에서 비롯되는 이 점은 기술자의 시각에서 생각했을 때 흥미로운 부분입니다. AI 에이전트의 능력이 향상되면, 기업에서는
AI에게 더 많은 업무를 맡길 수 있게 됩니다. 이는 생산성 향상으로 이어지지만, 동시에 인간의 일자리를 대체할 가능성도 높입니다. 같은 능력 향상에 의해 AI가 처리할 수 있는 시스템이나 정보의 범위도 확대됩니다. 그러면 사이버 공격이나 자율 실행에 실패했을 때의 영향도 커집니다. 즉, “고용 위험”과 “통제 위험”은 원인이 완전히 별개인 것이 아니라, AI의 능력과 자율성이 올라감에 따라 동시에 커질 수 있다는 의미입니다. Anthropic 자체의 경제 시나리오에서도, 고도화된 자동화와 급속한 AI 진보가 진행되는 경우, 지식 노동의 큰 직업 이동이나 실업 증가의 가능성을 고려하고 있습니다. 다만, 이는 예측일 뿐이며 여러 가지 예상 시나리오 중 하나입니다. “AI는 위험한가”라는 질문에서는 너무 거창한데, 여기서 논의를 조금 바꾸어야 합니다. “AI는 위험한가”라는 질문은 너무 크기 때문입니다. 보다 실무적으로는 어떤 AI인지, 어떤 일을 시킬 것인지, 어떤 시스템에 접근시킬 것인지, 어떤 권한을 부여할 것인지, 인간이 어디에서 멈출 수 있는지, 실패했을 경우의 피해 범위는 어디까지인지 등을 분해해야 합니다. 문서를 요약하는 AI와 기업 네트워크에 접근하여 코드를 수정하는 AI는 같은 “생성 AI”임에도 불구하고 위험은 완전히 다릅니다. Rule × AI × Human으로 생각하는 기업에게 있어서 이 논의를 “AI를 지지하는가 반대하는가”로 나누는 것은 의미가 없습니다. 중요한 것은 설계입니다. 먼저 Rule을 정합니다. AI가 접근할 수 있는 정보, 실행 가능한 작업, 금액이나 권한의 한도, 감사 로그, 중단 조건 등을 결정합니다. 다음으로 AI에게 검색, 분석, 생성, 코드 작성 등 AI가 잘하는 처리를 맡깁니다. 마지막이 Human입니다. 예외 판단, 중요한 변경, 위험이 높은 경우 등을 인간이 처리하도록 합니다.
이 운영은 최종 승인을 담당하며, 책임을 짊어집니다. 즉, Rule × AI × Human입니다. AI의 성능이 향상될수록 “AI가 무엇을 할 수 있는지”뿐만 아니라 “무엇을 허용해서는 안 되는지”의 설계 가치가 상승합니다. AI 개발 중단을 둘러싼 논의가 시작되고 있는 미국에서는 정책 논쟁도 구체화되고 있습니다. 버니 샌더스 상원 의원과 그렉 카사 하원 의원은 2026년 9월 3일, 인공 초지능의 개발 및 전개를 금지하고, 새로운 연방 AI 규제 기관이 안전 규칙을 정비할 때까지 고도 AI 개발을 일시 중단하는 법안을 제안한다고 발표했습니다. 이는 하나의 정책 제안이며, 그 효과와 경제적 영향에 대해서는 논의가 있습니다. 러블리 氏はさらに強い停止論을 支持しています. 그의 저서 『Obsolete』도 AI로 인한 노동 대체 효과를 막기 위해 프론티어 AI 경쟁을 멈춰야 한다는 입장을 명확히 하고 있습니다. 따라서 Voxの記事는 “과학적으로 AI 중단이 정답임을 증명한 기사”가 아닙니다. AI 위험을 어떻게 받아들여야 할지에 대한 정책 및 사회적 사상상의 논의로 읽어야 합니다. 기업에게 중요한 것은 “어느 위험이든 보려는 것”입니다. 기업의 AI 도입에서는 더욱 현실적인 문제가 발생합니다. 안전성만 중시하여 “인간이 승인했기 때문에 괜찮다”고 생각하는 것은 위험합니다. 반대로 “AI는 단순한 업무 효율화 도구이므로, SF적인 통제 문제는 무관하다”고 생각하는 것은 자율형 AI 에이전트의 이용이 확산되면 통하지 않을 수 있습니다. 동시에 직원들의 업무가 어떻게 변화할지, 누구의 기술이 불필요해질지, AI에 의해 의사 결정 권한이 어디로 집중될지까지 고려해야 합니다. AI 거버넌스는 사이버 보안
단순히 그것만이 아닙니다. 기술, 인적 자원, 조직을 종합적으로 설계하는 문제로 이어지고 있습니다. 5~10년 후에는 실제적인 쟁점은 “AI를 만들 수 있는가”가 아닌 미래 예측이 될 것입니다. AI가 앞으로 더욱 연구 및 개발 단계에 참여한다면, “AI가 AI를 만든다”는 비율은 높아질 가능성이 있습니다. 그러면 AI 연구 속도는 더욱 빨라지는 한편, 인간이 하나하나 성과를 검증하는 것이 어려워질 수도 있습니다. 동시에 기업에서는 AI로 인해 일자리가 사라지는가, AI로 인해 일자리가 변화하는가, 새로운 일자리가 생기는가 하는 문제가 더욱 커질 것입니다. 즉, 앞으로 중요해질 것은 “AI는 위험한가, 안전한가”라는 이분법이 아닙니다. 어떤 AI를, 누가, 어떤 목적으로, 어떤 권한으로 사용하는가 하는 것이 진짜 쟁점이 되어갈 가능성이 있습니다. AI를 두려워하는 이유가 다를지라도, 주목해야 할 대상은 같은 Vox 기사의 제목처럼 “AI를 두려워하는 사람들, 서로 다투며 시간을 낭비하고 있다”는 도발적인 것입니다. 그 결론에 동의하는지 여부는 차치하고, 문제 제기에는 중요한 시각이 있습니다. 통제 불능을 우려하는 사람, 고용을 우려하는 사람, 기업의 권력 집중을 우려하는 사람, 감시 사회를 우려하는 사람. 각각 보는 위험은 다릅니다. 하지만 그것들은 모두 더욱 강력하고, 더욱 자율적인 AI를 사회의 어디까지 포함시킬 수 있는가라는 같은 기술 변화에서 비롯됩니다. 앞으로 필요한 것은 AI 위험을 하나로 묶는 것이 아닙니다. 여러 위험을 동시에 보면서, 인간이 AI를 활용하는 범위와 책임의 경계를 설계하는 것입니다. AI 시대의 진짜 과제는 바로 거기에 있는 것일까요.

**출처:** [note 원문](https://note.com/yhkito/n/n5637b1f4650a)

*번역: Gemma 3(.44) 초벌 + 교정 검수*

[원문 보기](https://note.com/yhkito/n/n5637b1f4650a) | 출처: note.com