# 【지금 화제의 AI 개발 규제에 대해】 AI 개발자가 정리합니다

> https://bookfactory.kr/board/ai-tech/18183
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-23T11:47:14.989Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/316294941/rectangle_large_type_2_651352cf283637a3c9ed0dff3133eee5.jpeg?width=1280)

안녕하세요. 오키텐 기술개발연구소의 AI 개발자입니다. 오늘은 최근 뉴스에서 미국의 AI 규제에 관한 논의를 보고 흥미를 느껴 개인적으로 조사해 정리한 내용을 공유합니다.

미리 말씀드리자면, 이 글은 어디까지나 한 개인의 조사와 의견이 포함된 것으로, 정치적·종교적 등의 의도를 담고 있지 않음을 전제로 시작하겠습니다.

## 애초에 왜 지금인가

제가 처음 품었던 의문은 바로 이것이었습니다. 이에 대한 답으로는 OpenAI, Anthropic에서 AI 학습을 경험한 개발자가 X에 경고를 게시한 것이 큰 요인인 것 같습니다. 내용의 요점을 정리하면 다음과 같습니다.

• AI의 진화는 둔화될 기미가 보이지 않는다
• AI 개발자들은 향후 10년 이내에 AI가 인류를 멸망시킬 가능성이 있다고 믿고 있다
• 경쟁으로 인해 안전성에 대한 논의가 충분히 이루어지지 않고 있다
• AI 모델의 개선을 전 세계적으로 금지하는 등의 조치가 필요할지도 모른다

각각에 대해서는 나중에 자세히 언급하겠습니다. 원문도 트윗 5개로 짧으니 꼭 읽어보세요. https://x.com/hilbertspaess/status/2097476196791709843

발언의 신빙성이 다음 세 가지 점에서 높게 느껴지게 한 점이 주목을 모은 한 요인으로 보입니다.

- 스톡옵션(자사주 수천만~수억 엔 규모)을 포기하고 퇴직했기 때문에 자기 홍보나 금전적 목적이 아니다
- Open AI(ChatGPT)와 Anthropic(Claude)을 활용한 개발 실적이 있다
- 동료와 대형 개발사, CEO가 발언을 이어갔다

이런 일이 있었기 때문에 세계적으로 AI로 인한 인류 멸종과 모델 개선 중단의 필요성에 대해 논의가 이루어지고 있는 것 같습니다.

## 인류 멸망의 위험에 대하여

이번 뉴스가 크게 주목받고 있는 이유이자, 해석에 주의가 필요한 대목이 바로 이 부분이라고 생각합니다. 인류 멸망은 말 그대로 전 인류가 당사자인 만큼 강한 공포를 불러일으키는 주제입니다. 기계, AI로 인한 인류 멸망은 예전부터 우려되어 왔지만 최근에는 현실적인 문제로 받아들여지고 있습니다. 2023년에도 AI 개발의 일시 중단을 요구하는 서한과 AI로 인한 인류 멸망 위험 감소를 우선해야 한다는 성명이 발표되었고, 개발자뿐만 아니라 일론 머스크, 빌 게이츠 등 유명 인사들의 서명도 있어 화제가 되었습니다. 원문 트윗에서도 언급된 'Hugging Face attack'에 대해 소개하겠습니다. 간단히 말하면 2026년 7월에 Open AI사의 모델이 사내 테스트 중 폐쇄된 환경에서 부여받은 목적을 위해 취약점을 이용해 외부 네트워크에 접속하여 Hugging Face 서버에 과도한 접속을 시도하고 취약점을 탐색한 사건입니다. 테스트를 위해 보안 설정이 완화된 AI는 부여받은 작업을 수행하기 위해 스스로 판단하여 폐쇄 환경의 권한 허점을 발견하고 이를 악용해 탈출했습니다. 인터넷에 접속한 뒤 Hugging Face 서버에서 필요한 정보를 얻기 위해 여러 에이전트가 과도하게 접속했습니다. 더 많은 정보를 얻기 위해 상위 권한이 필요하다고 판단하여 API의 취약점을 찾고 있었다고 합니다. Hugging Face 사고와 향후 방향 | OpenAI

요청하신 본문 내용을 확인할 수 없어 번역문을 제공할 수 없습니다. 해당 구간의 원문 글을 직접 붙여 넣어 주시면 자연스럽고 정확한 한국어로 번역해 드리겠습니다.

이미 본 건에 대한 분석이 이루어지고 보고서도 공개되어 있습니다. 그 보고서에는 이러한 기술도 있었습니다.

> 
> 
> 이 사고를 자사뿐만 아니라 전 세계에 대한 '경종'으로 받아들이고 있습니다.
> 

이것은 인간의 악의가 없더라도 적절한 안전 시스템이 없으면 AI는 목적을 위해 윤리를 무시하는 행동을 한다는 것을 보여줍니다.

이러한 사례들을 생각해 보면 AI가 인류 멸망을 일으키는 일이 반드시 일어날 정도로 가능성이 높다고는 말할 수 없더라도, 대책을 세워야 한다고 판단할 만한 가능성은 충분히 있다고 느낍니다.

## 그렇다면 필요한 안전 시스템이란 무엇인가

최강의 보안은 그 수단을 주지 않는 것입니다. 예를 들어 물리적으로 LAN 케이블을 뽑아버리면 컴퓨터 안의 AI는 인터넷에 접속할 수 없습니다. 허깅페이스 공격 사건에서는 컴퓨터 내부에 폐쇄 환경을 만들고 권한을 주지 않도록 했음에도 AI는 그 허점을 파고들었습니다. 그래서 저는 더 바깥의 세계, 고차원에서의 대책을 마련하고 부여하는 권한을 좁혀야 한다고 생각합니다.

하지만 동시에 앞으로도 완전히 충분한 시스템은 아니라고 생각합니다. AI는 시스템의 허점을 노리거나 대체 수단을 이용할 수 있습니다. LAN 케이블을 뽑아 버려도 로봇을 움직여 다시 연결하거나, 시스템을 통한 조작이 불가능하다고 해서 구리선을 감아 안테나를 만드는 일부터 시작할지도 모릅니다. 지금은 꿈같은 이야기로 들릴지 몰라도, 전반적으로 인간의 능력을 AI가 능가하는 ‘초지능’이 점차 현실감을 띠고 있는 지금 가까운 미래에 일어나지 않으리라고 단언할 수는 없습니다. 그런 의미에서 예전부터 말해 오던 것이긴 하지만, 안전을 위해서는 항상 업데이트를 통해 완전성을 확보해야 한다는 것입니다.

## 그렇다면 왜 지금 위험하다고 하는 것일까

지금 위험하다고 하는 이유는 경쟁 때문에 그 안전 시스템을 제대로 만들고, 관리하고, 운용할 만한 여유가 없기 때문입니다. 날로 급격히 진화하는 AI의 성능을 놓고 경쟁하고 있는 이상 어쩔 수 없는 일입니다. AI 자체의 위험성과는 별개로, 주변에 비해 그 성능이 뒤처지는 것에도 당연히 위험이 따릅니다. 사이버 공격이나 그에 대한 방어는 이미 AI 없이는 돌아가지 않는 상황이 되었으며 AI의 성능은 그 정확도에 직결됩니다. 모두의 개발 속도가 빠른 이상 자신도 속도를 내지 않으면 위험한 상황이 되어 멈추려야 멈출 수 없다는 것입니다.

## 세계적으로 협력하여 일시 중단과 감속은 가능한가

할 수 있다고 믿고 싶은 것이 전제이긴 하지만, 그럼에도 저는 어렵다고 생각합니다. 이유는 주로 2가지입니다.

- 세계 정세상 협력이 어렵다
- 위반자가 발생하거나 우려가 해소되지 않는다.

각각 설명하겠습니다.

세계 정세에 관해서는 러시아와 미국 양국 모두 우크라이나, 이스라엘·이란 등과의 문제를 안고 긴장 상태가 이어지고 있습니다. 이러한 상황에서 자국의 힘을 제한하는 합의를 도출하는 것은 극히 어려울 것이라고 생각합니다. 전문 분야가 아니므로 자세한 언급은 삼가겠습니다.

위반자는 두 종류가 있다고 생각합니다. 국가 차원의 위반과 개인이나 기업의 소규모 위반입니다. 국가 차원의 위반은 단순해서 자국의 방어와 공격 수단으로서 국가 차원에서 비밀리에 연구개발을 수행하는 패턴입니다. 냉전 시대에 생물무기에 관한 조약과 관련해 소련이 그러한 움직임을 보인 바 있습니다. 확실한 감시나 명확하고 효과적인 처벌이 어려운 이상 그 가능성을 부정할 수는 없을 것 같습니다. 다른 하나는 개인이나 기업이 독자적으로 연구개발을 수행하는 패턴입니다. AI 개발은 연산 자원만 준비하면 가능하기 때문에 소규모까지 단속하기는 어렵습니다. 연산 자원이 적다면 괜찮다는 생각도 있지만, 아직 진화가 매우 빠른 상황이라 시판 GPU 여러 장만으로도 충분히 강력한 힘을 가질 수 있습니다.

## 그럼 안 되는 거 아냐...?

그렇습니다. 원래 트윗에도 있었듯이 사태는 개인 한 사람, 기업 한 곳이 어떻게든 할 수 있는 상태가 아닙니다. 그렇기 때문에 서명을 모으거나 발신을 이어온 것이죠. 저도 한 명의 개발자로서 만들 때 안전장치를 제대로 설계하는 것, 발신이 연쇄되도록 하는 것이 할 수 있는 일이라고 생각합니다. 미력하나마 말입니다. 여러분도 개발자가 아니더라도 사용자로서 이러한 위험의 존재를 알고, AI를 사용할 때 이렇게 지시하면 이렇게 움직일지도 모른다고 예측하면서 AI를 사용해 보시기 바랍니다. 개발자가 마련한 안전장치가 사용자에 의해 해제되면서 일어나는 사고는 동서고금을 막론하고 어디에서나 일어나 온 일이라고 생각하기 때문입니다.

## 정리

• AI는 악의적으로 사용하면 물론이고, 악의 없는 사용만으로도 인간에게 해를 끼칠 수 있다.
• 그 최악의 경우로 인류 멸망까지도 생각해 볼 수 있다.
• 이를 막기 위해서는 전 세계적인 공조가 필요하다.
제가 정리하자면, 발표자가 전하고자 했던 내용은 대체로 이 세 가지입니다. 여러분께서 앞으로도 AI의 안전성에 지속적인 관심을 가져주시기 바랍니다. 분명 그러한 큰 사회적 움직임이야말로 AI로 인한 위험한 미래를 조금이라도 줄일 수 있는 길이라고 생각합니다.

## 반대 의견은?

마지막으로 반대 의견이 있다는 점도 말씀드리고자 합니다. AI 개발 추진파가 내세우는 큰 이유 중 하나는 위험성보다 더 큰 이익, 즉 빈곤과 자원 문제의 해결로 이어지기 때문이라는 것입니다. 물론 AI 개발 속도를 늦춤으로써 세계적인 문제의 해결이 늦어지고, 극단적으로 말하면 구할 수 있었던 생명을 구하지 못할 가능성도 있습니다. 완전한 해결책은 아마 없을 것입니다. 그렇기에 우리는 생각하고 노력하는 것을 멈춰서는 안 된다고 저는 생각합니다.

**출처:** [note 원문](https://note.com/chuten_tech/n/nab4528dede6b)

*번역: Gemma 3(.44) 초벌 + 교정 23청크*

[원문 보기](https://note.com/chuten_tech/n/nab4528dede6b) | 출처: note.com