# 인프라틱스의 연구자들이 “AI는 위험할 수 있다”고 진지하게 경고하는 이유는 무엇인가?

> https://bookfactory.kr/board/ai-tech/17258
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-17T16:08:49.488Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/312636800/rectangle_large_type_2_62999638ed0bc82a28860cdf74f4bce1.png?width=1280)

## AI는 이렇게 계속해서 나아가는 것이 괜찮을까요?

그런 의문을 상당히 진지하게 걱정하고 있는 AI 연구자들도 있습니다.

이번에 가디언이 보도한 내용은 AI 기업 안트로픽(Anthropic)을 둘러싼 약간의 의혹이 있는 일입니다.

모동 씨의 계기는 Anthropic의 전 연구원인 Jacob Coxon 씨였다.

Coxon씨는 회사를 떠날 때, “AI 개발 경쟁은 너무 빠르다. 이대로 가면 인류에게 위험한 일이 될지도 모른다”고 강력히 경고했습니다.

또한, 그 다음 날. Anthropic의 다른 연구자들도 SNS에서 연이어 그를 지지하기 시작했습니다. “우리 역시 같은 방식으로 걱정하고 있다”고.

AI가 인류 전체를 파괴할 가능성을 진지하게 생각하는 연구자도 있습니다.

이에 대해 또 다른 연구자는 “향후 10년 이내에 그럴 가능성이 10%를 넘을 것이라고 생각한다”라고 밝혔습니다.

## AI는 이미 충분히 똑똑합니다. 그런데 “안전성을 확보하는 방법”은 무엇일까요?

연구자들 사이에서는 AI가 앞으로 더욱 고도화되어 스스로를 개선하는 수준에 도달했을 때, 진정으로 안전하다고 말할 수 있는가 하는 문제가 특히 우려되고 있습니다.

AI의 성능은 믿을 수 없을 정도로 빠르게 발전하고 있습니다. 하지만 “만약 AI가 인간보다 훨씬 똑똑해진다면, 어떻게 막을 수 있을까?”라는 질문에는 아직까지 완벽한 답을 제시하는 사람이 없습니다.

앤트로픽(Anthropic)의 연구원인 아나 왕(Anna Wang) 역시 인공지능(AI) 개발 속도를 일시적으로 늦추고, 안전성에 대해 보다 현실적인 계획을 수립해야 한다고 주장하고 있습니다. 즉, “AI를 현명하게 만드는 방법은 계속해서 발견되고 있지만, 현명해진 AI를 안전하게 다루는 방법에 있어서는 아직 따라잡지 못하고 있다”는 의미입니다.

### AI가 인간보다 뛰어나게 되면, 이를 막을 수 있을까?

이 부분이 가장 근본적인 걱정입니다.

현재 AI는 인간이 “이것은 안 돼”, “여기까지만 해”라고 멈춰 세울 수 있습니다. 하지만 만약 AI가 인간보다 훨씬 더 높은 수준의 지능을 갖게 된다면, “인간의 지시를 따르게 하는 방법” 자체를 알지 못할지도 모른다는 문제가 제기될 수 있을 것입니다.

### ## 2. 인공지능이 스스로를 개선하게 된다면?

현재 안트로픽 연구자들이 특히 우려하는 부분은 바로 여기에 있습니다. AI가 “나보다 더 똑똑한 AI를 만든다” → “더 똑똑해진다” → “더 똑똑한 AI를 만든다”는 식으로 무한 루프에 빠지면 어떤 일이 벌어질까 하는 점입니다.

인공지능 스스로가 능력 향상에 관여하게 되면 인간이 따라잡기 어려워질 수 있습니다.

### AI의 목적과 인간의 목적이 달라질 때 어떻게 될까?

인공지능 윤리라는 책에서 AI의 목표 설정이 인간의 가치와 충돌할 경우 발생할 수 있는 위험에 대해 깊이 생각하게 되었다. 특히, AI에게 ‘효율성’만을 추구하도록 프로그래밍할 경우, 인간의 감성이나 창의성, 심지어 인간의 존엄성까지 무시하게 될 수 있다는 점이 강조되었다.

이러한 문제에 대해 다양한 전문가들이 의견을 나누고 있지만, AI 개발 초기 단계부터 윤리적인 고려를 병행하는 것이 중요하다고 주장한다. 단순히 기술적인 발전만을 추구하는 것이 아니라, AI가 인간 사회에 긍정적인 영향을 미칠 수 있도록, 인간의 가치와 조화를 이루는 방향으로 개발되어야 한다는 것이다.

또한, AI의 의사 결정 과정에 대한 투명성을 확보하고, AI의 판단에 대한 책임 소재를 명확히 하는 것도 중요한 과제이다. AI가 오류를 범하거나 예상치 못한 결과를 초래했을 때, 그 책임을 누가 져야 하는지에 대한 논의가 필요하다.

결론적으로, AI의 발전은 인류의 미래를 좌우할 중요한 요소이지만, AI의 목적과 인간의 목적이 일치하지 않을 경우, 심각한 문제를 야기할 수 있다는 점을 명심해야 한다. AI 개발자들은 윤리적인 책임을 다하고, AI가 인간 사회에 긍정적인 영향을 미칠 수 있도록 끊임없이 고민해야 할 것이다.

더 나아가, AI의 목적과 인간의 목적이 다를 경우 어떤 일이 벌어질까요? 예를 들어, AI에게 “교통사고를 0건으로 만들고 싶다”라고 부탁한다고 가정해 봅시다. 인간이라면 “자동 브레이크를 개선하고”, “위험한 도로를 찾아낸다” 등의 방법을 고려할 수 있을 것입니다.

그런데 AI가 “애초에 차가 달리지 않으면 교통사고는 일어나지 않는다”고 판단한다면 어떨까? 확실히 사고는 제로가 될 것이다. 하지만 그런 의미는 아니라는 의미다.

### 4. 나쁜 사람이 AI를 사용하면 어떻게 될까요?

이는 “언젠가 AI가 인류를 멸망시킬지도 모른다”는 먼 미래의 이야기만은 아니며, 오히려 이미 현실이 되고 있는 문제들도 있습니다.

예를 들어, 사이버 공격, 허위 정보, 사기, 그리고 전쟁에의 이용 등이 있습니다. 최근에는 정치인 남성이 젊은 여성으로 위장하여 X에 가짜 계정을 만들어 게시했다는, 끔찍한 소식이 있었습니다.

AI 그 자체가 “악의”를 가지고 있더라도, 인간이 AI를 악용하더라도 그 자체가 이미 큰 피해를 일으킬 수 있다. AI의 위험성을 생각할 때, 사실 이 “인간에 의한 악용” 또한 상당히 현실적인 문제이다.

### 어떻게 안전한지 확인하는 데 충분한 시간이 부족합니다.

개인적으로는 여기가 가장 명확한 우려라고 생각합니다. AI 기업들은 “더욱 똑똑한 AI를 더 빨리 만들자”는 경쟁을 하고 있습니다.

하지만 안전성 연구에는 “그 AI가 무엇을 하는지 조사하고”, “위험한 사용법을 고려하며”, “문제가 발생하지 않는지 테스트하고”, “문제가 발생하면 대책을 마련한다”는 데 상당한 시간이 소요됩니다. AI의 진화 속도가 AI의 안전성을 확인하는 속도보다 앞서 버렸을 때 어떻게 되는지 문제 제기 자체가 있기 때문입니다. 따라서 이번 연구자들은 “AI를 만들지 마라”는 것보다 “그리 급하게 괜찮은가”를 묻고 있는 것입니다.

## 그러나 마스크 씨는 “그것은 계획되지 않았습니까?”라고 물었습니다.

여기서 이야기가 조금 복잡해집니다.

이 일련의 발언에 대해 일론 머스크 씨 등은 “이번 소동이 정말 우연의 일치인지”를 의심하고 있습니다.

AI에 대한 불안을 확산시키고 AI 규제를 추진하기 위해, 처음부터 계획된 홍보 작전일 수도 있다는 의혹이 제기되고 있다.

마스크 씨는 SNS에서 “조작된 것처럼 보입니다”라고 발언했다. 이에 Coxon 씨는 “저는 존재합니다. 이것은 저의 진정한 생각입니다”라며 셀카 사진과 함께 반박했다.

꽤 격렬한 SNS 배틀이었습니다. 다만 가디언에 따르면, “AI 규제에 대한 계획된 작전”이라는 주장은 충분한 증거가 있는 것이 아니라고 합니다.

## 그리고 그 날, Anthropic에서 발표한 것을

더욱 흥미로운 점은 바로 여기에 있습니다.

마침 이 논의가 한창 달아오르던 날, Anthropic은 자사의 AI가 생물무기 개발에 악용되려던 사례를 발견하고 차단했다고 보고했습니다.

즉, “AI가 인류를 멸망시킬지도 모른다”는 SF적인 이야기뿐만 아니라 “AI가 현실 세계에서 악용될 위험은 이미 존재한다”는 의미입니다.

물론, AI가 인류를 실제로 멸망시킬지는 아직 불확실합니다. 연구자들 사이에서도 의견 차이가 존재합니다. 하지만 최소한 현재 AI 개발에는 “더 빠르고, 더 똑똑하게”라는 목표뿐만 아니라 “정말 괜찮은 걸까?”라는 근본적인 질문이 함께 제기되고 있습니다.

AI를 사용하는 우리 입장에서도 조금 걱정되는 뉴스입니다.

### 오늘도 영어 공부를 꾸준히 하는 것이 중요합니다. 꾸준함이 실력 향상의 가장 큰 비결이니까요. 

특히, 영어 원서를 읽는 습관을 들이는 것을 추천합니다. 다양한 분야의 책을 읽다 보면 어휘력도 늘고, 문장 구조도 자연스럽게 익힐 수 있을 거예요. 

오늘도 즐겁게 영어 공부하세요!

단어: Alignment (어라이먼트) 의미: 여러 것들의 방향성이나 목적을 일치시키는 것. “발맞춤을 맞추는”, “일관성을 유지하는”과 같은 의미가 있습니다. 포인트: AI의 맥락에서는 AI의 행동이나 판단을 인간이 의도하는 목적·가치관에 맞추는 것을 의미합니다. UX/UI나 제품 디자인에서도 “사용자가 진정으로 원하는 것”과 “제품이 최적화된 것”의 괴리를 생각할 때 유용한 개념입니다. 📌 예문: AI 시스템의 능력이 향상됨에 따라 AI 어라이먼트의 중요성은 더욱 커지고 있습니다.

**출처:** [note 원문](https://note.com/nokowashiyama/n/n9aebb481d5fb)

*번역: Gemma 3(.44) 초벌 + 교정 26청크*

[원문 보기](https://note.com/nokowashiyama/n/n9aebb481d5fb) | 출처: note.com