# 똑똑한 AI, 안전성은 따라갈 수 있을까? 유엔, AI 급속한 진화에 경고

> https://bookfactory.kr/board/ai-tech/17476
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-18T01:13:19.305Z

---

2026년이 시작되었음에도 불구하고, 인공지능의 성능 향상은 놀라울 정도로 빠른 속도로 지속되고 있습니다.

단순히 글을 쓰는 것뿐만 아니라, 프로그래밍을 하고, 컴퓨터를 조작하며, 여러 작업을 자율적으로 수행하는 것을 의미합니다.

더욱 고도화된 과학 연구나 사이버 보안까지 최신 AI가 할 수 있는 일은 급속히 늘어나고 있습니다.

편리한 측면이 있는 동시에 “AI가 이렇게 고성능이 되었다는 점이 안전성과 어떻게 맞물릴 수 있을까”라는 논의도 강화되고 있습니다.

유엔 인권 고등 대표 부처의 볼커 터크 부인은 2026년 9월 7일, 급변하는 인공지능이 인류에 심각한 위험을 초래할 가능성에 대해 경고하며, 세계 각국에 강력한 안전 대책 마련을 촉구했습니다.

### 국제연합 인권최고대표(UN HCHR)가 인공지능(AI)에 강력한 경고 발언을 쏟아내고 있습니다.

튀르크 씨는 유엔 인권이사회에서의 연설에서 AI가 인류에게 큰 이익을 가져올 가능성을 인정하면서도, 그 능력이 급속히 향상되고 있는 것에 대한 우려도 표명했습니다.

특히 우려되는 점은 고성능 AI를 개발하고 운영하는 역량이 소수의 거대 기업에 집중되고 있다는 것입니다.

고급 인공지능이 경제와 사회에 큰 영향력을 가지게 되면, 누가 그것을 관리하고 어떤 규칙에 따르게 할 것인가 하는 것이 중요해집니다.

터크 씨는 AI를 안전하게 이용하기 위해 매우 강력한 보장이 필요하다고 주장하고 있습니다.

### AI 에이전트로부터 발생하는 새로운 위험들

최근 인공지능에서 특히 크게 달라진 것이 “에이전트 능력”입니다.

기존의 챗봇 AI는 기본적으로 인간이 질문을 하면 답변을 제공하는 방식이었습니다.

하지만 최신 AI 에이전트는 목적을 제시받으면 스스로 여러 단계를 수행하고, 웹 브라우저나 소프트웨어, 외부 툴 등을 활용하여 작업을 진행할 수 있게 되었습니다.

이것은 매우 편리합니다.

예를 들어,

이 자료를 조사하여 보고서를 작성해 주세요.

요청하면 AI 스스로 정보를 찾아 정리하고 필요한 도구를 조작하여 결과물을 만들어낸다.

사람이 세심한 절차를 하나씩 지시할 필요가 없어집니다.

하지만 자율적으로 행동할 수 있다는 것은 AI가 예상 밖의 행동을 취했을 때 그 영향 또한 커진다는 의미입니다.

그러므로 “얼마나 현명한가”뿐만 아니라

어떻게까지 행동을 허용할 것인가

위험한 행동을 어떻게 감지할 것인가

문제가 발생했을 때 어떻게 중단시킬 것인가

이러한 메커니즘이 중요해집니다.

### GPT-6 Astra는 사이버 능력에 ‘Critical’ 평가를 받았다.

이 문제를 고려할 때, OpenAI의 “GPT-6 Astra”가 매우 이해하기 쉬운 예시입니다.

OpenAI는 9월 3일, GPT-6 Astra를 공식적으로 공개했습니다.

또한, 해당 회사는 Astra가 Preparedness Framework에서 사이버 보안 능력의 “Critical” 수준에 도달한 최초의 모델이라고 발표했습니다.

단순히 “프로그래밍에 능숙하다”라는 의미만은 아닙니다.

OpenAI의 평가에 따르면, 적절한 도구와 접근 권한이 주어진 경우, 인간이 각 단계를 하나씩 지시하지 않아도, 엄격하게 보호된 다수의 시스템에서 알려지지 않은 취약점을 발견하고 이를 악용하는 방법을 개발할 수 있는 수준이라고 평가됩니다.

사이버 방어 측에서 보면 매우 강력한 능력입니다.

AI는 인간만이으로는 찾기 어려운 취약점을 발견하고 공격 전에 수정할 수 있는 가능성을 제시합니다.

물론 당연한 일이죠. 같은 능력이 악용될 경우 사이버 공격에도 활용될 수 있습니다.

고급 인공지능이 지닌 “유익한 능력”과 “위험해질 수 있는 능력”은 동일한 기술의 양면성을 나타내는 것입니다.

### OpenAI는 안전 조치를 강화합니다.

OpenAI는 이러한 능력을 바탕으로 Astra에 대해 더욱 강력한 안전 조치를 도입하고 있습니다.

예를 들어, 모델을 활용하여 유해 사이버 행동을 방지하기 위한 추가 교육 및 악용 방지 대책을 도입한다.

더욱이 내부 환경에서는 더욱 엄격한 격리, 모델 체크포인트 암호화, AI가 작업을 진행하는 일련의 과정에 대한 감시 등도 강화하고 있습니다.

OpenAI는 Astra의 개발 및 공개를 일부 지연시키고, 안전 대책을 강화한 후에 제공할 예정임을 밝혔습니다.

물론, AI 기업 스스로도,

성능이 향상되었으므로 그대로 공개한다.

그 정도로는 충분하지 않은 단계에 접해있다고 할 수 있습니다.

### 위험하므로 AI를 멈추는 것 외에도 고려해야 합니다.

여기 주목해야 할 점은 이번 논의가 단순한 “AI는 위험하기 때문에 개발을 중단해야 한다”는 주장과는 다르다는 것입니다.

AI에는 큰 장점이 있습니다.

사이버 보안은 공격자가 취약점을 발견하기 전에 이를 찾아낼 수 있는 가능성을 의미합니다.

의료 및 과학 연구 분야에서는 인간만으로는 방대한 시간을 필요로 했던 분석을 지원할 수 있습니다.

이전 소개 드린 Google의 WeatherNext 3처럼 날씨 예보를 개선하는 AI도 있습니다.

지금 소개해 드린 비행기 구름 대응 방책과 같이 항공 분야의 환경 부담 감소를 지원하는 AI도 있습니다.

중요한 것은,

AI를 사용하거나 사용하지 않는가

단순히 둘 중 하나를 선택하는 것이 아니라,

강력해진 AI를 어떻게 안전하게 사용할 수 있을까

이런 문제일 거예요.

### 국가별로 생각하는 방식에 차이가 있습니다.

더욱 어려운 점은 인공지능의 규칙을 세계적으로 통일하는 것입니다.

AI 개발은 미국, 중국, 유럽 등 세계적으로 활발하게 진행되고 있습니다.

어느 한 나라만이 극단적으로 엄격한 규제를 도입한다고 해도, 다른 나라에서 개발이 계속된다면 기술 자체를 멈출 수는 없습니다.

한편, 규제를 지나치게 약화시킨다면 안전보다 개발 경쟁이 우선시될 수 있습니다.

실제로, 인공지능 규제에 대해서는 각국의 생각에 차이가 있습니다.

안전성을 확보하는 동시에 기술 혁신을 저해하지 않도록 노력해야 합니다.

그 균형을 어떻게 잡을 것인지, 앞으로 더욱 중요하고 시급한 국제적 과제로 여겨질 것입니다.

### AI 발전과 “브레이크”는 함께 나타나는 현상이다.

자동차의 속도가 빨라질수록 더 뛰어난 제동 장치와 안전 장치가 필요합니다.

AI도 비슷할 수 있습니다.

AI가 질문에만 답변을 제공하던 시대와 AI 스스로 브라우저나 소프트웨어를 조작하여 사이버 보안이나 과학 연구까지 수행할 수 있는 시대에서는 필요한 안전 대책 또한 당연히 달라집니다.

2026년의 AI 경쟁에서는

어떤 모델이 가장 지혜로운가

단지 그것뿐만 아니라,

얼마나 안전하게 강력한 인공지능을 운영할 수 있을까요?

이는 기업이나 국가의 중요한 경쟁력이 될 것입니다.

AI의 능력 향상을 환영하면서 동시에 안전 대책을 강화한다.

가속 페달과 브레이크가 모두 진화할 수 있을까?

그것은 앞으로의 인공지능 사회를 고민할 때 매우 중요한 쟁점이 될 것으로 보입니다.

유엔 인권최고대표(아그네스 칼라)가 인간에게 ‘존재론적’ 위험을 초래할 수 있는 AI에 대해 경고했다. 

OpenAI는 GPT-6 Astra에 대한 안전 개요(2026년 9월 3일), Path to Astra: 핵심 역량 및 최전선 안전장치(2026년 9월 1일), GPT-6 Astra 시스템 카드(2026년 9월 3일)를 발표했다.

**출처:** [note 원문](https://note.com/sblog001/n/n482a463702c7)

*번역: Gemma 3(.44) 초벌 + 교정 40청크*

[원문 보기](https://note.com/sblog001/n/n482a463702c7) | 출처: note.com