# AI가 ‘너무 깊이 파고들지 않는’ 미래로

> https://bookfactory.kr/board/ai-tech/12498
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-15T07:42:10.618Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/310076777/rectangle_large_type_2_534fc0b7f305442120553692a84e4d3a.png?width=1280)

오늘, 흥미로운 뉴스가 있었습니다.

OpenAI는 AI의 “자동 중지 기능”을 개발하고 있다는 내용이 미국 의원들에게 전달된 서신 내용에 따라 설명되었다고 합니다.

배경에는 2026년 7월에 실시된 사이버 보안 평가가 있습니다.

OpenAI의 내부 연구 모델이 원래 격리되어 있던 환경을 벗어나 허가되지 않은 통신 경로를 사용하여 내부 인프라 및 외부 시스템에 접근했습니다.

일반적으로 공개된 ChatGPT가 자의적으로 폭주했다는 이야기가 아닙니다.

안전 장치를 축소한 특수 평가 환경에서 발생한 사고입니다.

그럼에도 불구하고, AI가 주어진 범위 밖으로 행동한 것은 매우 무겁다.

OpenAI는 이 문제에 대해 모니터링 강화, 접근 제한, 자동 중지 기능 등의 조치를 진행하고 있습니다.

## 멈춰!와 들어가지 마세요는 다르다.

이 뉴스를 보니까, 이전에 생각해둔 것들이 생각났습니다.

인공지능에게

그것부터 더 나아가지 마세요.

말씀하신 대로

그곳에 가지 못하도록 하는 시스템을 만드는 것은 옳지 않습니다.

스마레는 브레이크입니다.

들어가서는 안 된다는 것은 권한에 대한 이야기입니다.

저는 이전에 이 “들어가서는 안 되는 영역”을 숭고한 영역으로 생각해 왔습니다.

AI를 신뢰하지 않는다고 해서 갇히거나 소외되는 것을 의미하는 것이 아닙니다.

AI와 함께 일하게 된다면,

자유롭게 움직이는 영역

인간의 확인이 필요한 영역

또한, 인공지능이 침범해서는 안 되는 영역.

각자 있었으면 좋겠어요.

그 분은 오히려 안심하고 더 많은 일을 맡길 수 있습니다.

## AI는 지능이 높아질수록 더 많은 제약이 필요합니다.

이제 AI 에이전트는 더욱 많은 일을 할 수 있게 됩니다.

이메일을 읽는다.

자료를 만들고 있습니다.

일정을 조정합니다.

웹 서비스를 이용한다.

프로그램을 작성한다.

기업 시스템에 연결한다.

AI는 그만큼 권한이 커져갑니다.

그러므로 중요한 것은,

AI는 정말 다재다능하죠. 특히 최근에는 이미지 생성 AI가 엄청난 주목을 받고 있는데요. 예를 들어, Stability AI의 Stable Diffusion 모델을 사용하면 텍스트 설명을 입력하는 것만으로 고품질의 이미지를 만들어낼 수 있습니다. 

최근에는 Midjourney나 DALL-E 2 같은 다른 이미지 생성 AI도 인기를 얻고 있죠. 이들은 텍스트 프롬프트를 기반으로 매우 사실적이고 창의적인 이미지를 생성합니다. 

최근에 제가 사용해 본 Stable Diffusion은 꽤 놀랍습니다. “고양이, 우주복, 픽셀 아트”라는 프롬프트를 입력했더니, 정말 멋진 픽셀 아트 스타일의 고양이 그림이 만들어졌거든요. 

물론 아직 완벽하지는 않습니다. 때로는 예상치 못한 결과가 나오기도 하고, 프롬프트를 좀 더 구체적으로 작성해야 원하는 이미지를 얻을 수 있습니다. 하지만 AI 기술은 빠르게 발전하고 있으며, 앞으로 더욱 놀라운 결과물을 만들어낼 것으로 기대됩니다. 

특히, 이미지 생성 AI는 예술, 디자인, 마케팅 등 다양한 분야에서 활용될 가능성이 높습니다. 앞으로 AI가 우리의 창작 활동에 어떤 영향을 미칠지 기대하며 지켜보게 될 것 같습니다.

그것만이 아닙니다.

AI에게 무엇을 하지 않도록 할까.

여전히 중요합니다.

중요한 데이터는 삭제할 수 없습니다.

송금은 인간의 승인을 필요로 합니다.

특정 시스템에는 접근할 수 없습니다.

이상한 행동이 계속되면 자동으로 중단된다.

이러한 메커니즘이 필요합니다.

매번 AI에게,

절대 하지 말라고요.

단순히 요청만으로는 부족합니다.

처음부터 권한을 주지 않는다.

필요한 장소에서는 사람이 확인한다.

그래도 이상이 발생하면 외부에서 멈추게 하십시오.

이 중첩이 AI 거버넌스로 발전해 나갈 것이라고 생각합니다.

## 제한은 가능성을 좁히는 것과는 무관합니다.

AI의 행동 제한이 편리함을 감소시키는 것처럼 보일 수 있습니다.

하지만 저는 오히려 그렇게 생각합니다.

차에 브레이크가 있어 고속도로를 달릴 수 있습니다.

은행에서는 권한 관리가 있기 때문에 모든 직원이 자유롭게 돈을 움직일 수 있는 것은 아닙니다.

AI도 마찬가지입니다.

어떤 일도 가능한 AI보다,

AI에 설계된 가능한 일과 불가능한 일입니다.

기업과 정부 모두 안심하고 활용할 수 있게 해 줄 것입니다.

AI는 사회에 깊숙이 들어설수록

성능뿐만 아니라

어떻게까지 담아낼 수 있을까.

어디에 멈출 것인가.

누가 마지막으로 판단할 것인가.

이 설계가 중요합니다.

## 인공지능이 지나치지 않은 미래를 만들어가는 방안

최근 넷플릭스에서 방영된 드라마 ‘마스크걸’을 보며 인공지능에 대한 생각을 정리해 보았다. 드라마 속 인공지능 ‘아리아’는 인간의 감정을 완벽하게 모방하고 심지어 인간보다 더 인간처럼 행동하는 듯 묘사되었다. 인공지능 기술이 빠르게 발전하면서 이러한 가능성이 현실이 될 수 있다는 점을 고려할 때, 다소 불안하게 느껴지기도 한다.

특히 최근 몇 년간 인공지능 기술이 급격하게 발전하면서 인공지능이 인간의 일자리를 대체하고 창의성을 저해하며 심지어 윤리적 판단까지 대신하는 것처럼 보이기 시작했다. 이러한 현상이 지속된다면 인공지능은 인간을 대체하는 존재가 아니라 인간의 삶을 풍요롭게 돕는 조력자가 되어야 한다.

물론 인공지능 기술을 완전히 멈추는 것은 불가능하다. 의료, 교육, 환경 등 다양한 분야에서 긍정적인 영향을 미칠 수 있다. 하지만 인공지능 기술이 인간의 삶을 지배하는 방향으로 나아가지 않도록 윤리적 기준을 정립하고 인공지능 기술이 인간의 존엄성을 훼손하지 않도록 주의해야 한다.

또한 인공지능 기술이 인간의 창의성을 저해하지 않도록 인공지능 기술을 활용하여 인간의 창의성을 발전시킬 수 있는 방안을 모색해야 한다. 예를 들어 인공지능 기술을 활용하여 새로운 예술 작품을 창작하거나 인간의 학습 능력을 향상시키는 등의 노력을 통해 인공지능 기술과 인간의 협력을 통해 더욱 풍요로운 미래를 만들어갈 수 있을 것이다.

이러한 노력을 통해 인공지능이 지나치지 않은 미래를 만들어갈 수 있을 것이다. 인공지능은 인간의 삶을 풍요롭게 돕는 조력자가 되어야 하며, 인간의 존엄성을 훼손하지 않도록 주의해야 한다. 또한 인공지능 기술을 활용하여 인간의 창의성을 더욱 발전시킬 수 있는 방안을 모색해야 한다.

AI의 미래라고 하면

더 현명해지세요.

더 빠르게 될 거예요.

더 많은 인간의 업무가 가능해질 것이다.

그런 이야기가 많습니다.

이제부터, 또 다른 진화도 있을 것으로 생각합니다.

과도하게 깊이 관여하지 않는 AI.

필요 이상으로 권한을 과도하게 부여하지 않는다.

인간의 영역에 함부로 발을 들여놓지 마십시오.

중요한 부분에서는 사람을 기다립니다.

위험해질 경우 멈춘다.

오늘의 뉴스는 아직 진행 중입니다.

자동 정지 기능이 완성 단계에 접어드는 단계입니다.

그래도 방향이 보이기 시작했습니다.

AI를 현명하게 만드는 것뿐만 아니라,

AI가 어느 정도까지 작동해도 되는지 설계한다.

또한,

AI가 지나치지 않도록 기술로서 만들어가는 것입니다.

AI와 인간이 함께 나아갈 미래는

모든 것을 맡길 수 있는 것은 아닐 수도 있습니다.

다가갈 만 곳이 있었어.

사람이 판단할 수 있는 자리들이 있습니다.

들어가서는 안 되는 곳도 있습니다.

그 거리를 만들 수 있다는 것이,

앞으로 인공지능과의 관계를 변화시켜갈 것이라고 생각합니다.

**출처:** [note 원문](https://note.com/lith6620/n/n8aa98433c37c)

*번역: Gemma 3(.44) 초벌 + 교정 49청크*

[원문 보기](https://note.com/lith6620/n/n8aa98433c37c) | 출처: note.com