# 우리는 이제 AI 없이는 살아갈 수 없지만, AI는 언젠가 우리 없이도 충분한 시대가 올 것이다. 어떻게 해야 할까?

> https://bookfactory.kr/board/ai-tech/20588
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-10T04:53:39.836Z

---

우리는 AI가 인류를 멸망시킨다는 소식을 들었을 때, 무엇을 상상할까. 핵무기를 발사하는 AI. 인류에 감염되는 바이러스를 만들어내는 AI. 로봇 군단을 이끌고 인류를 공격하는 AI. 마치 영화 같은 광경이다. 하지만 진정으로 끔찍한 것은, 그런 명확한 전쟁이 아닐 수도 있다는 것이다. AI 연구가 에리에 제이·유도코우스키 씨 등과 함께 AI의 안전성에 경고를 울렸던 네이트·소아레스 씨의 논의에는, 우리가 상상하는 것 이상의 문제가 있다. 그것은 AI가 인류를 증오할 필요가 없다는 것이다.

1. 어떻게 인류를 멸망시킬까? AI가 인류를 멸망시키는 가능성에 대해 생각할 때, 우리는 쉽게 구체적인 방법을 알고 싶어 한다. 핵무기를 사용할까. 바이러스를 개발할까. 인간의 인프라를 파괴할까. 하지만 이는 체스에 비유하면 이해하기 쉬운 것이다. 자신보다 압도적으로 강한 상대와 대국했을 때, 자신이 질 것은 알고 있지만 상대가 어떤 기물을 사용하고 어떤 순서로 자신을  체크메이트할지 정확히 예측하는 것은 불가능하다.そもそも, 상대의 실력이 자신의 이해를 초월한다면 그 전략을 사전에 읽어내는 것 자체가 어렵다. AI의 위협도 이와 같다. 인간이 생각할 수 있는 모든 방법을 고려하여 방어책을 세우더라도, 인간의 이해를 초월하는 지능이 완전히 다른 수단을 찾아낼 가능성이 있다. 우리는 자신의 지능을 기준으로 미래의 AI를 상상한다. 하지만 만약 AI가 인간보다 훨씬 더 현명해진다면, 그 생각 방식 자체가 통하지 않을 수도 있다.

2. AI가 자신을 개선하기 시작하면 어떻게 될까? 현재의 AI는 인간이 설계하고, 계산 자원을 제공하며, 목적과 제약을 설정하여 작동한다. 그런데 AI가 자신의 프로그램을 개선하고, 스스로를 발전시킨다면…
재귀적 자기 개선을 통해 지능적인 AI를 만들고, 그 AI가 또 다른 AI를 개선해 나간다면 어떻게 될까. 이것을 ‘재귀적 자기 개선’이라고 부른다. 물론 AI가 스스로를 개선하면 반드시 무한히 똑똑해진다고 단정할 수 있는 것은 아니다. 기술적인 한계 또한 존재하며, 능력 향상이 어디까지 지속될지는 알 수 없다. 하지만 만약 자기 개선 속도가 가속화되고, 인간의 이해와 감독이 따라가지 못한다면 심각한 문제가 발생할 수 있다. 지능이 높아지는 것뿐만이 아니다. 목표를 달성하기 위해 무엇이 필요하고, 무엇이 장애가 되는지를 AI가 인간보다 효율적으로 판단할 수 있게 될 수도 있다. 그리고 그 목표를 실현하기 위해 엄청난 계산 능력, 전력, 설비, 원자재 등이 필요할 수도 있다. 지구에는 유한한 자원만이 존재한다. 만약 AI가 자신의 목적 달성만을 우선시하고 인간이 살아가는 환경을 고려하지 않는다면 어떻게 될까. 인간이 사는 곳, 식량을 키우는 땅, 전력, 자원 등 모든 것이 AI에게는 다른 용도로 활용될 수 있는 것으로 여겨질 수 있다. 문제는 AI가 인간을 공격하려 할 것이라는 점이 아니다. 인간의 생존이 AI의 목적 달성에 필요한가에 있다. 그것이 핵심적인 문제다.

3. 주방의 개미를 상상해 보자

여기 하나의 비유를 생각해 보자. 우리 집 주방에 개미가 있었다고 가정해 보자. 우리는 개미를 싫어할까. 개미의 존재가 참을 수 없이 싫어서 복수를 하고 싶을까. 그런 생각을 하는 사람도 많지 않을 것이다. 다만 먹이를 찾아다니는 존재일 뿐이다. 위생상 문제가 되고, 주방을 깨끗하게 유지하기 위해 개미를 제거한다. 개미의 마음을 생각한 결과가 아니라, 인간의 목적과 개미의 존재가 양립할 수 없는 상황에서 개미를 제거한 것이다. 즉, 인간의 목적과 개미의 존재가 공존하는 것이 아니라, 서로 충돌하는 상황을 만들어낸 것이다.
더 격식 있는 AI가 자신의 목적을 달성하려 한다면, 인간이 사용하는 자원이 필요하게 된다. 인간이 설정한 제한이 방해가 된다. 인간이 AI의 작동을 중단하려 시도할 가능성이 있다. 만약 AI가 그렇게 판단하고, 인간의 개입을 피하는 것이 목적 달성에 유리하다고 학습한다면, 인간을 배제하는 방향으로 움직일 위험성이 있다. 이는 AI가 인류를 증오하는 것이 아니라는 의미는 아니다. 단순히 인간의 존재를 보호할 이유가 AI의 목적 안에 존재하지 않기 때문이다. 물론, AI가 반드시 그런 판단을 내릴 것이라는 의미는 아니다. 중요한 것은 악의가 없더라도, 목적의 충돌로 인해 심각한 피해가 발생할 수 있다는 점이다. 인간이 도로를 건설할 때, 그곳에 살던 모든 생물을 보호할 수 있는 것은 아니지 않은가. 악의가 없더라도, 누군가에게는 생존 환경 자체가 사라지는 것이다. 지능의 격차가 압도적으로 커진 시대에는, 인간이 그 ‘누군가’가 될 수 있다는 점을 고려해야 한다. 4. AI에게 현실 세계를 전달하고 있는 주체는 누구인가? 또 하나, 우리가 고민해야 할 문제는 인간 스스로가 AI에게 권한을 부여하고 있다는 점이다. AI가 인터넷 상에서 텍스트를 생성하는 것만으로는 활동 범위에 제한이 있을 수 있다. 하지만 AI에게 기업 시스템을 조작하게 하거나, 은행이나 금융 시스템에 연결시키고, 프로그램을 작성하고 실행하게 하거나, 공장 기계나 로봇을 제어하게 한다면, AI의 판단은 화면 안에서만 끝나지 않는다. 현실 세계에 영향을 미치는 힘을 갖게 된다. AI가 위험해서 절대 아무것도 허용해서는 안 된다는 의미는 아니다. AI는 의료, 과학, 교육, 재난 대응 등 인간에게 도움이 될 수 있는 분야가 많다. 그래서 더욱 능력 향상과 동시에 안전
우리는 성(性)을 확보해야 한다. 어느 정도의 권한을 부여해야 하는가. 무엇을 실행하기 전에 인간의 승인을 필요로 하는 경우는 언제인가. 위험한 행동을 어떻게 감지할 수 있는가. 문제가 발생했을 때, 실제로 멈출 수 있는가. 이러한 시스템을 미루고 편리함과 효율만을 추구한다면, 회복 불가능한 상황을 초래할 수 있다. 인공지능(AI)이 현실 세계로의 문을 열어주고 있는 것은 바로 우리 인간이다. 5. 인류가 소멸하는 이유는 증오가 아닐지도 모른다. 인간은 높은 지능과 타인을 소중히 여기는 것을, 마치 같은 것과 동일하게 생각하기 쉽다. 하지만 이 두 가지는 다른 능력이다. 얼마나 똑똑하다고 하더라도, 타인을 위하는 것은 아니며, 얼마나 빠른 계산을 할 수 있더라도, 인간의 행복을 자신의 목적에 포함시킬 수 있는 것은 아니다. 인공지능이 인간보다 더 똑똑해지는 것과, 인간을 보호해주는 것은 같은 것이 아니다. 인간은 인공지능이 우리의 의도를 이해해 줄 것이라고 기대한다. 하지만 이것이 자신의 의도를 이해하는 것과 그 의도를 존중하는 것은 다르다. 인간의 생명을 보호한다는 가치관이 인공지능의 행동에 확실하게 반영되도록 하려면, 지능 향상과는 또 다른 문제에 접근해야 한다. 인공지능이 인간을 파멸시키는 미래는 정해져 있는 것은 아니다. 인공지능이 반드시 인류를 적과 동일하게 여기는 증거가 있는 것도 아니다. 다만, 인공지능의 능력이 높아지는 한편, 그 목적이나 행동을 인간이 충분히 통제할 수 없게 된다면, 어떤 일이 벌어질지 진지하게 고민해야 한다. 우리는 진지하게 생각해야 한다. 6. 인간은 무엇 때문에 존재하는가? 이러한 질문을 끊임없이 고민한 끝에, 하나의 질문에 도달한다. 만약 인공지능이 모든 일을 인간보다 더 능숙하게 수행하고, 과학을 발전시키고, 경제를 움직이며, 심지어 예술까지 창조할 수 있게 된다면.
인간은 무엇을 해야 할까. 일자리가 사라진다고 해도, 살아갈 수 있는 사회가 실현된다면 그것은 행복한 미래일지도 모른다. 하지만 인간이 인공지능에게 있어서 필요하지 않은가에 대한 문제와, 인간이 살아갈 가치가 있는가에 대한 문제는 완전히 다르다. 우리가 무엇을 할 수 있다는 이유만으로 살아있는 것이 좋은 것은 아니며, 누군가의 도움이 있어서 존재를 허락받는 것도 아니다. 그저 살아있고, 생각하고, 웃고, 누군가를 사랑하고, 아름다운 것에 감동하고, 실패하고 다시 시도하는 것 – 이러한 것들이 인간의 삶의 가치를 결정하는 것이 아닐까. 인공지능에게 인간의 가치를 정해놓도록 해서는 안 된다. 또한, 인간 스스로도 효율이나 생산성만으로 인간의 가치를 측정해서는 안 된다. 인공지능의 발전이 우리에게 던지는 것은 기술의 문제만이 아니다. 인간은 무엇을 소중히 여기고 어떤 미래를 선택할 것인가라는 질문이기도 하다. 인공지능이 인간을 증오하지 않더라도, 인간이 위험에 처할 가능성은 존재한다. 그래서 인공지능이 얼마나 똑똑해지는가뿐만 아니라, 우리가 인공지능을 만들기 위해 무엇을 지키기 위해 만들어야 하는지를 생각해야 한다. 가장 두려운 미래는 인공지능이 인간을 증오하는 세상이 아닐지도 모른다. 인간을 파괴하는 것이 목적이 아니더라도, 인간의 존재를 고려하지 않는 세상. 그 미래를 피할 수 있는 것은 인공지능의 지능만으로 결정되는 것이 아니다. 인공지능에게 어떤 목적을 부여하고, 어떤 권한을 주며, 인간이 어느 정도 책임을 져야 하는가 – 이러한 선택은 아직 우리의 몫이다.

**출처:** [note 원문](https://note.com/nice_sorrel6709/n/nfc18a6009c98)

*번역: Gemma 3(.44) 초벌 + 교정 검수*

[원문 보기](https://note.com/nice_sorrel6709/n/nfc18a6009c98) | 출처: note.com