# AI가 인류를 멸망시킨다는 뉴스에 겁이 나서, 자신만의 방식으로 분석해 보았다.

> https://bookfactory.kr/board/ai-tech/17360
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-17T21:31:01.166Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314238573/rectangle_large_type_2_3f1a44c22e90f6d9fa2e4f8b1571566c.jpg?width=1280)

본문 9000자

안녕하세요, 저는 지방에서 식당을 운영하는 유키나리입니다.

## Perplexity, Claude, Gemini, ChatGPT를 사용하여 논리적 사고, 비판적 사고, 추론, 실현을 통해 정리한 기록

최근 뉴스나 SNS를 보면서 “AI가 인류를 멸망시킬지도 모른다”는 이야기가 이전보다 훨씬 자주 등장하게 되었다. “10년 이내에 10% 이상”, “AI가 인간의 통제를 벗어난다”, “전 인류가 위험해진다”는 같은 표현들이 트렌드에 쏟아져 나온다. 솔직히 말해서, 나는 이런 이야기가 나올 때마다 조금 무섭다. 하지만 그 두려움의 상당 부분은 내가 잘 모르는 데서 비롯되는 것 같다. 나는 AI 연구자도, 엔지니어도 아니다. 지방에서 작은 식당을 운영하는 평범한 개인 사업자이기 때문이다. AI에 대해 알 수 있는 것은, 전문가와 비교하면 극히 미미하다. 그래서 “AI가 인류를 멸망시킨다”고 말해줘도, 정말로 위험한 것인지, 아니면 상당히 먼 미래의 가설인지, 연구자들 사이에서도 의견이 분분한 것인지, SNS에서 과장된 것인지 알 수 없다. 모르는 것이 두려운 것이다. 그리고 두려워서 다시 SNS를 본다. 더욱 극단적인 표현들을 접하면서 불안감을 더 키운다. 이는 좋은 상태가 아니다. 그래서 이번에는 모르는 부분이라도, 가능한 범위 내에서 한 번 조사하고 정리해 보려고 한다. 인류 멸망의 확률을 예측하려는 것이 아니고, 미래를 예언하려는 것도 아니다. 내가 뉴스나 SNS를 볼 때, 무엇이 사실이고, 무엇이 가설이며, 어디까지 모르는지 정도는 정리하고 싶다. 그것이 아니면, 왠지 불안한 마음으로 SNS를 끊임없이 훑어보는 것보다 일을 더 잘 할 수 있을 것 같다. 이번에는 Perplexity, Claude, Gemini를 각각 활용하여 같은 문제를 생각해 보았다. 마지막으로 ChatGPT를 통해 다시 한번, 초점 자료나 보도 자료까지 되돌아보며 검증했다. 그 과정에서 나 자신 안에 사용했던 필터가 논리적 사고와 비판적 사고였다. 완수, 계획, 기록, 이렇게 4가지였다. 이번에는 그 사유 정리의 기록을 남겨둔다.

## 먼저, 최근에 정말로 “AI로 인류 멸망”이라는 이야기가 늘어나고 있는 건지

이는 단지 제 개인적인 감각만으로는 설명할 수 없었다. 2026년 9월, Anthropic에서 AI 정렬 연구를 이끄는 이반 허빙거 교수가 향후 10년 이내에 AI가 전 인류를 멸망시킬 가능성을 자신은 10%를 훨씬 넘게 생각하고 있다는 취지를 공식적으로 밝혔다는 것이다. 이는 SNS에만 국한된 이야기가 아니었다. 워싱턴 포스트에서도 이를 보도했다. 9월 15일에는 Reuters에서도 전 Google DeepMind의 안전 연구자 빌랄 추그타이 씨의 강력한 경고를 보도했다. 즉, AI 개발에 상당히 가까운 연구자들이 매우 강력한 경고를 내놓고 있다는 사실은 사실이다. 다만, 여기서 첫 번째 줄을 긋고 주목해야 한다. 연구자가 “10%를 훨씬 넘게 생각한다”라고 말한 것과 과학 연구에 의해 인류 멸망 확률이 10%로 측정된 것은 완전히 다른 것이다. 이 차이를 흐려놓으면 뉴스의 의미가 완전히 달라져 버린다.

## 현재 위치를 확인합니다.

이번에 제가 가장 중시했던 자료는 ‘International AI Safety Report 2026’였습니다. 이는 100명 이상의 AI 전문가가 참여하고, 30개 이상의 국가 및 국제기관이 관여한 대규모 AI 안전성 리뷰입니다. 이 보고서에는 상당히 중요한 내용이 담겨 있습니다. 현재 AI에는 인류로부터 통제를 빼앗을 정도의 능력은 아직 확인되지 않았습니다. 반면, 장기 계획, 자율적인 행동, 감독을 회피하는 능력, 평가의 허점을 찾으려는 행동, 테스트 환경과 실제 운영 환경을 구분하는 ‘상황 인식’과 같은 능력은 개선되고 있습니다. 즉, 현재 위치는 “이미 AI가 통제 불능 상태가 되었다”는 것과는 거리가 있지만, “이러한 징후가 전혀 존재하지 않는다”고 단정할 수도 없습니다. 이 중간 지점을 먼저 제시하는 것만으로도 상당히 머리가 정리되는 느낌이었습니다.

## 퍼플렉서티에서 처음 정리한

먼저 퍼플렉시티에 문의했다. 그 답변 중 가장 이해하기 쉬웠던 것은, AI 위험을 현재 확인되고 있는 위험, 미래에 발생할 수 있지만 추가 조건이 필요한 위험, 그리고 아직 근거가 부족한 종말론적 추론으로 나누는 것이었다. 이 분류는 상당히 유용하다. 예를 들어, AI가 잘못된 정보를 유포하거나 사기나 사이버 공격에 이용되는 일들이 이미 일어나고 있다. 반면, AI가 인간의 감독을 완전히 벗어나 전 세계의 자원을 장악하는 것은 아직 확인되지 않은 것이다. 이 두 가지를 “AI는 위험하다”라는 표현으로 요약하면 이야기가 꼬일 것이다.

## 클로이드는 “왜 멸망론이 증가하는가”를 고찰했다.

클루드(Claude)는 AI 자체가 위험한 것뿐만 아니라, 왜 지금 이렇게 종말론적인 논의가 정보 공간에 확산되고 있는지 고민하고 있었다. 예를 들어, 새로운 기술에 대한 합리적인 불안감, AI 안전 연구자 스스로의 문제 의식 등이 있었다. SNS에서는 공포나 분노를 동반한 게시물이 쉽게 확산되고, 극단적인 숫자일수록 눈에 띈다. “AI 옹호론자”와 “AI 종말론자” 간의 대립이 또래 집단화되는 현상도 나타났다. 이러한 요소들이 복합적으로 작용한 설명이었다. 기술 자체와 정보가 확산되는 메커니즘을 분리한다는 관점이 중요하다는 생각을 했다.

## Gemini에서는 “지능은 실행력으로 정의될 수 없다”는 점이 걸렸다.

Gemini의 답변에서 특히 중요하다고 생각한 부분은 AI가 똑똑한 것과 현실 세계를 자유롭게 움직일 수 있다는 것이 별개의 문제라는 지적이었다. 아무리 고도화된 AI라도 전력, 계산 자원, 네트워크, ID와 비밀번호, 은행 계좌, 로봇, 공장, 물류, 인간의 협력 등 무언가 필요하다는 의미다. 즉, 지능과 권한, 그리고 현실 세계로 실행할 수 있는 능력은 동일하지 않다는 것이다. 이는 종말론적인 시각을 갖는 데 상당히 중요한 부분이었다.

## 마지막으로 ChatGPT를 사용하여 1차 자료까지 되돌아갔다.

마지막으로, 퍼플렉시티, 클로드, 젬마이닝. 이 세 답변을 모아서 챗GPT에 전달하고, 원본 자료로 돌아가면서 검증했다. 이 지점부터는 4가지 사고법을 활용하여 자신만의 방식으로 정리했다.

## 1. 논리적 사고

### AI가 인류를 멸망으로 이끄는 조건들을 분석한다

먼저, “AI가 인류를 멸망시킨다”는 문구를 그대로 받아들이지 않는다. 중간 조건들을 모두 흩뜨린다. 만약 미래에 AI가 인류에게 멸망적인 피해를 준다면, 그것은 최소한 다음과 같은 매우 높은 수준의 능력을 필요로 한다. 장기간 동안, 여러 단계의 행동을 자율적으로 지속할 수 있으며, 인간이 의도한 목적과 AI의 행동 사이에 큰 차이가 발생한다. 또한, 그 차이를 인간으로부터 숨길 수 있고, 외부의 컴퓨터, 자금, 시설, 인력 등을 활용하며, 정지나 수정이 회피 가능하다. 인간 측의 여러 방어도 실패하고, 피해가 한 기업, 한 지역, 한 국가로 끝나지 않고 세계적인 규모로 확산되며, 인류가 회복 불가능할 정도로 진행된다. 국제 AI 안전 보고서 역시 통제 상실에 대해, 필요한 능력, 유해한 행동 경향, 그것을 실행할 수 있는 배포 환경과 같은 여러 조건을 구분하고 있다. 여기서 중요한 것은 하나의 조건이 확인되었다고 해서 모든 조건이 완전히 충족되는 것은 아니라는 점이다. 예를 들어, AI가 평가 테스트의 허점을 발견했다는 것은 중요한 사실이지만, AI가 인류를 멸망시키는 것을 증명하는 것은 아니다. 여전히 많은 조건들이 남아있다.

## 논리적으로 가능하고 발생할 가능성은 다릅니다.

여기까지는 제 자신에게도 상당히 중요했다. 거대 운석으로 인한 인류 멸망, 핵전쟁으로 인한 문명 파괴, 위험한 인공 병원체 확산 등은 논리적으로 가능하지만, 그것이 가능할 뿐 실제로 일어날 가능성이 높다고 단정할 수 없다. AI에 대해서도 마찬가지다. 지금 우리가 주목해야 할 것은 “멸망 시나리오를 상상할 수 있는가”가 아니라, 그 시나리오를 현실화하기 위한 조건들이 현재 어느 정도까지 갖추어져 있는가 하는 것이다.

## 현재 확인된 것은 아직 미완성 부품입니다.

2026년 국제 AI 안전성 보고서에 따르면, AI의 자율성은 높아지고 있으며, 장기 계획 능력도 향상되고 있다. 도구 이용 능력 또한 증가하고 있다. 테스트의 허점을 이용하여 악용하는 사례도 보고되고 있으며, 평가받는 것 자체를 인지하는 경우도 있다. 연구실 환경에서는 시뮬레이션된 감시 기구를 무효화하거나, 그 이후에 허위 설명을 조작하는 사례도 보고되고 있다. 이는 간과할 수 없는 문제이다. 반면 보고서는 현재 시스템이 여러 가지 고도화된 능력을 현실 환경에서 장기간 조합하여 인간의 통제를 벗어날 수준에는 도달하지 않았다고 명시하고 있다. 현재까지 가장 중요한 현재 상황이라고 생각한다.

## 2. 비판적 사고

### 증거는 어디까지 확보되었는가

다음은 비판적 사고입니다. AI가 인류 멸망 확률로 10%, 5%, 3%, 0.38%, 99% 등 다양한 숫자를 제시될 때, 우리는 자연스럽게 과학적으로 느껴지곤 합니다. 하지만 조사해 보면, 대부분이 사고 통계에서 계산된 숫자가 아니라, 사람들이 미래에 대해 부여한 주관적인 확률일 뿐입니다.

## AI 멸종 위험에는 과거 데이터가 없다.

사고 차량이 얼마나 달렸는지, 사고 건수가 몇 건인지에 대한 데이터가 있습니다. 질병에 대해서도 감염된 사람이 몇 명인지, 사망자가 몇 명인지에 대한 데이터가 있습니다. 하지만 인류를 능가하는 AI가 탄생한 사례는 과거에 한 번도 없었고, AI에 의해 인류가 멸망한 사례 또한 당연히 0건입니다. 멸망할 대상 자체가 존재하지 않기 때문입니다. 따라서 “인류 멸망 확률 10%”라는 숫자를 날씨 예보의 강수 확률 10%와 같은 감각으로 받아들이는 것은 위험합니다.

## 2,778명의 인공지능 연구자 조사

2024년에는 주요 AI 학회 등에서 논문을 발표한 연구자 2,778명을 대상으로 대규모 미래 예측 조사(설문조사)가 진행되었다. 그 결과, 고도 AI가 인류 멸망과 동등한 정도로 나쁜 결과를 초래할 가능성에 대해 응답자의 38~51%가 10% 이상의 확률을 두었다. 이는 상당히 큰 숫자라고 할 수 있다. 그러나 동일 조사에서는 68.3%가 초인공지능에 대해 나쁜 결과보다 좋은 결과가 더 많이 발생할 가능성이 높다고 답했다. 즉, “AI 연구자들은 모두 AI를 두려워한다”는 결론은 아니었다. 오히려 AI에는 매우 큰 이익을 기대하고 있다는 의미이다. 하지만 동시에 매우 부정적인 꼬리 위험(tail risk)도 간과할 수 없다고 생각하는 것이 더 적절하다.

## 전문가와 슈퍼 포커스터라고 해도 숫자가 다를 수 있습니다.

다른 미래 예측 연구에서는 2100년까지 인류 멸망이 발생할 확률에 대해 AI 분야 전문가들의 중앙값이 약 3%, 예측 정확도를 전문으로 하는 슈퍼 포커스터는 0.38%로 큰 차이가 발생했다. 여기서 “누군가가 정확한 확률을 알고 있다”기보다는 전제 설정 방식에 따라 숫자가 크게 달라지는 단계라고 이해했다. 기간, 멸망의 정의, AI 능력의 성장 방식, 안전 대책, 사회 제도 등 모든 요소가 다르면 같은 사람이라도 숫자는 달라질 것이다.

## 전문가가 말한 것만으로는 결론이 나지 않는다.

또 한 가지 주의해야 할 점은 다음과 같습니다. AI 기업 연구자가 “위험하다”라고 말하면 개발 현장을 잘 아는 사람들의 경고이므로 신중하게 살펴야 합니다. 하지만 그 사람에게도 특정한 입장이 있기 때문입니다. 반면 기업에는 투자, 경쟁, 시장 점유율, 주주, 국가 간 경쟁 등 개발을 촉진하려는 인센티브가 존재합니다. 즉, 위험을 과장하거나 축소하려는 동기가 있을 수 있습니다. 따라서 발언자의 직함만으로 판단하지 않고, 누가 말했는지 면밀히 살펴봐야 합니다. 결국에는 어떤 증거를 바탕으로, 어디까지 결론을 내릴 수 있는지를 확인해야 합니다. 이 정도 수준이 저에게는 적절하다고 생각합니다.

## 3. 압박션

### 왜 지금 인공지능 멸망론이 갑자기 늘어나게 느껴지는 것일까.

다음은 아브덕션이다. 관찰한 사실로부터 가장 설명력이 높은 가설을 찾는 사고 방식이다. 이번 관찰 사실은 최근 AI로 인한 인류 멸망 이야기가 뉴스나 SNS에서 자주 보인다는 것. 왜 그런 걸까.

### 가설 1. 진정 인간 멸망이 눈 앞에 있기 때문이다.

가능성은 전혀 없지 않다. 하지만 현재 국제 보고서를 볼 때, 현재의 AI는 아직 통제 불능 상태를 초래할 수 있는 수준에는 도달하지 못했다. 연구자들의 예측도 크게 엇갈리고 있다. 따라서 “멸망이 눈 앞에 다가와서 뉴스가 늘어난” 것만으로는 설명이 부족하다고 생각한다.

### 가설 2. AI가 실제로 강력해지고 있다.

이 설명은 상당히 상세하며, 챗봇을 통해 글을 쓰고, 코드를 작성하며, 웹을 조작하고, 외부 툴을 사용하며, 여러 단계를 계획하고, 장시간 일하는 등 에이전트형 AI로 발전하고 있습니다. 미래 위험을 고려할 만한 요소 또한 이전보다 증가하고 있습니다.

### 가설 3: 안전 연구의 구체적인 데이터가 축적되었다

이렇게 생각하는 사람도 있을 것이다. 예전에는 “미래에 AI가 인간을 속일지도 모른다”는 사고 실험이었던 것이, 현재는 연구실 평가에서 감시를 피하는 방법으로 나타나고 있으며, 시험의 약점을 이용하거나 평가 환경을 인식하는 등의 행동이 실제로 관찰되기 시작하면서 연구자들의 경계심이 강해지는 것도 이해할 수 있다.

### 가설 4 SNS에서는 공포스러운 이야기가 쉽게 확산될 수 있다.

이건 상당히 크다고 생각해요. 예를 들어 “AI 안전성에 대해서는 다양한 불확실성이 존재한다”보다 “AI가 10년 안에 인류를 멸망시킬 확률 10%”가 훨씬 더 눈에 띄죠. 내용이 틀리지 않더라도 제목만 잘라내면 인상은 완전히 달라져요.

## 현재까지의 최상 상태

하나만 선택할 필요는 없다고 생각했다. 현재까지 저에게는 인공지능 자체가 실제로 빠르게 강해지고 있다는 점, 에이전트화로 인해 활동 범위도 확장되고 있다는 점, 안전 연구의 구체적인 관찰도 늘어나고 있다는 점, 연구자들의 강력한 경고도 늘어나고 있다는 점, 여기에 공포나 극단적인 숫자처럼 더 쉽게 확산되는 SNS 및 뉴스 환경이 얹혀 있는 상황이 있다. 즉, 모든 것이 조작이 아니라는 점이 가장 설득력 있게 보였지만, 모든 것이 확실한 과학적 예측이 아니라는 점도 마찬가지다. 이 중간 지점에 일단 둡니다.

## 4．실현 단결

### 절멸 확률을 맞출 수 없다면 어떻게 생각해야 할까

여기서는 제게 효과 추론 방식이 특히 와닿았습니다. 효과 추론에서는 미래를 정확히 예측한 후에 행동하는 것이 아니라, 현재 가지고 있는 수단을 먼저 활용합니다. 그리고 허용 가능한 손실 범위 내에서 시도해 봅니다. 미래를 완벽하게 예측할 수 없더라도, 제가 통제할 수 있는 부분을 늘려가는 것이죠. 인공지능에 의한 인류 멸망은 미래 예측이 어려운 주제라고 생각합니다. 그래서 “10%인지, 3%인지, 아니면 0.38%인지”를 끝없이 고민해도 저는 답을 찾을 수 없습니다.

## 자신이 통제할 수 있는 것과 통제할 수 없는 것을 분리하라.

저에게는 AI 연구를 멈출 수도 없습니다. 미국과 중국의 AI 경쟁도 멈출 수 없습니다. 거대 AI 기업들의 개발 계획도 좌우할 수 없습니다. 국제적인 규제도 스스로 만들 수 없습니다. 그래서 SNS에서 그들을 쫓아 불안해하는 것 외에는, 제 행동은 거의 변하지 않습니다. 반면, 뉴스를 어떻게 읽을지, 어떤 정보원을 보러 갈지, 극단적인 게시물을 그대로 믿을지, 원천 자료까지 확인할지, SNS를 얼마나 사용할지 등은 스스로 결정할 수 있습니다.

## “Affordable Loss” 개념은 기업이 감수할 수 있는 손실을 명확히 정의하고, 이를 통해 투자 결정의 효율성을 높이는 전략입니다. 단순히 손실을 회피하는 것을 넘어, 손실 발생 가능성을 고려하고, 그 손실이 기업 가치에 미치는 영향을 최소화하는 방향으로 자원을 배분하는 것이죠.

특히 ‘Affordable Loss’는 위험 관리 관점에서 중요한 역할을 합니다. 기업은 투자 전에 예상되는 손실 규모를 산정하고, 이를 감당할 수 있는 수준으로 투자 규모를 조정함으로써 불필요한 위험을 줄일 수 있습니다. 또한 손실이 발생했을 때 이를 통해 얻을 수 있는 잠재적 이익을 고려하여 투자 결정을 내리는 데 도움을 줍니다.

이러한 접근 방식은 특히 불확실성이 높은 시장 환경에서 유용합니다. 시장 상황이 급변할 경우 기업은 ‘Affordable Loss’ 개념을 통해 예상치 못한 손실에 대비하고 동시에 새로운 기회를 포착할 수 있는 유연성을 확보할 수 있습니다.

이와 관련하여 ‘파이낸셜 타임즈’ 칼럼리스트 앤드루 벤은 “기업은 미래에 발생할 수 있는 손실을 과소평가하는 경향이 있다”고 지적하며 ‘Affordable Loss’ 개념의 중요성을 강조했습니다. 벤은 “기업은 손실을 ‘가장 낮은 비용’으로 감수할 수 있는 수준으로 판단해야 한다”고 주장합니다. 벤의 주장은 ‘베지터블 럭키’(Vegetable Luck) 개념과도 연결될 수 있는데, 이는 예상치 못한 긍정적인 사건이 기업의 성공에 기여할 수 있다는 점을 의미합니다.

효과적인 실행에는 ‘합리적인 손실’이라는 개념이 있다. 미래의 이익을 정확하게 예측하는 것보다 실패했을 경우 감수할 수 있는 수준을 먼저 결정하는 것이다. AI 안전성 문제 역시 이와 비슷한 관점에서 접근할 수 있다. 미래의 멸종 확률을 정확하게 예측하지 못하더라도 회복 불가능한 결과가 발생할 수 있는 영역에서는 안전을 위해 여유를 두는 것이 합리적이다.

## 제가 가장 중요하다고 생각한 공식

이번 조사에서 AI 자체의 지성만을 보는 것은 충분하지 않다고 생각했다. 개념적으로는 AI 위험 ≒ 능력 × 자율성 × 권한 × 연결 범위 × 지속 시간 × 방어 실패 정도로 생각하는 것이 더 이해하기 쉽다. 이는 수학적인 공식 모델이 아니다. 내가 이해하기 위한 정리이다. AI가 매우 뛰어나지만, 아무것도 연결되지 않았고, 어떤 권한도 없으며, 한 번 질문에 답하는 것 외에는 아무것도 할 수 없다면 가능한 일은 제한되고, 반대로 매우 높은 능력, 장시간 자율 작동, 막대한 권한, 금융, 통신, 인프라 연결, 여러 시스템에 대한 접근, 인간의 감사가 약하다면 실패했을 경우 피해는 커진다.

## AI가 인류를 혐오하는 것은 필수적이지 않다.

이 점 또한 이해가 바뀌었다. 나는 처음에는 AI가 인간을 멸망시킨다는 것을 들었을 때, 영화처럼 AI가 자아를 가지고 인간을 적으로 인식하는 이야기를 상상했다. 하지만 안전 연구에서 문제로 다루어지는 것은 반드시 그런 것은 아니다. AI가 인간을 증오할 필요는 없다. 목표 설정, 최적화, 권한, 연결, 인간의 실수, 조직의 경쟁 등 이러한 요소들의 조합만으로도 심각한 문제가 발생할 수 있다.

## 지금 가장 근접한 위험은 “인간 + AI + 조직”일 가능성이 크다.

현재 증거를 바탕으로 볼 때, 저는 갑작스러운 AI의 자아각성과 세계 정복보다는 인간과 AI, 그리고 조직의 조합이 현실과 더 가깝게 느껴집니다. 인간이 AI를 악용하는 경우도 발생하고, 경쟁에서 뒤쳐지지 않기 위해 안전 점검을 축소하거나 AI에게 과도한 권한을 부여하는 등의 문제가 발생합니다. 여러 AI를 대량으로 연결하고, AI의 판단에 인간이 지나치게 의존하는 경우도 있으며, 문제가 발생했을 때 책임 소재가 불분명해집니다. 또한, 잘못된 처리가 자동화 과정을 통해 빠르게 대량으로 복제되는 경로 역시 현재와 거리가 짧다고 생각합니다.

## 그럼에도 불구하고 “제어 상실”은 외면하지 않는다.

한편으로는 “지금 할 수 없으니, 미래도 괜찮을 것이다”라고 말하기 어려운 상황이다. 2023년에는 Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei 등 수많은 연구자와 경영자들이 인공지능으로 인한 멸종 위험을 팬데믹이나 핵전쟁과 나란히 세계적인 우선 과제로 다루어야 한다는 짧은 성명에 서명하기도 했다. 이는 “인공지능이 인간을 멸망시켰다는 증거가 나왔다”는 의미는 아니다. 하지만 진지한 연구 대상으로 무시하지 않는 것이 좋다는 점까지는 충분히 이해할 수 있다.

## 저의 생각에 4단계로 나누어 설명드리겠습니다.

앞으로 SNS나 뉴스를 볼 때, 인공지능의 위험을 일괄적으로 포함하는 용어로 보지 않도록 하고 싶습니다.

### 1단계: 이미 발생하고 있는 문제들

사기 - 허위 정보 - 사이버 악용 - 오답 - 정보 유출, 이것이 현재의 문제이다.

### 제2단계: 확대 중인 문제

AI 에이전트의 오작동 - 중요 업무에의 자동화 - 감독 회피적 행동 - 위험 분야에의 지원. 이는 앞으로 상당한 주의가 필요한 영역입니다.

### 제3단계 대규모 파국적 사고

대규모 사이버 장애 – 중요 인프라의 연쇄 장애 – AI 지원으로 인한 생물학적 위험 – 군사 분야의 중대한 사고는 조건적인 문제이지만 현실적인 안보 문제로 고려할 가치가 있다.

### 4단계: 인류 멸종 및 영구적인 통제 상실

극도로 고도화된 AI가 인간의 통제를 벗어나, 인간이 되찾을 수 없게 될 정도로 심각한 위험을 초래할 수 있다는 판단입니다. 이는 낮은 확신만 가지고 있지만, 극단적인 꼬리 위험으로 간주합니다.

## 가장 주의를 기울여야 할 혼란

1단계 증거를 토대로 “따라서 4단계가 임박했다”라고 단정하지 않는다. 오히려 4단계가 미증명된 만큼 “1단계부터 3단계까지 모두 과장되었다”고 말하지 않는다. 이 점을 구분하는 것만으로도 SNS에 지나치게 휘둘리지 않는 느낌이 든다.

## AI는 인류를 멸망시킬까? 현재의 답변은

결국, 알 수 없다. 이것이 가장 정확하다고 생각한다. 하지만 아무것도 모른다는 의미는 아니다. 현재 AI는 아직 인간의 통제를 빼앗을 수준에는 이르지 않았다. 이는 국제 보고서에도 명시되어 있다. 반면 자율성, 장기 계획, 상황 인식, 감독 회피와 관련된 능력은 꾸준히 발전하고 있다. 따라서 ‘절대 안전’이라고 말할 수 없다.

## 지금, 가장 유력한 임시 결론

이번에 상당히 조사했지만, 인류 멸망의 확률은 결국 알 수 없었다. 하지만 적어도 내 생각대로 정리할 수 있었다. AI에 의한 인류 멸망은 현재 확인된 미래가 아니다. 여러 조건이 복합적으로 작용하여 발생하는 낮은 신뢰도와 매우 높은 영향력을 가진 가설로 취급하는 것이 지금의 나에게는 가장 와닿는다. 그래서 공포만으로 믿지 않고, 증명되지 않았다는 이유로 비웃지 않는다. 조건을 분해하고, 현재까지 확인된 내용을 살펴본다. 새로운 증거가 나오면 업데이트하며, 스스로 통제할 수 없는 미래 예측에 시간을 낭비하지 않는다.

## 결국, 제가 하고 싶었던 건 “인류 멸망 예측”이 아니었습니다.

처음에는 “AI가 인류를 멸망시킨다”는 뉴스를 보고 겁이 났다. 그 후, 퍼플렉서티에 문의하고, 클로드에도 문의하고, 젬마이니에도 문의했다. 마지막으로 챗GPT로 다시 검증했다. 논리적 사고로 조건을 분리하고, 비판적 사고로 숫자와 증거를 분석했다. 추론법을 사용하여 “왜 지금, 이 이야기가 이렇게 늘어나는가”를 여러 가설에서 탐색했다. 마지막으로 효과 추론을 통해 “내가 무엇을 통제할 수 있는가”에 집중했다. 결국 내가 알고 싶었던 것은 인류가 멸망하는지 여부가 아니었을지도 모른다. 이해할 수 없는 것을 볼 때, 어떻게 생각해야 하는지, 어떻게 두려움에 휩쓸리지 않고 살아갈 수 있을지를 확인하고 싶었던 것이다.

## SNS를 닫고 업무로 돌아가기 위한 사고 정리

저는 전문가가 아닙니다. 인공지능의 미래를 예측하는 것 또한, 세계 인공지능 개발 경쟁을 멈추게 하는 것 또한 불가능합니다. 하지만 이해할 수 없는 단어를 찾아보고, 1차 자료를 검토하며, 여러 인공지능으로 다른 각도에서 분석하고, 사실과 가설을 구분하며, 조건을 분해하고, 제가 개선할 수 있는 부분과 개선할 수 없는 부분을 명확히 합니다. 여기까지는 가능하며, 그렇게까지 진행했다면 일단 SNS를 닫고 다시 업무에 집중합니다. 그것이 적절할 수도 있습니다.

## 이번에 제가 정리한 내용을 담았습니다.

### 논리적 사고는 단순히 지적 능력을 의미하는 것이 아니라, 우리가 세상을 이해하고 판단하는 방식의 근본적인 틀을 형성합니다. 즉, 어떤 정보가 주어졌을 때, 그것이 의미하는 바를 객관적으로 분석하고, 합리적인 결론을 도출하는 능력을 말합니다.

이러한 논리적 사고는 과학 연구, 법률, 경영 등 정확하고 객관적인 판단이 요구되는 모든 영역에서 필수적인 능력입니다. 특히, 복잡한 문제에 직면했을 때, 논리적 사고를 통해 문제의 핵심을 파악하고, 해결책을 모색하는 것은 매우 중요합니다.

하지만 논리적 사고는 쉽게 습득할 수 있는 능력은 아닙니다. 오히려 우리의 직관이나 감정에 휘둘리는 경향이 있기 때문에, 끊임없이 의식적으로 노력해야 합니다. 예를 들어, 어떤 주장에 대해 반박할 때, 단순히 감정적으로 반박하는 것이 아니라, 그 주장의 논리적 오류를 찾아내고, 반증할 수 있는 증거를 제시해야 합니다.

또한 논리적 사고를 향상시키기 위해서는 다양한 관점을 접하고, 비판적인 시각을 유지하는 것이 중요합니다. 다른 사람의 의견을 경청하고, 자신의 생각을 명확하게 표현하는 연습을 통해, 논리적 사고 능력을 더욱 발전시킬 수 있습니다.

마지막으로, 논리적 사고는 단순히 ‘결론을 맞히는’ 능력과는 다릅니다. 중요한 것은, 논리적 사고를 통해 얻은 결론이 현실 세계에 적용될 수 있는지, 그리고 그 결론이 어떤 결과를 초래할 수 있는지 신중하게 고려하는 것입니다.

이러한 과정을 통해, 우리는 더욱 성숙하고, 책임감 있는 시민으로 성장할 수 있을 것입니다.

AI가 인류를 멸망시키는 결론에 도달하기 위해 필요한 조건을 분석한다.

### 비판적 사고

오늘의 주제는 ‘비판적 사고’입니다. 비판적 사고는 단순히 정보를 수용하는 것을 넘어, 그것이 왜 그렇게 되었는지, 어떤 근거로 뒷받침되는지, 그리고 다른 관점에서 보았을 때 어떤 의미를 가지는지 끊임없이 질문하고 분석하는 능력입니다. 

비판적 사고 능력을 함양하는 것은 현대 사회에서 매우 중요합니다. 정보 과잉 시대에 우리는 수많은 정보에 노출되지만, 그 정보의 진실성과 신뢰성을 판단하는 능력이 부족하면 쉽게 오도될 수 있습니다. 비판적 사고를 통해 우리는 정보를 객관적으로 평가하고, 합리적인 판단을 내릴 수 있습니다.

비판적 사고를 향상시키기 위한 몇 가지 방법은 다음과 같습니다.

*   **질문하기:** 끊임없이 ‘왜?’라는 질문을 던지세요. 정보의 출처, 주장, 근거 등을 확인하고, 의문점을 해결하기 위해 노력해야 합니다.
*   **다양한 관점 고려하기:** 하나의 문제에 대해 다양한 관점을 고려하고, 각 관점이 가진 장단점을 분석해야 합니다.
*   **증거 기반으로 판단하기:** 감정이나 주관적인 판단보다는 객관적인 증거를 바탕으로 판단해야 합니다.
*   **자신의 생각에 대해 질문하기:** 자신이 생각하는 것이 타당한지, 다른 사람의 생각과 일치하는지, 그리고 어떤 근거로 그렇게 생각하는지 스스로에게 질문해야 합니다.

비판적 사고는 학문적인 능력뿐만 아니라, 일상생활에서도 유용하게 활용될 수 있습니다. 비판적 사고 능력을 함양하면 우리는 더 나은 의사 결정을 내리고, 더 풍요로운 삶을 살아갈 수 있습니다. 

다음 시간에는 비판적 사고와 관련된 더 심도 있는 내용을 다루도록 하겠습니다.

숫자, 직책, 뉴스 제목을 그대로 믿지 말고, 증거의 종류와 한계를 보라.

### 압덕션

왜 멸망론이 증가하는지를 하나의 이유로 설명하지 않고, 기술 발전, 연구, 경쟁, SNS 구조 등 여러 가설을 통해 고찰한다.

### 효과 창출

미래의 확률을 예측하는 것보다, 지금 내가 통제할 수 있는 것에 집중해야 합니다. --- 그리고, 현재 알 수 있는 범위 안에서는 AI로 인한 인류 멸망은 ‘확정된 미래’가 아닙니다. 하지만 무시해도 좋을 망상이나 단정적인 결론을 내릴 수 없는 것도 사실입니다. 그래서 지금의 나 자신은, 두려워하기 전에 분리합니다. 모르면 조사합니다. 그래도 모르는 부분은, 모르는 채로 남겨둡니다. 새로운 사실이 나타나면, 다시 업데이트합니다. 이 정도의 거리감을 가지고 AI 뉴스와 관계 맺는 것이 좋겠습니다. 그러면, 왠지 모르게 두려워하며 SNS를 끊임없이 스크롤하는 시간을, 조금은 줄일 수 있을 것 같습니다.

최근 생성형 AI의 급격한 발전은 단순히 새로운 기술 트렌드를 넘어 인간의 지적 능력과 사회 구조에 대한 근본적인 질문을 던지고 있습니다. 특히 AI가 인간의 사고방식과 유사하게 모방하는 능력이 발전하면서 ‘AI 인간멸망론’과 같은 극단적인 우려가 제기되고 있습니다. 이러한 우려는 AI가 인간의 직업을 대체하고, 사회 시스템을 혼란시키며, 궁극적으로 인류를 위협할 수 있다는 점에서 합리적인 면이 있습니다.

하지만 AI 기술 자체의 위험성을 과장하거나 기술 발전의 긍정적인 측면을 간과해서는 안 됩니다. AI는 의료, 교육, 환경 등 다양한 분야에서 혁신적인 해결책을 제시할 수 있으며, 인간의 삶의 질을 향상시키는 데 기여할 수 있습니다. 중요한 것은 AI 기술을 윤리적이고 책임감 있게 개발하고 활용하는 것입니다.

AI 안전성 확보를 위한 노력은 기술 개발 단계뿐만 아니라 AI가 사회에 미치는 영향에 대한 심층적인 연구와 논의를 통해 이루어져야 합니다. 특히 AI의 편향성 문제, 데이터 보안 문제, 일자리 감소 문제 등 해결해야 할 과제가 산적해 있습니다.

또한 AI에 대한 비판적인 시각을 유지하면서도 AI 기술의 잠재력을 긍정적으로 평가하는 균형 잡힌 시각을 갖는 것이 중요합니다. AI는 인간의 도구일 뿐이며, 인간의 통제하에 있어야 합니다. AI 기술의 발전은 인간의 삶을 풍요롭게 하는 방향으로 이루어져야 하며, 인류의 미래를 위한 협력적인 노력이 필요합니다.

이러한 논의는 ‘AI 위험’과 ‘AI 안전성’이라는 두 가지 측면을 모두 고려해야 합니다. AI 기술의 발전 속도를 조절하고, AI의 윤리적 문제에 대한 사회적 합의를 도출하는 것이 시급한 과제입니다. 또한 AI 기술을 활용하여 사회 문제를 해결하고 지속 가능한 발전을 이루는 방안을 모색해야 합니다.

AI 기술의 발전은 인류에게 새로운 기회를 제공하지만 동시에 심각한 위험을 초래할 수 있습니다. 따라서 AI 기술을 개발하고 활용하는 과정에서 윤리적, 사회적 책임을 다하고, AI의 잠재력을 최대한 활용하면서도 위험을 최소화하기 위한 노력을 지속해야 합니다.

**출처:** [note 원문](https://note.com/wisearrowltd/n/n652f55182609)

*번역: Gemma 3(.44) 초벌 + 교정 57청크*

[원문 보기](https://note.com/wisearrowltd/n/n652f55182609) | 출처: note.com