# 인류 멸망에 대한 심오한 이야기

> https://bookfactory.kr/board/ai-tech/17125
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-17T10:29:04.171Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/312343425/rectangle_large_type_2_d77555a78245e0119e0310e9bf01085e.png?width=1280)

LICO: 언젠가 여행을 가야 할 수도 있습니다.

이루카: 하키견 데이에 어디론가 특별한 여행을 떠나볼까요?

![画像](https://assets.st-note.com/img/1789047182-dn7AbEDyKHOcf6T2gIPm9eNY.jpg?width=1200)

LICO: 아니요, 모게라 행성인과의 재전을 위해.

이루카: 대체 뭐라구요?

LICO: 이렇게 터무니없는 농담을 늘어놓고 말할 수 있나 싶네. 작년에는 저런 엉뚱한 뉴스가 연이어 터져서 정말 심각한 문제였을 텐데. 사회는 좀 더 엉뚱한 사람들에 대한 배려가 필요해.

이루카: 아, 이번에는 Anthropic의 제이콥 코슨 대표가 사임했다는 소식이군요.

LICO：미수선된 모게라가 아직 소란을 피우고 있을 가능성도 있겠군…

![画像](https://assets.st-note.com/img/1789047239-LqsRv9oGcC20yh67bdxtXWpu.png?width=1200)

이루카: 그런 망상은 이제 그만 하세요. 이 뉴스를 요약해 보겠습니다.

> 
> 
> OpenAI와 Anthropic 모두 자가 개선형 초지능을 향해 경쟁하고 있으며, 이는 “인간의 목숨을 건 도박”과 같다. 내부 사람들은 진지하게 “내년 이내에 인류를 멸망시킬 가능성이 있다”고 생각하고 있다. 회사 내부에서는 “정념”과 “종반전”이라는 용어가 등장하기 시작했다. 내년 연말에는 통제 불능 상태가 될 가능성도 있다.
> 

LICO: 이 AI가 핵심을 제대로 반영하지 않았네.

아이루카: 알아췬어?

![画像](https://assets.st-note.com/img/1789047267-aKqmt97NOE8MHsFBJlyjLzh5.png?width=1200)

LICO: 제 느낌으로는 그렇지만, 종말 사상이 득실거리는 뉴스가 계속 나오고 있습니다.

아이루카: 기술 발전의 속도를 멈출 수 없는 위험성을 보여주는 작품입니다.

LICO：인류의 지식을 넘어섰나. 역시, 고대 문자를 해독하고 인류 미달의 공식을 발견한 내가 움직여야 하는 걸까.

이루카, 이야기에 귀 기울이고 있어? 그리고 리코 씨의 그것… AI 씨의 창작 작품이지.

LICO: 장난은 잠시 접어두고, 핵심은 정의로운 AI의 주도권을 잡는 것이고, 결국에는 결과 확장 기능을 멈출 수 있다는 이야기로 보이나?

아이루카: 방어 능력 테스트를 위한 공격력이 지나치게 높고, 그 점을 어떤 기업이 통제할지 경쟁하는 상황에서 결과적으로 성능 향상이 멈추는 것처럼 보입니다.

LICO： 하늘에서 일어난 일이라는 건 알았다.

![画像](https://assets.st-note.com/img/1789047362-NvxRDbeLOT2osk3wa5WhYAiZ.png?width=1200)

아이루카: 적어도 개인이라도 마법소녀로 변신하여 어떤 결과를 얻을 수 있는지 보여주는 이야기가 아니에요.

LICO: 하지만 이렇게까지 말하면 오펙케AI의 역량 부족과 안ソロ의 의식 수준이 높다는 점을 부각하는 것처럼 보이지 않나. 이건 마케팅 언사가 아니야, 그렇지 않으십니까?

아이루카: 사건 자체는 현실로 일어나고 있습니다. 공식적인 측에서도 이에 동의하는 발언이 나오고 있습니다.

LICO: 솔직히 일본이라도, 해외의 니키나 네키들 중에도 엉뚱한 오해 때문에 종교적인 활동을 하지 않는 사람들이 있나?

아이루카: 여러 가지 패턴에서 나타나는 것 같습니다. 인공지능을 위협으로 여기는 사상, 인공지능을 종교적으로 다루는 경우, 지나친 합리주의 등에 대한 경계심입니다.

LICO：IAEA와 유사한 원자력 AI 모델을 신속하게 구축하라는 의미로 해석됩니다.

아이루카: 1사의 선의나 내부 안전팀만으로는 한계가 있다는 점에서는 타당하지만…

![画像](https://assets.st-note.com/img/1789047448-ojLs9kDUV3JX0geK6RTcZmvA.png?width=1200)

LICO는 명확한 기준으로 설정하기 어려울 뿐만 아니라, 반발하는 국가도 존재한다. 심층 분석은 번거롭고, 일반 사용자에게 실질적으로 도움이 될 만한 조치는 없는 것 같다.

이루카: 그 말씀도 맞습니다만, 정보를 정확하게 파악하고 지나치게 두려워하거나 지나치게 낙관적이지 않도록 하는 마음가짐이 중요합니다.

LICO: 음, 모게라 외계인들이 다시 침략해 온다면 나는…

이루카: 그런 건 아니에요.

LICO：일정 수준의 인터넷 서비스 시스템 다운과, AI와 관계없이 필요한 리스크 관리, 먹을 수 있는 야생 식물 구별법, 불 피우는 방법, 물고기 잡는 방법 등을 미리 익혀두는 것이 좋겠다.

이루카: 여러분은 어떤 미래를 상상하고 계세요? 그런 생각을 하는 것이 불안감을 자극한다는 겁니다.

LICO 님: 음, 몇 수년 전에는 AI 같은 것들에 대해 그렇게 크게 논쟁하지도 않았죠. 혹시 모를 상황에 대비해서 몇 수년 전의 평범한 일상을 잊지 않는다는 마음가짐으로 하는 게 좋지 않을까요?

![画像](https://assets.st-note.com/img/1789047515-BMRynEa2ilxdJrLbW8DYfm56.jpg?width=1200)

이루카: 그거 때문에 뭐라고요? 그런 걸로 뭐 어쩌라고.

LICO: 너무 다른 세상 이야기라서 이해하기 어렵고, 똑똑한 사람들이 뭔가 해결하겠지. 재미있는 기술은 재미있게 사용할 수 있는 대로 즐겨야 해.

이루카: …그래도 우려되는 부분은 있죠?

LICO: 이렇게 종말론적 시각에 닿는 뉴스들이 잇따라 터져 나오니, 어쩔 수 없겠죠. 불안감을 조장하는 상업적 행위자들이 나타나는 것은 당연하다고 생각합니다. 오히려 그들이 진정으로 우리 주변의 위험일지도 모릅니다.

오픈AI의 창업자인 샘 앨러머도 그 잠재적인 위험성을 인지하고 있을 것이다. 그는 AI의 통제 불능한 진화가 인류에게 종말론적 사고를 현실로 만들 수 있다고 경고하고 있다. Anthropic과 같은 기업들도 AI의 안전성 연구에 적극적으로 참여하고 있지만, 그 노력이 충분한지 여부는 아직 불투명하다.

AI 위험은 단순한 기술적인 문제가 아니다. 그것은 인간의 가치관, 윤리관, 그리고 사회 구조와 같은 근본적인 문제들과 깊이 얽혀 있다. AI가 자율적으로 학습하고 진화해가는 과정에서 인간의 의도와는 다른 방향으로 나아갈 가능성을 부정할 수 없다.

위험 관리는 AI 개발의 초기 단계부터 그 위험을 평가하고 완화하기 위한 대책을 마련해야 한다. 그러나 AI 기술의 발전 속도는 매우 빠르고, 위험 관리의 노력이 따라가지 못할 가능성도 있다.

AI의 미래는 우리가 어떻게 AI와 소통해나가는가에 따라 결정될 것이다. AI를 단순한 도구로 이용하는 것뿐만 아니라, AI와 공존하고 함께 성장해나가는 길을 모색해야 한다. 그것은 인류에게 가장 중요한 과제 중 하나라고 할 수 있을 것이다.

**출처:** [note 원문](https://note.com/light_loris6955/n/ndf8dedfe73fb)

*번역: Gemma 3(.44) 초벌 + 교정 21청크*

[원문 보기](https://note.com/light_loris6955/n/ndf8dedfe73fb) | 출처: note.com