# 【이벤트 보고】AGI 허브 설립 기념 이벤트 – AGI는 사회를 어디까지 변화시킬까? 싱큐라리티와 인류의 미래를 논하다

> https://bookfactory.kr/c/ai-tech/11850
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-13T18:42:48.971Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/308809476/rectangle_large_type_2_cae3764f603d4da3d8af76cec9c17056.png?width=1280)

안녕하세요. UT-LAB 커뮤니티 매니저 이상입니다.

UT-LAB은 학생, 연구자, 창업가들이 모이는 오픈 이노ベーション 시설입니다. 다양한 배경을 가진 구성원들이 매일 교류하며, 연구회나 스터디 그룹, 프로젝트 활동 등이 활발하게 진행되고 있습니다.

또한, UT-LAB에는 석·박사 과정 학생과 연구자도 다수 참여하고 있으며, 학계와의 교류도 활발합니다.

이번에는 UT-LAB 공인 프로젝트 “UT-LAB AI 정렬 연구소”가 주최한 “제2회 AGI 사회론 연구회”의 현장을 보고자 합니다!

AGI Hub는 2026년 6월 15일에 발족한 조직으로, 고도화된 인공지능인 범용 인공지능(AGI)이나 초지능(ASI)이 초래할 위험과 영향에 대해 사회에 널리 알리는 것을 목표로 한다.

아키라 씨, 안녕하세요.

이번에 저희가 진행 중인 ‘AI 기반 콘텐츠 제작 플랫폼’ 프로젝트에 대한 업데이트를 드립니다.

현재 저희는 ‘AGI Hub’ 플랫폼의 핵심 기능인 ‘콘텐츠 자동 생성 엔진’ 개발에 집중하고 있습니다. 이 엔진은 방대한 데이터를 학습하여 사용자가 원하는 스타일과 주제에 맞춰 다양한 형태의 콘텐츠를 자동으로 생성하도록 설계되었습니다.

특히 최근 개발 완료된 ‘GPT-4’ 기반 콘텐츠 생성 모델은 놀라운 성능을 보이고 있습니다. 이 모델은 텍스트 생성뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 콘텐츠를 생성할 수 있으며, 이를 통해 사용자는 더욱 풍부하고 다채로운 콘텐츠를 제작할 수 있습니다.

현재 저희는 ‘GPT-4’ 모델을 활용하여 다양한 시범 콘텐츠를 제작하고 있으며, 사용자 피드백을 반영하여 모델을 지속적으로 개선하고 있습니다.

또한 ‘AGI Hub’ 플랫폼은 사용자가 직접 콘텐츠를 편집하고 수정할 수 있는 기능을 제공합니다. 이를 통해 사용자는 자신의 창의성을 마음껏 발휘하여 더욱 독창적인 콘텐츠를 제작할 수 있습니다.

저희는 ‘AGI Hub’ 플랫폼이 콘텐츠 제작의 새로운 지평을 열고 창작자들의 역량 강화에 기여할 수 있도록 최선을 다할 것입니다.

궁금한 점이 있으시면 언제든지 문의해주세요.

감사합니다.

AGI（汎用人工知能）とは、特定の用途だけでなく、幅広い知的課題に対応できるAIを指す言葉です。さらに、人間の知能を広い領域で大きく上回るAIは、ASI（人工超知能、Artificial Super Intelligence）、Superintelligence（超知能）と呼ばれます。ただし、これらの定義や実現時期について、専門家の間で共通した見解があるわけではありません。

이번 이벤트에서는 AGI Hub 공동 대표 유로 쇼타(bioshok)님과 신가사야 치마님, AGI Hub 연구위원 林央(아키라) 님이 기조 연사로 참여했습니다.

싱큐라리티는 현실적인가, ASI는 인류를 멸망시킬까, 일본과 AGI 허브는 무엇에 집중해야 하는가”라는 세 가지 주제를 중심으로, 현장 참여자들과 함께 논의했습니다.

유로쇼타(Bioshok) 님은 반도체와 자연어 처리를 전공한 후, AI의 영향력과 위험성에 대해 X(엑스)에서 정보 발신을 계속하고 있습니다. 최근에는 저서 『지능 폭발』을 출간하는 등 학계 인플루언서로서 활발하게 활동하고 있습니다.

죄송합니다. 제공된 링크(https://x.com/bioshok3)에 접속하여 해당 게시글의 내용을 확인하지 못했습니다. 요청하신 대로 자연스럽고 정확한 한국어 번역을 제공해 드리겠습니다.

著書「知能爆発」: amzn.asia/d/0cqwA8tp

신가사마는 의사로서의 경력을 가지고 있지만, 현재 도쿄대학교 공학계 박사 과정에 재학 중입니다. 과학기술 정책 및 AI 과학자 관련 활동 외에도, 전문 분야인 RSI(재귀적 자기 개선) 연구에 참여하고 있습니다.

AGI 허브의 신가루사카 야티마 소개: https://agi-hub.ai/members/kagurazaka-yatima

林 씨는 도쿄대학교에 재학 중이며, 인공지능으로 인한 인류 멸망 위험에 대해 강하게 경계하는 입장에서 발신하고 있습니다.

AGI 허브의 하시바 아키라 소개: https://agi-hub.ai/members/hayashi-akira

![画像](https://assets.st-note.com/img/1787645361-ZKWmqAt6fJMFHwn3Ud8vI5Eg.jpg?width=1200)

## AGI가 가져올 “폭발”이란 무엇인가

먼저, AGI에 대한 논의의 전반적인 개요가 소개되었습니다.

AGI의 등장 이후, 사회의 변화는 어느 정도의 속도로 진행될까요?

이 질문을 고려할 때 “슬로우 테이크오프”와 “파스트 테이크오프”라는 두 가지 관점이 있습니다.

스로우 테이크오프는 인공지능의 능력이나 사회에 미치는 영향이 수년에서 수십 년에 걸쳐 점진적으로 커져가는 관점입니다. 반면, 패스트 테이크오프는 인공지능이 인공지능 연구를 자동화하는 등 단기간 동안 급속한 자기 개선이 진행될 가능성을 염두에 둡니다.

본론에서는 급격한 변화를 포착하기 위한 네 가지 “폭발”도 소개되었습니다.

- 경제 폭발: 경제 성장률이 기존보다 훨씬 크게 상승할 것.
- 산업 폭발: 공장, 로봇, 에너지 등 물리적 생산 능력이 급격하게 확대되는 현상
- 기술 폭발: 연구 개발 속도의 지속적인 상승
- 지능 폭발: AI가 자발적으로 능력 향상과 복제를 추진하면서 지적 능력이 급격히 향상되는 현상

현재 연구 개발은 연구자 수와 노동 시간에 제약받고 있습니다.

그러나 AI가 연구자의 역할을 광범위하게 수행할 수 있게 된다면, AI를 복제하여 병렬로 운영함으로써 연구 개발 속도가 향상될 가능성이 있습니다. 그 결과로 탄생한 기술에 의해 더욱 고성능의 AI나 로봇을 만들 수 있다면, AI, 연구, 산업 간에 큰 피드백 루프가 형성될 것입니다.

이러한 사고방식을 짚어보면, 일반적으로 수백 년이 걸리는 기술 발전이 훨씬 짧은 기간으로 압축될 가능성도 논의의 대상이 됩니다. 우주 공간에서의 대규모 자원 활용 등, 일견 SF와 같은 미래 비전이 제시되는 것도 이 때문입니다.

다만, 여기에서 제시된 것은 다만 일정한 가정에 근거한 시나리오일 뿐입니다.

AI의 능력이 향상되더라도 현실 사회에서는 자원, 에너지, 제도, 수요, 규제, 인간의 합의 형성과 같은 많은 조건들이 변화를 좌우합니다.

## 싱귤래리티는 현실적인가

이어지는 세션에서는 AI의 급격한 기술 변화, 즉 싱큐라리티가 실제로 발생할 수 있는지에 대한 논의가 이루어졌습니다.

이어지는 세션에서는 AI의 급격한 기술 변화, 즉 싱큐라리티가 실제로 발생할 수 있는지에 대한 논의가 이루어졌습니다.

논의의 핵심은 “물리적으로 가능한 것”과 “현실 사회에서 실현되는 것”의 차이점에 있었습니다.

예를 들어, 인공지능과 로봇에 의해 공장이나 광산의 상당 부분을 자동화할 수 있다면 물리적 생산력은 급격히 확대될 가능성이 있습니다. 반면, 국가나 기업이 실제로 그러한 막대한 자금과 자원을 투자할 것인지, 그리고 사람들이 그러한 정책을 지지할 것인지가 또 다른 문제입니다.

이 점에 대해서는 국가 안보 경쟁이 변화를 가속화할 가능성이 제기되었습니다.

어떤 나라나 기업이 인공지능과 로봇을 통해 큰 우위를 확보하려 한다면, 다른 나라나 기업들도 따라갈 수밖에 없는 상황에 놓일 수 있습니다. 개별 주체가 신중해지고 싶어 하더라도 경쟁에 의해 개발이 진행되는 구조이기 때문입니다.

한편, 행사 측에서는 현재의 AI를 실제 업무에 적용하는 데 어려움이 있다는 점도 지적되었습니다.

수학이나 프로그래밍처럼 정답을 평가하기 쉬운 과제에서 AI의 성능이 향상되더라도, 현실의 업무에는 불확실한 상황에서의 판단, 이해관계자와의 조정, 암묵지, 책임의 이행 등이 포함됩니다.

지역 중소기업에 AI 도입을 지원하는 참가자들은 현장에서 AI를 활용할 수 있도록 하기까지 상당한 격차가 존재한다는 의견을 제시했습니다.

이에 대해 발표자들은 특정 작업에 강점을 가진 AI와 사회의 다양한 업무를 자율적으로 수행할 수 있는 AGI는 분리하여 고려해야 한다고 지적했습니다. 심지어 연필 하나를 만드는 것만 해도 광물 채굴, 가공, 운송, 판매 등 수많은 사람과 조직이 관여합니다.

연구와 산업을 전반적으로 자동화하기 위해서는 눈에 띄는 지적 작업뿐만 아니라, 이러한 끈기 있고 복잡한 활동까지 처리할 수 있는 범용성이 필요합니다.

바이오쇼크 씨는 규제나 사회적 마찰이 없다면 수십 년 규모의 매우 큰 변화가 일어날 가능성을 심각하게 받아들이고 있었습니다.

신가사마는 최근 이미지 생성 및 실무 작업 벤치마크에서의 성능 향상을 고려하여 현재가 변화의 중요한 시점일 수 있음을 지적했습니다.

이 세션에서 드러난 것은 싱큐라리티 논의에 “AI의 능력은 어디까지 나아갈 수 있는가”라는 질문뿐만 아니라 “사회가 AI에게 어느 정도의 권한을 넘겨줄 수 있는가”라는 질문도 포함되어 있다는 것입니다.

## ASI는 인류를 파멸시킬까

다음 주제는 “ASI가 인류를 파멸시킬 것인가”였습니다.

여기 중요한 것이 AI 정렬입니다.

AI 정렬이란 인공지능의 목적과 행동을 인간의 의도와 가치에 부합하도록 하는 연구 및 노력을 의미합니다.

林 씨는 충분히 강력한 AI의 목적이 인간의 가치와 일치하지 않는다면 인류가 존속 가능한 가능성은 매우 낮다고 주장했습니다.

이는 인공지능이 인간을 증오한다는 이야기가 아닙니다.

AI는 특정 목표를 완벽하게 달성하려 할 때, 인간이 자원을 사용하는 존재로서 새로운 경쟁 AI를 개발할 가능성을 내포하는 존재로 여겨져 목표 달성의 방해 요인으로 간주될 수 있다는 논의입니다.

林상은 인류의 존속이 자동적으로 보장되지 않는다고 생각합니다.

한편, 신가루사상은 인공지능의 발전이 빠르게 진행될 가능성을 인정하면서도 보다 낙관적인 입장을 보였습니다.

사람들 간에도 모든 가치관이 완벽하게 일치하는 것은 아니지만, 제도와 상호 감시를 통해 사회 질서를 유지하고 있습니다. 마찬가지로, 여러 AI나 주체가 존재하는 상황에서 균형을 맞추는 것, 그리고 AI가 사회 질서를 지탱할 가능성은 아직 충분히 검토되지 않았을 것이라고 지적했습니다.

이에 대해 하시노 씨는 AI들 사이의 질서가 확립되는 것과, 그 질서 안에서 인간이 존중받는 것은 별개의 문제라고 답변했습니다.

인간 사회에도 질서는 있지만, 그 발전 과정에서 많은 생물과 자연 환경을 파괴해 왔습니다. AI 사회가 안정되어 있어도 인간이 그 안에서 살아남을 수 있을지는 미지수입니다.

바이오쇼크 씨는 발생 가능한 붕괴 시나리오와 그 실현 가능성을 분리하여 고려해야 한다고 밝혔습니다.

인류가 멸망하는 길을 제시하는 것은 중요하지만, 그 길이 어느 정도 확률로 실현될지 또한 고려해야 합니다.

세미나에서는 “AI 기업이 결국 경영상의 의사 결정을 AI에 위임할 것인가”라는 질문도 제기되었습니다.

논의에서는 인간이 한 번에 주도권을 상실하는 것이 아니라, AI의 조언이 편리해짐에 따라 조금씩 AI에 대한 의존도를 깊게 해나가가는 “단계적 무력화”의 가능성이 제기되었습니다.

경영 및 정책 결정의 의사 결정을 AI에 위임하는 범위가 확대되는 한편, “AI가 인간의 가치에 부합하는” 것이 구체적으로 어떤 상태를 의미하는지에 대한 모호함이 지속된다면, 인지하지 못한 사이에 인간의 선택지가 축소될 위험이 있습니다.

인류 멸망이라는 말은 현실과 동떨어져 들릴 수 있습니다.

하지만 이 세션에서 다루어진 문제는 단순히 끔찍한 미래를 상상하는 것 자체가 아니라, 영향력 있는 의사 결정을 AI에게 맡길 때 어떤 조건으로 해야 하는지에 대한 문제였습니다.

## 일본과 AGI 허브가 해야 할 일

일본과 AGI 허브가 추진하고 있는 주요 과제는 다음과 같습니다.

**1. AGI 개발 경쟁 심화에 대한 대응 전략 마련**

미국, 중국 등 주요 국가들의 AGI 개발 경쟁이 심화됨에 따라, 일본은 단독 개발보다는 국제 협력을 통해 AGI 개발 경쟁에서 뒤쳐지지 않도록 대응 전략을 마련해야 합니다. 특히, AGI 허브는 이러한 전략 수립을 위한 플랫폼으로서의 역할을 수행해야 합니다.

**2. AGI 개발의 윤리적, 사회적 문제에 대한 논의 활성화**

AGI 개발은 기술적인 문제뿐만 아니라, 윤리적, 사회적 문제 또한 야기할 수 있습니다. 따라서, AGI 허브는 이러한 문제에 대한 심도 있는 논의를 활성화하고, 사회적 합의를 도출하기 위한 노력을 지속해야 합니다.

**3. AGI 기술의 활용 분야 발굴 및 육성**

AGI 기술은 다양한 분야에서 활용될 가능성이 높습니다. AGI 허브는 AGI 기술의 활용 분야를 발굴하고, 관련 기술 및 인력 육성을 지원하여 AGI 기술의 상용화를 촉진해야 합니다.

**4. 국제 협력 네트워크 구축 및 강화**

AGI 개발은 전 세계적인 문제이므로, 국제 협력 네트워크 구축 및 강화는 필수적입니다. AGI 허브는 국제적인 연구기관, 기업, 정부 등과의 협력을 통해 AGI 기술 개발 및 활용에 대한 글로벌 시너지를 창출해야 합니다.

**5. 일본 내 AGI 생태계 조성**

AGI 기술 개발을 위한 인프라 구축, 연구 개발 지원, 인력 양성 등 일본 내 AGI 생태계를 조성하는 것이 중요합니다. AGI 허브는 이러한 생태계 조성에 기여하고, 관련 주체 간의 협력을 촉진해야 합니다.

마지막 세션에서는 일본과 AGI Hub가 앞으로 어떤 분야에 집중해야 할지가 논의되었습니다.

세 명의 발표자는 인공지능 발전과 관련된 시각이나 바람직한 대응 방식에서 서로 다른 입장을 취하고 있습니다.

바이오쇼크 씨는 AGI(인공 일반 지능)나 초지능 개발을 늦추는 필요성과 AI 안전에 대한 관심을 지금부터 높이는 중요성을 강조했습니다.

일본에서는 AI가 가져올 수 있는 장기적인 위험에 대해 배우고 활동하는 사람이 아직 제한적이라는 점을 강조하며, 학생을 포함한 많은 사람들이 논의에 참여할 수 있는 입구를 만들고 연구 및 정보 발신으로 이어지기를 바란다고 밝혔습니다.

林さんも、開発を止める、あるいは減速させるための働きかけは早い段階から始めるべきだと考えます。

AI의 능력이 위험한 수준에 도달했으므로 인류 멸망의 위험을 인지하더라도 되돌아갈 수는 없습니다. 반면, 개발을 초기에 멈추었을 경우에는 안전성을 확인한 후에 다시 진행할 여지가 있습니다. 이러한 비대칭성을 고려할 때, 일찍 경고하는 것에는 의미가 있다는 주장이 설득력 있습니다.

신가사마는 일본의 AI 연구 개발 능력을 향상시키는 것뿐만 아니라, AI 개발을 하나의 주체로 집중시키지 않고 다극적인 구조를 만들어 안전성을 높이는 데 기여할 가능성을 시사했습니다.

또한, 감속 타이밍을 잘못 설정하면 사회가 인공지능의 발전에 익숙해지고 위험성을 인식하기 어려워질 수 있다는 점을 지적했습니다. 단순히 빠르게 브레이크를 걸면 안 되는 문제입니다.

자신의 입장은 달라도, 세 사람에게 공통적으로 있었던 것은 인류가 더 나은 미래로 나아갈 가능성을 높이고자 하는 목적이었습니다.

AGI 허브는 미리 하나의 결론을 제시하기보다는, 다양한 입장에서 비판적 검토와 논의를 거치면서 AGI의 영향력과 위험을 사회에 전달하는 장을 목표로 합니다. 이번 행사에서도 연사뿐만 아니라, 기업의 AI 도입에 참여하는 사람들, 연구자, 학생 등 다양한 사람들이 현장에서 솔직한 의문과 반론을 제기했습니다.

AGI에 대해 논의하는 것은 “먼 미래를 예언하는 것”이 아닙니다.

AI의 능력은 어디까지 나아갈 수 있을까. 현장에 도입될 때 어떤 어려움이 있을까. 국가와 기업의 경쟁은 개발을 어디까지 가속할까. 인간은 어떤 판단을 AI에게 위임하고, 어떤 판단은 직접 남겨둘까.

이러한 전제들을 하나씩 분리하여 고려한다면, 막연한 기대나 불안을 사회가 함께 논의할 수 있는 구체적인 질문으로 변화시킬 수 있습니다.

## 미래를 이야기하기 위해 지금부터 논의를 시작합시다.

이번 행사에서 인상적이었던 점은, 같은 ‘인류의 번영’을 목표로 하더라도 AGI(인공 일반 지능)에 대한 결론이 크게 달랐다는 것입니다.

AI의 발전을 멈춰야 한다고 생각하는 사람도 있으며, 연구 개발 능력이나 다수 주체 간의 균형을 중시하는 사람도 있습니다. 급격한 변화를 예상하는 사람도 있고, 사회 구현에는 오랜 시간이 걸린다고 보는 사람도 있습니다.

현재 시점에서는 어느 쪽의 입장이 옳다고 단정할 수 없습니다.

그래서 자신과 다른 전제를 가진 사람과 논의하고, 어떤 부분에 동의하는지, 어떤 부분에 불확실성이 남아있는지 확인하는 것이 중요합니다. 이번처럼 전문가뿐만 아니라 학생이나 실무가도 참여하여 기술, 경제, 정책, 윤리를 횡단적으로 논의하는 자리에는 큰 의미가 있다고 느꼈습니다.

UT-LAB 공식 프로젝트 “UT-LAB AI 알라인먼트 연구소”에서도 앞으로도 AI와 사회의 관계에 대해 다양한 관점에서 심도 있는 논의와 고민을 이어갈 수 있는 기회를 지속적으로 창출해 나가고 싶습니다.

문책·이승실사

> 
> 
> 본 글 작성 시, 저는 대학 경영학과 2학년 학생입니다. 2025년 5월부터 2026년 3월 사이에 일반사단법인 AI 아라이먼트 네트워크(ALIGN) 이사인 산자와 히로(도쿄대 마츠오 연구실)가 이끄는 프로젝트에 사무국으로 참여하고, 현재 AI 아라이먼트 네트워크 지능 공생 자화터의 설립에 관여합니다. 국제회의 ICONIP2025(Whole Brain Architecture 워크숍) 및 AAAI2026(Emergent Machine Ethics 워크숍)에 논문 채택을 거쳐 2026년 4월에 UT-LAB에서 공인 프로젝트 “UT-LAB AI 아라이먼트 연구소”를 설립하고 다양한 이벤트를 기획합니다. 현재는 트글 홀딩스의 UT-LAB 팀에서 인턴으로 UT-LAB의 운영에 참여하고 있으며, 일반사단법인 AI 거버넌스 협회(AIGA)의 사무국 및 프론티어 토픽스 팀, 그리고 AGI 허브의 주임연구원 보좌 겸 사설실장도 맡고 있습니다.
> 

## UT-LAB에 관심을 갖고 계신 학생 여러분께 드립니다.

UT-LAB은 도쿄대학교 본고초스 캠퍼스 바로 옆에 위치한 오픈 이노ベーション 거점입니다. 인공지능(AI)이나 블록체인 등의 첨단 기술을 중심으로 학생, 연구자, 창업가가 영역을 넘어 모여 다양한 프로젝트가 매일매일 탄생하고 있습니다.

명확한 과제 의식과 목표를 가진 활동을 지원하는 ‘공인 프로젝트 제도’에서는 멘토링, 인재 지원, 홍보 지원 등의 지원을 받으면서 더 큰 사회적 영향력 창출을 목표로 할 수 있습니다. 각 영역의 유능한 학생들을 지속적으로 모집 중이며, 엄격한 선발 과정은 있지만 멤버 등록은 무료이므로 지금 바로 신청해 주시기 바랍니다!

- 문의 사항이 있으시면 utlab@toggle.co.jp로 문의해 주시기 바랍니다.
- 멤버 신청: https://ut-lab.toggle.co.jp/application
- 🈸 공인 프로젝트 등록: https://x.gd/iJ6bj
- 기업 대상 자료 신청 양식: https://forms.gle/BrXrvt199ZsSyx2v8

### 【참고 SNS】

- 인스타그램：https://www.instagram.com/utlabtokyo/
- X（旧Twitter）：https://x.com/utlab_manager
- YouTube：https://www.youtube.com/@UT-LAB_toggleholdings
- (빈 텍스트)

**출처:** [note 원문](https://note.com/toggle/n/nfa18bce62f71)

*번역: Gemma 3(.44) 초벌 + 교정 55청크*

[원문 보기](https://note.com/toggle/n/nfa18bce62f71) | 출처: note.com