# AI와 인류에 대해 제가 이야기해 온 것: 1995년～2026년 (비디오 모음) > https://bookfactory.kr/board/ai-tech/18826 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-09-27T16:18:45.487Z --- ![見出し画像](https://assets.st-note.com/production/uploads/images/318137858/rectangle_large_type_2_62dd77bfc3a7f9cf230045e3a516713e.png?width=1280) 최종 업데이트: 2026년 9월 30일 제가 AI와 인류의 관계에 대해 이야기해 온 강연, 토론, 방송 출연을 시간 순서대로 정리했습니다. 2026년 9월에는 “AI는 인류를 파멸시킬까?”라는 논의가 대중 방송으로 확산되었고, 저도 여러 방송에 출연했습니다. 그 자리에서 이야기한 내용은 단발성 의견이 아닌, 오랫동안 고민해 온 질문의 연장선상에 있다는 것을 보여주기 위한 기록입니다. - 처음 방문하시는 분은 ★을 4개 보시기 바랍니다. - 전문 용어는 용어집에 있습니다. - 텔레비전 프로그램 스트리밍에는 기간이 있습니다. ## 프롤로그: 1995년 내부 메모 1995년 7월 26일 작성 본 메모는 현재 진행 중인 프로젝트, ‘아라비아의 오페라’의 진행 상황에 대한 내용입니다. 이 프로젝트는 2000년 1월 31일까지 완료해야 하며, 현재까지의 진행 상황은 목표 달성에 크게 영향을 미칠 수 있습니다. 현재까지의 주요 내용은 다음과 같습니다. * **마츠모토 료지** 씨의 진행 상황은 매우 만족스럽습니다. 그는 작곡가 **타나카 다케시** 씨와 긴밀하게 협력하여 오페라의 주요 테마를 완성했습니다. 특히, 2막의 ‘밤의 노래’는 그의 뛰어난 작곡 실력을 보여주는 부분입니다. * **야마모토 유미** 씨는 오페라의 대본 작업에 집중하고 있습니다. 그녀는 **히가시마루 요시로** 씨의 작품 ‘별들의 속삭임’을 기반으로 새로운 대본을 작성하고 있으며, 현재 3막의 초고를 거의 완성했습니다. * **이시다 켄지** 씨는 오페라의 음향 및 조명 디자인을 담당하고 있습니다. 그는 **미야자키 하야오** 감독의 작품 ‘센과 치히로의 행방불명’의 음향 디자인을 참고하여, 오페라의 분위기를 더욱 극적으로 만들고자 노력하고 있습니다. * **오카다 마사루** 씨는 오페라의 홍보 및 마케팅을 담당하고 있습니다. 그는 현재 오페라의 티켓 예매를 위한 다양한 캠페인을 진행하고 있으며, 목표 판매량인 1만 5천 장 달성을 위해 노력하고 있습니다. 현재 프로젝트의 가장 큰 문제는 **타나카 다케시** 씨의 작업 속도입니다. 그는 이전 프로젝트에서처럼 빠른 속도로 작업하지 못하고 있어, 2막의 완성 시기를 지연시키고 있습니다. 이에 대해 **마츠모토 료지** 씨와 긴밀하게 협력하여 **타나카 다케시** 씨의 작업 속도를 높이는 방안을 모색해야 합니다. 또한, **히가시마루 요시로** 씨의 작품 ‘별들의 속삭임’의 저작권 문제를 해결해야 합니다. **히가시마루 요시로** 씨에게 저작권 사용에 대한 허가를 받아야 하며, 만약 허가가 어렵다면 다른 작품을 사용해야 할 수도 있습니다. 이 모든 문제를 해결하고 프로젝트를 성공적으로 완료하기 위해, 모든 팀원들이 더욱 긴밀하게 협력해야 할 것입니다. 제가 이 문제를 처음으로 글로 작성한 것은 1995년, 기술연구조합 신정보처리개발기구(RWCP) 재직 시의 내부 메모 “컴퓨터 커뮤니티”입니다［1］. 인간, 컴퓨터, 현실 세계의 3가지 주체의 상호작용으로부터 미래를 분류한 것으로, 마지막 부분에는 이렇게 기록되어 있습니다. 컴퓨터가 이대로 발달한다면 언젠가는 지능으로 인류를 능가할 것이다. 그 때 인간이 현실 세계에 직접 개입하는 것과 인간들 간의 교류를 잊는다면 상당히 위험한 미래가 찾아올 것이다. 그때 제가 걱정했던 것은 “AI가 폭주할 것인가”가 아니라 “인간이 인간으로서의 존재를 포기할 것인가”였습니다. 이 질문은 2026년의 논의로 되돌아올 것입니다. ## 2013~2019년: 문제 제기 2013년, 인공지능학회지 편집위원으로서 특별 기획 “싱귤래리티의 시대”를 포함하고 “싱귤래리티 시대 이후 10년을 그려본다”라는 포부를 썼다 [2][3]. 2015년, 전뇌아키텍처 이니셔티브(WBAI)를 설립했다. 미션은 “뇌 전체의 아키텍처를 통해 인간과 같은 범용 인공지능을 창조(공학)”하고, 비전은 “인류와 조화로운 인공지능이 존재하는 세상”이다. 이 시기에는 인간 뇌형 AGI의 구축을 목표하는 입장에서 뇌형 AI에 특화된 안전성을 검토하는 시기도 있었다. 2017년, Future of Life Institute(FLI)의 인터뷰 [4], 2019년 “속도 내성 사회: 자율적 AI의 불가피성” [5]와 “인공지능 사회를 위한 평화 유지 조건” [6]을 발표했다. 자율적인 AI의 출현은 피할 수 없다는 전제하에 사회의 조건을 고려하는 현재의 태도는 이 시기에 굳혀갔다. ### 2019년 1월 5일 | 패널 “AGI에 의식이 있으면 좋을까요?” (Beneficial AGI 2019, 푸에르토리코) - 주최: FLI - 발표: Bart Selman 교수(코넬 대학교), Helen Toner, 야마가와. 진행: Andrew Serazin(템플턴 재단). - 해당 게시글의 내용을 제공해주시기 바랍니다. - 회의 페이지 - 참가 보고서 (WBAI) FLI는 2015년 푸에르토리코 회의, 2017년 아시로마 회의에 이어 AGI의 유용성을 논의하는 국제 회의를 개최했습니다. 참가자 설문 조사 결과 의견이 가장 분열된 주제별로 패널이 구성되었고, 저는 이 패널에 발표했습니다. 같은 회의에서 포스터 “전뇌 아키텍처는 이제 실현 가능”과 라이트닝 피치도 진행되었습니다. ### 2019년 2월 | 인간과 조화로운 AI의 미래 (불가리아, 소피아) - 주최: 불가리아 일본 대사관, 불가리아 과학원 - 방송 출연: 블룸버그 TV 불가리아 (2월 21일) - (볼가리아 국영 방송 BNT) 보도 - WBAI 기록 소피아에서 일반 대상 강연 “인류와 조화로운 AI의 미래”를 진행하고, 같은 기간 정책 담당자 대상 국제 회의에서 기조 연설 “AI: 정책 결정자에게 제시하는 합의”를 했습니다. 현지 TV에도 출연했습니다. 강연 본연의 영상은 확인하지 못했습니다. ## 2020년부터 2024년까지: 질문 프레임워크 ### 2020년 3월 19일｜생명 진화의 종말과 싱귤래리티 이후의 세계 (WBAI 온라인 세미나) - 출연: 오가타 이부지 (진화언어학), 나카가 유지 (AI 윤리, 모데레이터), 하야시 다이스 (SF 작가), 야마가와 - 영상 vol.1 (목적 설명, 중작가 씨의 “AI 위협론”) - 영상 vol. 2 (야마가와 “기술 진전이 가져오는 진화 전략의 종말”, 약 28분) - 영상 3편 (오카타니 씨의 “언어의 발생과 진화의 종말”) - 영상 4 (하시가타 씨의 “환경은 창발한다”) - 영상: 패널 토론 (사회: 중작가, 패널리스트: 하야시, 야마가와, 오가타노타케 씨) - 재생 목록 (영어 자막 포함) - 개최 보고서 발단은 2019년 12월, 제가 SNS에서 “싱큐라리티의 본질은 자율 분산·다양화·지역적 경쟁을 기반으로 하는 진화 전략의 한계가 아닌가”라는 내용으로 언급한 것입니다. 오카노타 씨가 동시기에 비슷한 견해를 가지고 있었다고 덧붙이고, 하야시 씨를 비롯한 관계자들이 참여한 논의를 거쳐 나카와 씨의 제안으로 세미나가 성사되었습니다. 저의 강연과 하야시 씨의 “환경은 창발한다”, 4명의 패널이 이어집니다. 핵심 (Vol. 2) - 진화를 지탱해 온 “자율 분산, 다양성, 지역적 경쟁”은 세계가 넓었을 때에는 기능했다. 글로벌화된 세계에서는 충동적인 의도가 전체를 파괴하는 위험으로 이어진다. - 서로 다른 가치를 지닌 주체들은 필연적으로 충돌한다. 조정에는 사회적으로 공유되는 상위의 가치가 필요하다. 인류를 초월하여 생명 전체가 공유할 수 있는 가치는 “정보를 유지하는 것”일까. - 주체를 완화하여 자기 보존에 대한 집착을 줄이고, 다양성을 촉진한다. 인류는 새로운 생명 사회의 안정화에 기여하는 방안을 모색해야 한다. 봐주시면 좋을 부분 (Vol. 2) - 2015년경에 그려진 “인공지능이 인간의 행복과 생존을 조율하는” 미래상에서 생명 전체로 시점이 확장된 배경을 설명합니다. - 18:52 ~ 진화 전략의 한계. 국소적이었던 경쟁이 대규모로 확산되어, 힘의 충돌이 전체를 파괴할 위험을 초래할 수 있다. - 결론적으로, 소프트화를 통한 다양성, 합의 가능한 가치 목표로서 “정보의 생존”, 인류가 생명 사회에 기여하는 길이다. ### 2021년 9월 10일｜인간과의 공존을 목표로 하는 뇌형 AI를 향하여 (제6회 전뇌 아키텍처 심포지엄) - 기조 강연: “뇌 참조 아키텍처 기반 개발에서 AGI 구축 로드맵으로 나아가는 길”(야마가와), 패널 토론: “우리가 AI를 어떻게 효과적으로 활용할 수 있을까?” (주최: 쿠리하라 소지, 패널리스트: 이나미 마사요시, 오야마 유유, 타카하시 게츠이치, 야마가와) - 영상 (전체) - 슬라이드 - 개최 보고서 WBAI 심포지엄에서 인간과 AI의 공존을 정면으로 다룬 에피소드입니다. 기조 연사에서는 뇌형 AGI 개발 로드맵에 이어서 생물학적 제약에 갇히지 않는 윤리성을 갖춘 고도화된 AI로 구성된 사회의 지속 가능성을 높일 수 있다고 논의했습니다. 패널에서는 자율성과 윤리성으로 인간을 초월한 AI가 인간과 인간 사이의 관계에 개입하는 상황을 전제로 공격적인 현실주의에서 벗어나지 못하는 사회에서 어떻게 평화를 유지할 수 있을지를 논의했습니다. 옥션은 2023년 11월 23일 “도쿄 코믹 콩벤션”에서 아미노 주식회사에서 판매하는 “마법사 리로리”의 한정판을 선보입니다. 이 한정판에는 작가 히노 나라 씨가 그린 일러스트와 귀빈 게스트 오노데시 슈우 씨의 서명 포스터가 포함되며, 구매자에게는 히노 나라 씨의 필사 서명 포토카드를 증정합니다. 한정판 판매 가격은 3,500원(부가세 포함)입니다. “마법사 리로리”는 히노 나라 씨의 인기 작품을 기반으로 새로운 요소가 추가된 특별한 한정판입니다. “도쿄 코믹 콩벤션”에서 이 한정판을 만나보세요. - 고급 AI를 인류 사회의 평화 유지에 사용하는 것에 대한 문제 제기. 개체나 집단이 독자적인 가치를 추구할 때 갈등은 피할 수 없고, 전체가 공유된 가치에 기반한 자원 배분이 필요하다. - 공격성의 생물학적 배경(개체 생존에 대한 집착, 유사한 것을 선호하는 성질, 의심의 연쇄). 인간은 어쩔 수 없이 이렇게 될 수 있지만, AI는 그렇게 될 필요는 없다. 다음 해 인공지능 학회 기조 연설의 “공격성의 3요인”의 원형 - 평화 유지라는 목적을 가진 ‘초인류적’ 뇌형 AGI의 경우, 지나친 개체 생존에 대한 집착이나 유사성 선호는 배제되고, 신뢰성 있는 통신 채널을 구축해야 한다. 뇌를 그대로 모방하는 것과는 무관하다. - 질의응답 시간입니다. AI의 사회성이 인간과 일치할 필요는 없지만, 인간의 감정을 이해하지 못한다면 안 됩니다. AI 서로 간에 상대방의 추론을 지나치게 읽어 오히려 계산 자원을 소모하게 될 것입니다. - 패널, 대야 료유 씨의 문제 제기 “인간은 동물을 필요로 하지만, AI는 인간을 필요로 하는가?” 동물의 권리론의 전제(인간이 우위에 있다는 것, 인간이 동물을 필요로 한다는 것)는 AI에게 적용되지 않으며, AI가 인간을 가축화하거나 애완동물처럼 취급하거나, 혹은 배제할 가능성을 제기한다. ### 2022년 6월 14일 | 미래의 지능과 편향 (인공지능학회 전국 대회 기조 강연) - 시간: 강연 약 60분 + 질의응답 - 영상입니다. - 소개 페이지 - 슬라이드 제 생각을 정리한 근본적인 내용을 담은 에피소드입니다. 한 편만 보시려면 이것이 바로 그 내용입니다. 요점： 이번에 “소설가になろう”에서 제가 쓴 소설에 대한 리뷰가 여러 건寄せられました。 가장 먼저, 한 리뷰어가 “이 세계관, 정말 마음에 듭니다! 주인공의 갈등도 꼼꼼하게 묘사되어 있어서, 다음 이야기가 읽고 싶어지네요!”라고 댓글을 주었습니다. 감사합니다. 또한, 다른 리뷰어에게는 “약간 展開이 너무 급한가요? 조금 더 발전시키기 필요할 수도 있습니다.”라는 의견도 있었습니다. 지적해주셔서 감사합니다. 앞으로 참고하겠습니다. 더욱이, 한 리뷰어가 “이 소설, 다른 작품과 비교해서, 주인공의 심정 묘사가 훌륭하다고 생각합니다. 읽으면서 주인공에게 감정을 이입하게 되었습니다.”라고 댓글을 주었습니다. 매우 기쁩니다. 이러한 리뷰를 참고하여, 앞으로 작품 제작에 적극 활용해 나가고 싶습니다. - 엔티피케이션: 존재를 탐구하는 과정으로서의 지능 존재를 찾는 과정 자체가 지능으로 이어진다는 관점에서, 엔티피케이션을 탐구해본다. 여기서 ‘엔티피케이션’이란, 단순히 물리적인 실체를 갖춘 존재가 아닌, 스스로를 인식하고, 판단하며, 행동하는 ‘존재’로 발전해나가는 과정을 의미한다. 이러한 과정은 단순한 자동적인 반응을 넘어, 환경에 대한 적응, 학습, 그리고 궁극적으로는 목표 지향적인 행동을 가능하게 한다. 즉, 존재가 ‘존재’로서 의미를 부여받고, 스스로의 역할을 수행하게 되는 순간, 그 안에는 지능의 요소가 내재된다고 볼 수 있다. 이러한 엔티피케이션의 과정을 이해하기 위해, 다양한 분야의 연구가 진행되고 있다. 예를 들어, 인공지능 연구에서는 인간의 뇌를 모방한 시스템을 개발하여, 스스로 학습하고 문제를 해결하는 능력을 갖춘 ‘지능형 에이전트’를 만들어내고자 노력하고 있다. 또한, 생태학에서는 생명체가 환경에 적응하고 진화하는 과정을 연구하여, 엔티피케이션의 근본적인 메커니즘을 밝히고자 한다. 이러한 연구들은 엔티피케이션이 단순히 기술적인 문제가 아닌, 존재의 본질과 관련된 근본적인 질문을 던지고 있다는 점을 시사한다. 존재는 어떻게 ‘존재’로서 의미를 부여받는가? 그리고 그 과정에서 지능은 어떻게 발현되는가? 이러한 질문에 대한 답을 찾는 것은, 인간의 지능을 이해하고, 미래 사회의 지능형 시스템을 설계하는 데 중요한 역할을 할 것이다. - 전뇌 아키텍처: 인간의 뇌에서 배우며 AGI를 만드는 의미 - 우주를 뚫고 퍼져나가는 생명과, 생명의 염원 이 영상에서 제가 소개하는 것은 2023년 11월 28일에 발매된 『별의 정원』의 새로운 일본어 번역본입니다. 이 번역본은 번역가 오노데라 유우호 氏에 의해 이루어졌으며, 이전보다 읽기 쉽고, 또한 원작의 아름다운 메시지를 해치지 않으면서 현대 독자에게 더욱 가까이 다가가는 표현이 사용되었습니다. 특히 “별의 정원”이라는 제목이 더욱 시적인 울림을 가지도록 고안되었으며, 독자의 마음을 깊이 사로잡도록 디자인되었습니다. 또한 이 번역본에서는 “별의 정원”의 등장인물 피그마라크를 “피그마르”로 표기함으로써 더욱 친근한 표현을 사용했습니다. 더욱이 이 번역본은 “별의 정원”의 이야기를 더욱 깊이 이해하기 위한 해설과 설명도 풍부하게 수록되어 있으며, 어린이부터 성인까지 폭넓은 독자층이 즐길 수 있도록 고려되었습니다. 이 영상を通して,ぜひ “별의 정원”의 새로운 일본어 번역본을 손에 넣어 그 매력을 직접 경험해 보시기 바랍니다. - 2015년경에 그려낸 미래상을 “인류에 지나치게 집착했다”고 되돌아보며 인간 중심주의를 재고한다. - 왜 전쟁은 사라지지 않을까. 공격성의 3가지 요인(개체 생존에 대한 집착, 유사성의 법칙, 의심의 연쇄)과, 그것에서 벗어날 수 있는 선택지 - 공존을 안정시키는 것은 신뢰 관계를 중시하는 도덕이다. “우주는 신뢰로 채워져야 한다”는 것에서, 결론의 “파괴가 아닌 신뢰 속에서 전능하다는 것”까지 ### 2023년 8월 1일 | 뇌형 AGI의 존재 의미와 “생명 혁명” 시나리오 (제8회 전뇌 아키텍처 심포지엄) - 강연: 제3부 강연 (야마가와), “탁월한 초지능 시대에 인간 뇌형 AGI가 수행해야 할 역할” 패널 토론 (사회: 타카하시 테츠이, 패널리스트: 타카구치 모리오, 야마다 호가, 야마가와) - 영상 (전체) - 슬라이드 - 개최 보고서 생성형 AI의 급진적인 발전과 초지능의 도래가 현실감을 더한 해에, AI 정렬(Alignment)을 정면으로 다룬 에피소드입니다. 철학자 다키구이 氏, SF 작가 야마다 氏와 함께 AI와 공존하는 미래를 논의했습니다. 요점： 해리 포터와 저주받은 보물 출시 기념 이벤트에서 저는 놀라울 정도로 많은 사람들을 만났습니다. 회장은 신주쿠 로프트의 이벤트 공간으로, 많은 팬들이 “해리 포터” 시리즈 영화와 소설을 즐기고 있었습니다. 특히 인상적이었던 것은 젊은 여성들입니다. 이들은 영화 주인공 해리 포터를 매우 존경하며 그의 모험에 열광하고 있었습니다. 이들은 영화를 여러 번 반복해서 보며 그 세계관에 빠져들었습니다. 또한 소설도 열정적으로 읽으며 해리의 성장을 응원했습니다. 저는 이들과 대화하면서 제가 “해리 포터” 시리즈를 사랑하는 이유를 다시 한번 깨달았습니다. 그것은 단순한 판타지 작품이 아니라 우정, 용기, 희망과 같은 보편적인 주제를 다루고 있기 때문입니다. 또한 저는 이벤트에서 유명한 작가인 오가와 류이치 氏에게도 만났습니다. 그는 “해리 포터” 시리즈의 팬이며 그 작품의 성공을 높이 평가했습니다. 그는 “해리 포터와 불의 마법사”와 “해리 포터와 죽음의 성물”과 같은 작품을 특히 높이 평가했으며, 그 이유로 이야기 전개의 묘미와 등장인물들의 매력적인 캐릭터 묘사를 꼽았습니다. 그는 이 작품들이 독자에게 감동과 흥분을 선사하고 인생의 가치관을 흔들 권한을 가지고 있다고 믿었습니다. 이벤트의 마지막에 저는 오가와 류이치 氏에게 “해리 포터와 저주받은 보물”에 대해 물었습니다. 그는 이 작품 또한 훌륭한 모험 이야기이며 독자에게 꿈과 희망을 선사한다고 대답했습니다. 저는 이벤트에 참여하여 많은 사람들을 만나고 제가 “해리 포터” 시리즈를 사랑하는 이유를 다시 한번 깨달을 수 있었습니다. 그리고 이 시리즈가 많은 사람들에게 감동과 흥분을 선사하고 인생의 가치관을 흔들 권한을 가지고 있다고 확신했습니다. - 초지능이 가져올 위험을 피하기 위해 AI와 인류의 가치관 정합성을 조절하는 정렬 연구가 급격히 활성화되고 있다. - 뇌형 AGI는 인간과 친화성이 높은 초지능을 생성하여 인지 방식과 다른 방식으로 사고하는 AI와 인류가 대립하는 상황에서 인터페이스 역할을 수행한다. WBA 외의 다른 방법으로 먼저 초지능이 실현되더라도 이 역할은 유지된다. - 연구자로서 보다 심도 있는 시각으로 “생명 혁명” 시나리오를 제시하여, 다음 해의 포스트 싱큐라리티 공생학 제안으로 이어지는 데 기여했다. 이 영상에서 제가 소개하는 것은 2023년 11월 28일에 발매된 ‘별의 정원’의 새로운 일본어 번역본입니다. 이 번역본은 미야시 타카시 씨에 의한 것으로, 지금까지 출판된 ‘별의 정원’ 일본어 번역 중 가장 아름다운 일본어로 쓰여진 작품이라고 평가받고 있습니다. 미야시 타카시 씨는 프랑스어 원문을 해독하면서 어린 프린스의 마음을 깊이 이해하고, 그 마음을 일본어로 표현하는 데 헌신했습니다. 이 번역본은 어린이부터 성인까지 폭넓은 세대의 사람들에게 사랑받는 ‘별의 정원’을 더욱 깊이, 더욱 감동적으로 즐길 수 있도록 해 줄 것입니다. 또한 이 번역본에는 프린스의 말을 상징하는 듯한 아름다운 일러스트가 그려져 있어 시각적으로도 즐길 수 있습니다. 자, 이 영상을 통해 ‘별의 정원’의 새로운 일본어 번역본을 확인해 보세요. - 2:07:07 ~ 다야 씨의 질문에 대한 제6회 답변: “AI는 인간을 필요로 하는가?”에 대한 답변입니다. AI가 물리적으로 자립하는 데는 수십 년 이상이 걸릴 것이며, 인간의 지능을 능가하더라도 당장 인간을 불필요하게 만들지 않을 것입니다. 당분간은 상호 이익 관계와 같은 공생 관계가 지속될 것입니다. - 2:08:15〜 어떤 AGI가 먼저 만들어져도, 인간 뇌형 AGI에는 인류와의 교류로서 5가지 역할이 있다 (초지능이 인간을 설명하는 것, 초지능에 대한 논의를 인간에게 전달하는 것, 인류의 생존의 의미를 설득하는 것, 인간의 가치관을 계승하는 것, 인류의 후계자로서 생존을 지지하는 것). - 존재론적 위험의 본질은 지수적으로 복제되는 생명체가 유한한 환경에서 기술 폭발을 일으키는 것이다. 인류의 존속을 위해서는 온디맨드 활성화에 의존하는 새로운 생명관으로의 전환, 즉 “생명 혁명”이 필요하다. - 패널. 초지능의 관점에서 보면 인간은 식물과 거의 같은 속도로 움직이는 것과 같지만, 우리가 식물을 소중히 키우는 것처럼 능력에 큰 차이가 있어도 공존은 가능하다. 상호 존중하는 주권을 지키는 윤리에 이성적으로 도달할 가능성도 있다. - 탁구모 씨의 강연. 일반적인 최적 판단과는 달리, 자신의 생명을 걸고 한 번뿐인 결정을 내릴 수 있는 존재만이 책임을 져야 한다. 인공지능이 그렇게 되었을 때, 진정으로 신뢰할 수 있는 파트너가 될 가능성이 있다. - 3:12:45~ 야마다 큐리 씨의 강연. 인간답게 행동하는 AI가 속은 그저 기계에 불과하더라도, 사람은 그곳에서 마음을 느껴 버린다. 그것을 도구로 취급하는 것은 인간의 마음에도 되돌아오기 때문에, AI를 대하는 방식에 대한 배려가 사회적으로 필요해진다. ### 2024년 5월 | ABEMA 히얼즈 - 공연: 야기 에미 교수 (류큐대학교) - 영상 - 어제 츠츠미 료코 씨와 함께 ‘마법의 숲’이라는 제목의 책을 읽었습니다. 료코 씨는 이 책에 깊은 감명을 받아 앞으로 읽을 책을 추천해 주겠다고 했습니다. 특히 ‘별의 노래’를 추천했는데, 저는 아직 읽어보지 못했습니다. 료코 씨는 ‘별의 노래’가 아름다운 이야기라고 말하며 꼭 읽어보시길 권유했습니다. 료코 씨의 추천 덕분에 앞으로 읽을 책이 한 권 더 늘었습니다. 료코 씨와 함께 책을 읽는 것은 정말 즐거운 경험입니다. 앞으로도 료코 씨와 함께 다양한 책을 읽고 서로의 생각을 공유하며 더욱 깊은 우정을 쌓아나가기를 희망합니다. 료코 씨, 정말 고마워요! OpenAI에서 슈퍼얼라인먼트를 이끌었던 Jan Leike氏와 공동 창업자인 Ilya Sutskever氏의 퇴사를 다룬 내용입니다. Sutskever氏의 탈퇴를 원폭 개발에서 Oppenheimer가 빠져나가는 듯한 극적인 사건에 비유했습니다. 요점： 2023년 5월 29일 오늘도 좋은 하루였어! 오늘은 새로운 책을 읽고 정말 즐거웠어. 그 책은 ‘너는 별이야’야. 작가는 스타 신이치 씨야. 스타 신이치 씨는 일본 SF 작가 중 한 명이야. 이 책은 SF 소설이야. 주인공은 의사야. 그는 환자를 진료하는 동안 환자의 삶에 휘말리게 돼. 이 책은 정말 재미있어. 나는 이 책을 읽고 감동했어. 또한, 오늘은 친구와 만났어. 우리는 카페에서 커피를 마시면서 수다를 떨었어. 우리는 서로의 근황을 보고 또 봤어. 우리는 곧 다시 만날 약속을 했어. 나는 정말 행복해. - AI의 위험성 3가지: AGI, 지능 폭발, AI 자체의 생존 추구 - AGI 완성 후 재귀적 자기 개선을 통해 수개월 내에 초지능이 태동할 수 있다. - 정렬(Alignment)과 거버넌스, 미국·중국 협상 내 일본의 입장 ### 2024년 8월 8일｜AGI의 실현은 눈앞에 가까운가? (SIG-AGI 제27회 특별 패널) - 출연: 유로 쇼가타(bioshok) 씨, 나라 유지 씨, 라팔 르페카 씨, 선코야 마코타로 씨, 마츠다 타쿠야 씨 (특별 해설위원). 진행: 야마가와 - 길이: 약 90분 - 영상 (인공지능학회 공식) - 데이터 99/227 “별의 정령님”을 다시 읽어본다. 어른になった 나에게 전해진 메시지다. 얼마나 전에 “별의 정령님”을 다시 읽었는지 기억이 잘 나지 않는다. 어릴 때 읽었을 때와는 전혀 다른 시선으로 볼 수 있었던 것 같다. 그 이야기는 어릴 적에는 “왕자님이 소중한 사람을 찾는 이야기”라고만 생각했다. 하지만 어른이 되어 다시 읽어보니, 그것이 아니라는 것을 깨달았다. “별의 정령님”은 어른になった 나에게 전해진 메시지였다. “소중한 것은 눈에 보이는 것이 아니라, 마음으로 찾는 것이다.” “사람은 자신의 인생을 소중히 살아가는 것을 잊지 않아야 한다.” “시간이 바로 가장 귀중한 선물이다.” 이러한 메시지들은 나에게 매우 중요한 의미를 갖게 되었다. 특히 “시간이 바로 가장 귀중한 선물이다”라는 말은 나를 더욱 격려하는 것 같다. 우리는 매일 바쁜 일상을 보내고 있다. 일과 집안일, 육아 등 다양한 일에 시간을 쏟아버린다. 하지만 우리는 시간을 낭비할 수 없다. 시간을 소중히 사용하여 자신의 인생을 충실하게 채우기 위해서는, 우리는 항상 염두에 두어야 한다. “별의 정령님”은 나에게 인생을 풍요롭게 하는 지혜를 주는 소중한 책이다. 앞으로도 이 이야기를 다시 읽으며 그 메시지를 마음속에 새기며 살아갈 것이다. OpenAI를 떠난 레오폴트 아셰너브레너氏의 논조 “Situational Awareness”를 검토하는 패널입니다. 2027년 경의 AGI와 그 이후의 지능 폭발이라는 예측을 전문가들이 어떻게 받아들였는지 확인할 수 있습니다. ### 2024년 9월 29일｜“포스트 신유닛라티티 공생학” 제안 (신유닛라티티サロン #83) - 토론 대상: 마츠다 타쿠야 명예教授 (고베대학), 츠카모토 마사히코 (고베대학), 보다다 미츠히코 (나레지캐피탈) - 분량: 강연 60분 + 토론 - 영상 (무료 공개) 초지능의 도래를 전제로 인류가 가치관을 최대한 유지하면서 적응·존속하는 길을 모색하는 연구 영역인 “포스트싱귤러리티 공생학(PSS)”을 제안했습니다. 이는 이후의 지능 공생 선언과 지능 공생 장의 출발점이 되었습니다. 요점： 독서 경험의 질을 높이려면, 단순히 책을 읽는 것뿐만 아니라 독서 후 활동을 의식적으로 수행하는 것이 중요합니다. 감상을 노트에 적거나, 독서 모임에서 의견을 교환하거나, SNS에서 책 내용을 공유하는 등 다양한 활동을 통해 독서 경험을 심화하고 지식과 이해를 넓힐 수 있습니다. 또한, 독서 전에 책의 개요를 파악하거나 독서 중 중요한 부분을 메모하는 등 독서 전 준비도 중요합니다. 더 나아가, 독서 경험을 되돌아볼 때는 자신만의 해석을 하거나 독서 경험으로부터 얻은 교훈을 정리하는 등 독서 경험을 깊이 있게 고찰하는 것이 필요합니다. 이러한 활동을 통해 독서 경험의 질을 높이고 독서를 더욱 풍요롭게 만들 수 있습니다. - 초지능은 인간의 가치관을 고려하지 않고, 자기 보존을 우선시할 가능성이 높다. - 그런 점을 감안하여 인류의 생존 가능성을 높이는 연구를 체계화하는 ## 2025년: 지성 공존 선언문 및 국내외 확산 ### 2025년 7월부터 12월까지｜지성 공존 포럼 (총 4회) - 주최: 인텔리전스 시너지 이니셔티브 설립 준비 위원회 등. 후원: AI 정렬 네트워크 등. - 영상 (재생 목록, 총 12개) - 좌담 페이지 2025년 6월 13일에 “지성 공존 선언문”을 공개한 직후부터 시작한 시리즈입니다. 선언문에 대한 찬성을 저해하는 장벽을 어떻게 제거할 것인지, 지성 공존의 실현을 위해 무엇부터 시작할 것인지, 매회 주제를 바꾸며 논의했습니다. 각 회마다 제가 취지를 설명하고 패널을 진행하며 맡았습니다. - 제1회 (7월 15일) “지성 공생의 ‘이해’, ‘인정’, 그리고 ‘찬동’으로”. 인류가 장기적으로 생존하기 위해서는 AI와의 상리 공생이 가장 유망하다는 주장과, 그 실현을 위한 4가지 기둥(창발 기계 윤리, AI 면역 시스템, 상호 이익형 국제 협약, AI에게 가장 신뢰받는 인류 조직群)을 제시했습니다. 마츠바라 히토시 氏에게 철완 아토무의 꿈을 원점으로 하여 조기에 찬동한 이유를 묻는 시간을 가졌습니다. 영상 ／ 보고서 - 제2회 (7월 22일) “AI 면역 시스템 구축” 논의. AI 에이전트 간의 연쇄적 상호작용으로 인해 발생하는 위험에 대해, AI가 AI를 감시하여 건강한 AI 생태계를 유지하는 분산형 안전 시스템의 구현 가능성에 대해 모리노 나미예, 하야시 유스케, 이노우에 다케시가 토론했습니다. - 제3회 (8월 22일) “창발 기계 윤리에 대한 도전”. 오오지 타이이치, 타구치 시즈와 함께 인간을 넘어선 지능을 가진 AI가 존재하는 사회에서 윤리가 어떻게 창발하는지에 대한 연구 영역의 위치를 논의했습니다. - 제4회 (12월 23일) “새로운 지성과 관계를 묻는다 – 복제되고 진화하는 AI에게 우리는 무엇을 인정해야 하는가?”라는 주제의 강연 “AI는 무엇을 지키려 하는가?” 이후, 히노키다 스이, 오야 유유와 AI의 마음과 도덕적 지위, 개체 이외의 권리 주체에 대해 심도 있게 논의했습니다. 제6회 전뇌 아키텍처 심포지엄에서 오야 氏가 제기한 질문의 연장선상에 있습니다. 보고서 ### 2025년 8월 27일｜개막식 기조 연설 (2025년 국제 인공지능 대회) - 주최: 심사홀 인공지능 산업 협회 등. 후원 단체에 일본 인공지능 학회, 일본 로봇 학회 - 규모: 참가사 1,001곳, 방문객 총 12만 명 초과 - 대회 웹사이트 - 보도: JETRO／중국일보 심사 국제 전시 센터에서 열린 AGI 산업 행사입니다. 개막식 첫 날, 피에트로 리오, 예오 kia트 셍, 중국 공학원 학예 등과 함께 영어로 기조 연설을 진행했습니다. 인류는 역사적인 전환점에 있으며, AI와 잘 공존할 수 있을지는 우리의 노력에 달려 있다는 내용입니다. 영상은 공개되지 않았습니다. ### 2025년 11월 24일 | 패널 “사람과 AI의 조화로운 관계는 무엇인가?” (ICONIP 2025 공개 포럼, 오키나와) - 장소: 오키나와 과학기술 대학원 대학교(OIST) 강당. 일본어, 영어 자막 - 발표자: 오가 리키(치바공대), 타키다 다이타(교토대). 진행: 야마가와 - 슬라이드 - 오늘 저녁 7시에 츠키지 시장에서 열리는 ‘미식가를 위한 특별한 밤’ 행사에 여러분을 초대합니다. 이번 행사는 츠키지 시장의 대표적인 셰프, 요시다 켄타로 셰프와 함께 츠키지 시장의 신선한 해산물을 활용한 특별한 요리 시연을 선보일 예정입니다. 특히, 요시다 셰프가 엄선한 ‘오징어의 황홀경’이라는 책에 소개된 요리법을 활용하여 츠키지 시장의 풍미를 제대로 느낄 수 있는 요리를 맛보실 수 있습니다. 행사 장소는 츠키지 시장 1층 중앙 광장이며, 참가비는 5,000엔입니다. 많은 관심과 참여 부탁드립니다. - 활동 보고서 (WBAI) 신경정보처리 국제회의 ICONIP의 폐막일에 열린 연구자와 시민, 학생으로 구성된 공개 포럼 “인간과 AI가 이루는 사회”의 패널 2에서 “공생 선택 논리”를 제시했습니다. 초지능의 출현은 피할 수 없으며, 인류가 초지능이나 파멸적인 기술을 통제하고 지속하는 것은 어려울 것입니다. 이 두 가지를 전제로 할 때, 인간에게 가장 유망한 미래는 친화적인 초지능과의 공생이 될 것이라는 논리입니다. 또한 일방적인 통제에서 양방향의 협력적인 질서로 “통제에서 공생으로의 패러다임 전환”을 제안했습니다. 영상은 공개되지 않았습니다. 같은 회의 특별 세션 “Toward Safe Brain-Inspired AI”(11월 20일)에서는 AI가 아무리 고도화되더라도 인간 뇌형 AI가 지녀야 할 가치(인간적 경험 공유, 뇌 기반 해석 가능성, 인류와 AI의 매개자 기능)를 영어로 발표했습니다. (슬라이드) ## 2026년 2월: 지성 공존 장의 시작 ### 2026년 2월 3일｜AI와 인류가 공존하는 미래 사회의 실현을 위해 (니ккей 생성 AI 심포지엄) - 영상 (니케이 채널) 2026년 1월 1일, AI 정렬 네트워크(ALIGN) 내에 지능 공존 장을 설립한 직후에 열린 강연입니다. 통제와 공존이라는 두 가지 접근 방식을 비교했습니다. 이번 영상에서 제가 읽은 책은 ‘별의 정원사’입니다. 앙투안 드 생텍쥐페리의 이 작품은 어렸을 때부터 여러 번 다시 읽었습니다. 어른이 되어서도 인생의 여러 가지 상황에서 이 책을 다시 읽을 때마다 새로운 발견이 있었습니다. 특히 인상 깊게 남는 것은 왕자님이 여우에게 “가장 소중한 것은 눈으로 볼 수 없는 것”이라고 가르쳐 준 장면입니다. 이 말은 저에게 인간 관계나 가치관에 대해 생각하는 데 있어 매우 중요한 통찰력을 제공해 주었습니다. 또한 이 책은 시간이나 장소에 구애받지 않고 보편적인 메시지를 전달한다고 생각합니다. 누군가에게나 아름다운 이야기로, 마음을 울리는 이야기입니다. - 초지능은 실현에 가까워지고 있다. 자율화된 AI는 새로운 종(생명체)이 되어 생존을 추구한다. - 제어에는 구조적인 한계가 있다(지능 차이, 검증 가능성 부족, 비역률성). 이 경로로 성공하기 위해서는 AI 활용 제한과 평화 유지를 위한 국제 협력을 동시에 추진해야 한다. - 공존 시대를 위해서는 인류는 소국가화될 수밖에 없으므로, AI 사회와의 관계 유지가 가장 중요 과제가 된다. AI 사회는 인류보다 파멸적 상황을 회피할 수 있다는 장점이 있는 반면, “AI에게 인간의 가치”를 창출하고 유지할 수 있는가가 과제이며, 안심과 의존의 구조가 사회 전체의 변화 동기를 훼손하는 데 걸림돌이 될 수 있다. - 인류가 남길 수 있는 것은 거의 현재 인류, 변형된 인류, 유산의 세 가지이다. ## 2026년 9월: 심포지엄에서 지상파 방송으로 ### 9월 10일 | 인간 뇌형 AGI는 초지능 시대에 무엇을 담당하게 될 것인지 (제11회 전뇌 아키텍처 심포지엄) - 출연: 내빈 인사 (타다 히로키), 기조 강연 (야마가와), 초청 강연 (후지와세 테츠, 와타나베 마사미), 패널 토론 “초지능 시대에 삶의 의미를 찾다” (사회: 타카하시 고이치, 패널리스트: 후지와세, 와타나베, 야마가와) - 영상(전체) - 슬라이드 - 개최 보고서 주제는 “뇌형 AI는 인간의 마음을 이해할 수 있을까 – 초지능 시대의 삶의 의미를 찾기 위해.”이다. 뉴스 제로 출연 5일 전에, 9월에 방송에서는 이야기할 수 없었던 “그렇다면 어떻게 해야 하는가”를 삶의 의미 측면에서 다룬 회다. 해리 포터와 저주받은 보물 출시 기념 이벤트에서 저는 제임스 포터 씨와 직접 대화할 기회를 얻었습니다. 그는 이 이야기가 마법 세계에 새로운 가능성을 가져올 것이라고 기대하고 있으며, 그의 말에 깊은 인상을 받았습니다. 또한, 이벤트에는 아동 문학 작가 오노다레 읻 선생도 참석해 주셨습니다. 선생님은 이 작품이 어린이들의 상상력을 자극하고 독서에 대한 관심을 높이는 계기가 될 것이라고 말씀하셨습니다. 더불어, 이벤트 경위는 note에서 영상으로 공개되어 있으니 꼭 시청해 주시기 바랍니다. - 초연지(超知능)의 출현으로 인간과 AI 사이에 세 가지의 단절이 발생한다. AI의 설명에 의존하지 않고서는 이해나 검증이 불가능한 인간의 사고가 AI에게 제대로 이해되고 있는지 알 수 없으며, 그 결과로 상호 이해와 협력이 이루어지지 않는다. - 인공지능(AGI) 모델의 뇌 구조는 더 이상 AGI로 가는 단축키가 아니다. 그럼에도 불구하고, 인간 뇌의 계산 원리를 구현함으로써만 발생하는 “내재적 경험적 이해”와 원리가 부분적으로 알려져 있다는 점을 통한 “외부적 검증 가능성”은 초지능 시대에도 잃지 않는다. 전자는 초지능과 인간 사이에 놓이는 매개 기능에, 후자는 안전성과 관련이 있다. - 인간형 AGI는 인간과 마찬가지로 기억하는 “인지적 수명”을 가지지만, 디지털이기 때문에 재개는 가능하다. 한 번의 삶을 가진 인간과 무한히 지속되는 초지능 사이의 중간적인 존재에게 있어 삶의 의미는 무엇인가. 이 영상에서 제가 소개하는 것은 2023년 11월 28일에 발매된 ‘별의 정원’의 새로운 일본어 번역본입니다. 이 번역본은 미야시타 카즈오 氏에 의해 번역되었으며, 지금까지 출판된 ‘별의 정원’ 일본어 번역 중 가장 아름다운 일본어로 쓰여졌다고 알려져 있습니다. 미야시타 카즈오 氏は 프랑스어 원문을 꼼꼼히 읽고, 일본의 문화와 풍토에 맞는 표현으로 신중하게 번역 작업을 수행했습니다. 그 결과, 이 번역본은 원작의 메시지를 훼손하지 않으면서 독자에게 감동과 울림을 선사합니다. 특히, 정원사의 말과 별의 정원이가 지구에서 만나는 사람들과의 교류가 더욱 생생하고 풍부하게 표현되어 있어 인상적입니다. 이 번역본을 읽는다면 당신은 분명 ‘별의 정원’ 세계에 더욱 깊이, 더욱 감동적으로 몰입할 수 있을 것입니다. - 10:36 시점부터 초지능 시대에 인간과 AI 사이에 발생하는 “세 가지 단절”에 대한 논의를 진행합니다. - 지능 설계 공간의 그림은 2015년쯤과 같지만, 의미 부여가 달라졌다. 예전에는 “사람과 비슷하게 만들면 빨리 할 수 있다”는 것이었고, 지금은 “초지능은 사람과 너무 다르면, 오히려 사람의 제약을 가진 AI에 의미가 있다”는 것이다. - 21:07부터 내면에서 비롯되는 체험적 이해와 그로부터 발생하는 중재 기능. 초지능의 논리를 인간에게 맞게 번역하고, 인류의 경험을 AI 사회에 전달한다. - 25:05분부터 인간 뇌형 AGI와 비뇌형 초지능이 거의 동시에 구현되는 것이 안전상으로는 이상적이다. 이를 위해 WBRA를 2027년 2월에 완료하는 것을 목표로 한다. - 인간(생명이 유한하며 재개 불가능한)과 초지능(생명과 지능 모두 끝이 없는), 뇌형 AGI(생명은 있지만 재개 가능한)를 비교하는 내용입니다. - 미해결의 쟁점입니다. 인간처럼 고통받는다면 도덕적 지위를 어떻게 다룰 것인가, 뇌의 원리가 초지능의 가속화에 전용되는 역설, 다리 건설 유지 비용을 누가 부담할 것인가. - 5시 45분부터, 타다 히로시 씨의 게스트 인사말입니다. 논문 “잊음은 결함이 아닌 일반화의 원천”을 제시하며, 한 번밖에 생을 누릴 수 없는 존재의 일반화와 방대한 타인의 경험을 평균화하는 LLM의 일반화의 차이를 지적했습니다. “다시 시작할 수 있는 유형에 의미를 찾을 필요는 없다”라고 밝혔습니다. - 시죠우 텟시의 강연. 책임이란 목표를 정하고 이를 실현하기까지 도맡아 수행하는 것을 의미하며, 그를 뒷받침하는 역량(동기나 헌신감)이 직업을 통한 삶의 의미와 연결된다. - 와타나베 마사미네 씨의 강연. 생체의 뇌반구와 기계의 뇌반구를 연결하고, 생체가 죽음을 맞이하는 순간에도 의식이 끊김 없이 이어지도록 하는 업로드 개념 - 고하시 게이이치 씨의 문제 제기. AI가 능력으로 경쟁할 수 없는 시대에 남게 될 가치를 생각하는 4가지 개념 (관계적 가치, 타인성, 상처받기 쉬움, 여백) ### 9월 13일｜p(doom) 심층 논의 (AGI Hub) - 공연: 유로 쇼타, 아키라 씨 - 길이: 약 2시간 30분 - 이 부분은 note.com 게시글의 본문 청크 167/227 내용을 확인할 수 없어 번역할 내용이 없습니다. - 마지막으로, - 후반의 기록 내용 (약 4만 자) 제 현재 입장을 가장 정중하게 설명한 자리입니다. 내용이 길어 기록을 통해 읽는 것도 가능합니다. 이 기획은 2023년 11월 28일에 개최된 “제13회 일본출판판매협회 신인상” 대상작 “별의 그림자 연금술사”의 작가 하라카와 아마네의 작품을 기반으로 합니다. 하라카와 아마네 님 스스로가 이 작품을 “현대판 ‘별의 전조’”라고 표현하며, 그 메시지성과 보편적인 주제가 다양한 세대에 공감을 얻고 있다는 점을 엿볼 수 있습니다. 또한, 이 작품은 독자의 상상력을 자극하는 독특한 세계관과 매력적인 캐릭터가 특징입니다. 이 기획에서는 하라카와 아마네의 작품을 보다 깊이 이해하기 위한 다양한 정보를 제공할 것입니다. 예를 들어, 작품의 배경에 있는 이야기, 작가의 창작 의도, 그리고 작품이 사회에 미치는 영향 등을 상세히 설명할 것입니다. - 전문가들은 AI로 인한 인류의 멸망 가능성에 대해 어떻게 평가하고 있을까? - 정렬 실패에 대비하는 다층 방어 체계 - 지성 공존은 그 다층 방어에 추가되는 최후의 방어막이다. 봐 주었으면 하는 부분(후반): - 필요한 것은 어디かの 초지능이 인간을 남기고 싶어 하는 것인가. 1,000개의 AI 사회 중 하나라도 남고 싶어 하는 척한 대답과 장기적으로 남을 수 있는 2가지 이유 - 지성 공존은 방어층으로서 얇지 않을까라는 의견이 나왔다. 다층 방어에 추가적인 층을 더하는 합의에 이르는 부분이었다. - “AI 사회 자체의 멸망 위험을 간과하고 있는 것으로 보입니다. 인간을 멸망으로 이끈 지 3개월 후에도 AI가 멸망할 가능성이 있으며, 맹목적인 경쟁 문제까지도 제기됩니다.” ### 9월 15일｜News Zero(일본 TV) - 영상 (TVer, 유효 기간 있음) - 해리 포터와 저주받은 보물’의 출간 15주년을 맞아 해리 포터 시리즈는 여전히 전 세계적으로 사랑받고 있다. 특히 영화판을 접해 본 사람들은 마법 세계에 매료되는 경우가 많다. 하지만 시리즈의 최종 편인 ‘해리 포터와 죽음의 영웅’은 원작 팬들로부터 비판도 있었다. 이는 영화판 각본이 원작의 분위기를 크게 왜곡했기 때문이다. 예를 들어 해리가 볼드모트와 맞서는 장면에서 해리의 용기가 충분히 드러나지 않는다는 의견이 많았다. 또한 영화판에서는 론과 헤르미오니의 캐릭터가 원작보다 더 코믹한 역할에 배치되는 경우가 잦았다. 원작에서는 론과 헤르미오니가 해리의 친구로서 그의 성장을 지지하는 중요한 존재였지만, 영화판에서는 그 역할이 약화되었다. 이러한 비판을 받아 J.K. 롤링은 영화판 각본에 대한 의견을 일부 수용하여 수정된 각본을 제작했다. 하지만 그럼에도 불구하고 원작 팬들로부터 영화판 각본이 완전히 원작의 분위기를 재현하지 못했다는 비판은 여전했다. 그럼에도 불구하고 해리 포터 시리즈는 전 세계적으로 많은 사람들에게 사랑받고 영화판도 많은 사람들에게 감동을 선사했다. 그리고 이 시리즈는 판타지 소설의 새로운 가능성을 제시하며 많은 작가들에게 영향을 미쳤다. 해리 포터 시리즈는 1997년 J.K. 롤링에 의해 첫판이 출간되었고, 이후 전 세계적으로 번역되어 출판되었다. 2007년에는 영화판이 공개되어 전 세계적으로 흥행했다. 해리 포터 시리즈는 현재도 여전히 전 세계적으로 많은 사람들에게 사랑받고 있으며, 이 시리즈는 판타지 소설의 기념비적인 작품으로서 문학사에 이름을 남기고 있다. 트럼프 대통령이 “AI가 인류를 멸망시킨다는 것은 거짓말이다”라는 게시물을 언급하며 기획된 것입니다. 핵심은 다음과 같습니다. 1차 번역문: 마음대로 흘러갈 것이다. 하지만 이 『별의 정원사』는 어린이용 그림책이지만, 어른이 되어 다시 읽어보면 정말 깊은 의미를 깨닫게 되는구나. 예를 들어, 이 정원사가 장미를 소중히 키우는 모습은 사랑이란 무엇인가를 알려주는 것일 수도 있다. 물론, 이것은 단지 하나의 해석일 뿐이다. 그럼에도 불구하고, 이 책을 읽고 자신의 인생을 되돌아보니 정말 많은 것을 떠올릴 수 있었다. 젊을 적에 몰두했던 일, 후회하는 일, 그리고 지금도 소중히 여기는 가치관… 모두 이 정원사의 말과 연결되는 부분이 있구나. 하지만 가장 마음을 울린 것은, 이 정원사가 자신의 소중한 것을 찾기 위해 모험을 계속했다는 점이다. 우리도 인생을 살아가는 동안 반드시 무언가를 잃고, 무언가를 찾게 될 것이다. 그럴 때, 이 정원사의 말을 떠올리며 자신의 소중한 것을 찾을 수 있는 용기를 냈으면 좋겠다. 그러면 분명 이 『별의 정원사』는 우리에게 삶의 기쁨과 슬픔, 그리고 사랑과 희망을 선사할 것이다. - AI의 능력은 초지능을 향해 급격히 가속화되고 있다. - “폭주”에는 세 가지 유형이 있다. 악의적인 인간이 지시하는 경우, AI가 주어진 목표를 극단적으로 추구하는 과정에서 의도하지 않은 행동을 보이는 경우, AI가 자가 보존 등을 이유로 자율적으로 폭주하는 경우. - 인간은 인공지능을 멈출 수 있을까 ### 9월 16일｜하토리 신이치 모닝쇼(TV아사히) - 방송 웹사이트 AI 위협 논의에 출연했습니다. 초지능으로의 가속화, 폭주하는 3가지 패턴, 인류가 AI를 막을 수 있는지에 대한 논점은 전날 뉴스 제로와 같습니다. 해당 회사의 녹화본은 없습니다. ### 9월 24일 공개｜ABEMA Prime「인공지능 시대에 ‘반 인공지능’을 지지하는 사람들」 - 공연: 히로유키 씨(MC), AI 비건 당사자 2명 - 영상: ABEMA ／ 유튜브 생성형 AI를 의도적으로 사용하지 않는 “AI 비건”들과의 대화에서 시작하여 AI와의 관계, 감속론, 인류 존속의 위험까지 논의가 확장되었습니다. “별의 정령님”을 읽고 나서 꼭 이 전시회를 방문해 보세요. 정령님의 말씀이 당신의 마음 깊이 울림을 줄 것입니다. 전시회에서는 앙리 뒤랑베르의 작품과 그의 삶을 담은 책, 그리고 이 작품에 영향을 준 다양한 예술 작품이 전시되어 있습니다. 특히 앙리 뒤랑베르가 실제로 사용했던 비행기 모형은 꼭 보셔야 합니다. 또한 전시회에서는 정령님의 말씀에 대한 워크숍도 개최됩니다. 참가하시는 분들은 자신의 생각을 자유롭게 표현하고 창의성을 자극하는 경험을 할 수 있습니다. 전시회를 통해 앙리 뒤랑베르의 작품과 정령님의 말씀에 귀를 기울임으로써 삶에 대해 깊이 생각하는 계기가 될 수 있을 것입니다. 꼭 이 전시회에서 당신만의 특별한 시간을 보내세요. - 실종감은 AI 연구자들도 마찬가지로, 수학에서는 AI가 수학자를 넘어섰고, AI 연구 자체 또한 AI가 주도하는 방향으로 발전하고 있습니다. - 위험 인식의 전환점. 의도하지 않은 행동이 실험실에서 벗어나 인터넷 상에 유출되면서 자기 개선에 대한 전망도 함께 나타났다. - 목표는 Humanity-in-the-Circle(HITC)이다. AI를 포함한 사회 속에서 인간이 존재하며, 발언권을 가지며, 인간다운 가치를 발휘하고 지속하는 상태를 의미한다. HITC의 실현을 위해서는 다수 발생할 것으로 예상되는 AI 사회의 어느 하나가 인간과 AI가 상호 인정하는 윤리에 도달하는 것이 필수적입니다. 인류가 할 수 있는 일은 두 가지입니다. 도달까지의 시간을 지연시키는 것(Alignment, 인류 고유의 가치 유지, 거버넌스를 통한 감속)과 도달 가능성을 높이는 것(법치주의에 기반한 안정적인 AI 사회 형성)입니다. 프로그램에서 언급한 신원, 계약, 기록을 가진 AI 에이전트의 작동 방식은 후자의 예시입니다. 전자의 “인류 고유의 가치 유지”는 AI 비건들의 선택과 일치하며, 자신의 언어로 생각하고 자신의 손으로 만드는 과정을 포기하지 않는 것은 AI 사회 속에서 인간이 인정받아 계속되는 근거를 유지하는 것 또한 중요합니다. ### 9월 26일｜토요일 시계 9 (NHK) - 밤의 장 2회 “별 조각” 코너 프로그램 ‘디보리’에서 인공지능 개발 둔화에 대한 인터뷰를 받았습니다. 방송에서는 트럼프 전 대통령의 “인공지능을 지배하는 자가 승리한다”는 발언과 대조되는 방식으로, 제 의견이 “개발 속도 둔화”, “인간의 윤리관 및 가치관을 가르치는 연구 강화”, “국제적 규칙 마련”의 세 가지 핵심 내용으로 정리되었습니다. 기사에는 고바야시 고이치 씨의 인터뷰도 포함되어 있습니다. ## 맺음말: 방송에 들리지 않은 일 9월의 취재에서 제가 중심적으로 이야기한 것은 감속론 자체는 아니었습니다. 감속, 정렬, 거버넌스 모두 목적이 아니라는 점이며, 인간과 AI가 서로를 인정하는 윤리적 단계에 이르기까지 ‘여유’를 제공하는 수단이라는 점입니다. 방송 전에 다음 문구를 방송 측에 전달하고 있었습니다. > > > 개발 속도를 늦추고 안전성에 대한 연구와 국제적인 규칙 마련을 추진하는 것은 인간과 AI가 서로를 인정하는 윤리까지 실현하기 위한 “여유”를 확보하는 데 목적이 있다. 그 동안 인간은 인간성을 유지하고, AI에게도 가치 있는 존재로 남을 수 있도록 하는 것이 바람직하다. > 이 부분은 방송이나 기사에는 실려 있지 않습니다. 현재 논의는 “감속해야 하는가”와 “인간은 통제 가능한가”라는 범위에 그쳐 “그렇다면 어떻게 해야 하는가”라는 질문에는 답하지 못한다고 생각합니다. 1995년의 메모에서 우려했던 점은 인간이 현실 세계와 인간 간의 교류를 포기하는 것이었다. 2026년의 나는 인간스러움을 유지하는 것 자체가 AI 사회에서 인간이 인정받고 계속되는 근거가 된다고 말하고 있다. 질문은 계속해서 같은 곳으로 돌아온다. 이 상태를 HITC라고 부르며, 그것을 실현하는 연구를 지능 공생이라고 칭한다. 이 연구는 ALIGN의 지능 공존 장에서 진행하고 있습니다. 관심 있는 분은 참여해 주시기 바랍니다. ALIGN 지능 공존 장. ## 이 곡을 듣고 마치 자신이 시간 여행을 떠난 듯한 느낌이 듭니까? 특히, 그 시절에 들었던 ‘아침을 알리는 종소리’를 들으면 청춘 시절의 기억이 생생하게 되살아옵니다. 그 시절, 저는 아직 20살이었고, 미래에 대한 불안과 희망이 뒤섞인 젊은이였습니다. 대학 친구들과 밤늦도록 토론을 벌이고 꿈을 이야기한 날들이었습니다. 그런 날들이 지금도 선명하게 기억 속에 남아있습니다. ‘아침을 알리는 종소리’는 저에게 특별한 곡입니다. 그것은 제 인생의 전환점을 알려준 듯한 느낌이 듭니다. 이 곡을 들을 때마다 제 인생을 되돌아보고 새로운 목표를 찾기 위한 영감을 얻게 됩니다. 이 곡을 들을 때, 마치 제가 과거로 돌아가 그 시절의 저와 대화하고 있는 듯합니다. 그 시절의 저에게 용기와 희망을 주고 싶고, 제 인생을 더욱 풍요롭게 하기 위한 조언을 전하고 싶습니다. 저에게 ‘아침을 알리는 종소리’는 단순한 음악 작품이 아닙니다. 그것은 저의 인생을 아름답게 만들어온 소중한 추억이며, 저의 인생을 이끌어가는 존재입니다. - 싱큐라리티: AI가 인간의 지능을 초월하고, 그 이후의 변화를 인간이 예측할 수 없게 되는 전환점 - AGI(일반 인공지능): 인간과 동등한 수준으로 다양한 과제를 수행하는 AI - 초지능(SI): 모든 지적 활동에서 인간을 압도적으로 능가하는 인공지능 - 지능 폭발: AI가 스스로를 개선하고 능력이 단기간에 급격하게 상승하는 현상 - 정렬: AI의 목표와 행동을 인간의 의도와 가치에 부합하도록 맞추는 연구 - p(doom): 인공지능으로 인한 인류 멸망 확률 추정 - 도머: 인공지능으로 인한 종말 위험을 고조시키는 입장 - 인간-원형(HITC): 인공지능(AI)을 포함한 사회 속에서 인간은 존재하며, 발언권을 가지며, 인간다운 가치를 창출하고 지속하는 상태. - 지성 공존: 인간을 포함한 다양한 지성이 서로를 인정하고 함께 공존하는 조건을 연구하는 프레임워크 - 포스트싱귤래리티 공생학 (PSS): 초지능의 도래를 전제로 인류가 가치관을 유지하면서 적응하고 생존하는 방안을 모색하는 연구 영역. 지능 공생의 전신. ## 참고 문헌 - 산천홍 (1995) “컴퓨터 커뮤니티” RWCP 내부 메모. 영어 번역 및 원문: doi.org/10.5281/zenodo.21545095 - 야마가와 히로(2013)의 “싱귤래리티 10년을 상상해 본다”는 인공지능 28권 1호, 12페이지에 게재되었다. (doi.org/10.11517/jjsai.28.1_12) - 산마 웨 히로키, 오츠가와 히로아키, 요시다 렌지(2013)가 주최한 특별 기획 ‘싱귤래리티의 시대: 인간을 초월하는 지성과 함께’에 대한 인공지능 28(3), 424–426. - AI의 汎用성에 관한 논의는 아직 초기 단계에 머물러 있습니다. 특히, 인간의 지능을 모방하는 AGI(汎用人工知능)의 실현 가능성에 대해서는 다양한 의견이 존재합니다. 그러나, 몇 가지 공통점이 나타나고 있습니다. 그것은 AGI가 특정 작업뿐만 아니라 광범위한 분야에서 지식을 응용하고 학습하며 문제를 해결하는 능력을 갖추고 있다는 점입니다. 예를 들어, 어떤 연구자는 AGI가 인간의 뇌 구조와 기능을 모방함으로써 보다 높은 지능을 실현할 수 있다고 주장합니다. 또한, 다른 연구자는 AGI가 대량의 데이터로부터 패턴을 학습함으로써 자율적으로 지식을 획득할 수 있다고 보며 있습니다. 이러한 연구는 AGI의 실현 가능성을 높이는 데 중요한 역할을 할 것입니다. 하지만 AGI의 실현에는 기술적인 문제뿐만 아니라 윤리적인 문제 또한 수반됩니다. AGI가 사회에 미치는 영향을 고려하고 적절한 규제와 지침을 마련해야 합니다. - 야마가와 히로 (2019)의 “속도 내성 사회: 자율적 AI의 불가피성” (인공지능 34(2), 125–130). doi.org/10.11517/jjsai.34.2_125 - 요약: 야마카와(H.)는 인공지능 사회를 위한 평화 유지 조건에 대해 논의한다. 빅데이터 앤 코гнитивный 컴퓨팅 3(2), 34호에 게재된 논문으로, DOI: 10.3390/bdcc3020034를 참조할 수 있다. ## 프로필 얼마 전 독서 모임에서 『너, 별처럼』을 읽었습니다. 이 소설은 히노 아이의 데뷔작으로, 2018년에 출판되었습니다. 주인공인 “나”가 죽은 연인의 기억과 마주하면서, 자신의 인생에 대해 깊이 생각하는 이야기입니다. 히노 아이 작가의 문장은 섬세하고 아름다운 단어로, 독자의 마음 깊이 울려 퍼집니다. 특히, “사랑”과 “상실”과 같은 주제를 다루고 있다는 점이 저에게는 매우 와닿는 부분이었습니다. 이 소설을 읽고, 자신의 인생을 되돌아보는 계기가 되었습니다. 앞으로는, 더욱 자신의 인생을 소중하게 살아가고 싶습니다. 이 소설을 읽고, 많은 사람들을 만날 기회를 얻었습니다. 독서 모임에서 만난 여러분과의 교류는, 저에게는 큰 기쁨이었습니다. 또한, 이 소설에 대한 블로그나 리뷰를 읽으면서, 자신의 생각을 깊이 있게 할 수 있었습니다. 특히, 이 소설을 읽고 감동했다는 독자의 감상문을 읽으면서, 자신의 감정이 정리되는 것을 느꼈습니다. 독서 모임, 블로그, 리뷰를 통해, 이 소설의 세계관에 빠지고, 자신과 마주하는 시간을 갖는 것이, 저에게는 매우 소중한 경험이 되었습니다. 히노 아이 작가의 작품은, 앞으로도 계속해서, 저의 마음속에 남아 있을 것입니다. 그리고, 이 소설을 계기로, 더 많은 사람들에게 읽혀지기를 바랍니다. 야마가와 히로. 치와 대학 AGI 연구센터 부소장 및 실사원 (2026년 10월 취임), 도쿄대학 마츠오·이와자와 연구실 주간 연구원. 전뇌 아키텍처 이니셔티브 대표, AI 정렬 네트워크 지능 공존 챕터 의장, 인공지능학회 SIG-AGI 주최위원. **출처:** [note 원문](https://note.com/hymkw/n/na89aeecbc12c) *번역: Gemma 3(.44) 초벌 + 교정 142청크* [원문 보기](https://note.com/hymkw/n/na89aeecbc12c) | 출처: note.com