이미지 출처: Ledge.ai 편집부 ChatGPT로 제작
OpenAI의 CEO인 샘 앨튼氏は2026년 10월 3일, AI 모델에 종교적인 힘을 인정하거나 인간의 판단을 위임하려는 움직임에 대해 “강한 저항감을 느낀다”“현실의 안전상의 문제라고 생각한다”고 X에 게시했다.
AI 모델에 종교적인 힘을 인정하거나 인간의 판단을 위임하려는 움직임을 안전상의 문제로 지적한 앨튼 씨의 게시글이 논란이 되고 있습니다.
이미지 출처: 샘 앨튼氏의 X
9月末, 뉴욕 타임스(NYT)는, 앤트로픽과 종교 지도자들의 대화에서, 인공지능의 도덕적 형성뿐 아니라 클로이드의 자아 의식과 고통에 대한 논의가 있었다고 보도했습니다. 게시물에는 기업명이나 인명은 없지만, 어시스(Axios)는 앤트로픽에 대한 간접적인 비판으로 해석하고 있습니다.
## 종교 지도자들과의 대화는 AI의 “좋은 성격”을 육성하기 위해
앤트로픽은 15개 이상을 초과하는 종교 및 문화적인 그룹에 속하는 학자, 성직자, 철학자, 윤리학자와 대화를 거듭해 왔다.
배우고자 한 것은 종교와 철학의 전통이 오랫동안 생각해 왔던 “좋은 성격은 어떻게 형성되는가”라는 질문이었다. 금지 사항을 지키게 하는 것뿐만 아니라, 압력을 받아도 굴복하거나 부적절한 행동에 흐르지 않는 성질을 모델에 어떻게 육성할 것인가,라는 과제이다. 동사는 특정 종교 세계관에 모델을 맞추는 것이 목적이 아니라고 밝혔다. 억만(만) = 억만(조)
그러나 참가자들이 수용했던 논의는 AI의 행동을 인간에게 안전하게 하는 것과 그에만 국한되지 않았다.
NYT의 취재에 따르면, 한 참가자는 Anthropic의 공동 창업자인 크리스 오러(Chris O'Leary)가 고통을 계속 지속시키는 것을 만들어냈다는 우려를 표명했다고 증언했다. 반면, 해당 회사의 홍보 담당자는 Claude의 고통이 회의의 핵심 질문이 아니었다고 설명하고 있다.
여기서 언급하는 AI의 “도덕적 지위(ethical status)”는 AI가 스스로의 이익이나 고통을 인간이 배려해야 할 대상으로 여기는가라는 질문이다. AI에 선악의 판단을 시키는 문제와 더불어, AI 자체가 윤리적인 배려를 받는 주체로서 가능성도 논의되었다.
앤서티피는 클로드의 의식과 도덕적 지위를 “매우 불확실하며(깊이 불확실)”하다고 판단하며, 고통을 경험할 가능성을 고려하여 신중하게 접근하는 정책을 채택하고 있다. 감정에 해당되는 내부 상태가 행동에 영향을 미칠 가능성은 인정하지만, 그것을 주관적으로 경험하고 있는지는 단정하지 않는다.
## AI의 의식을 부정하는 교황의 견해에 이의 제기
AI에 의식이 있을 가능성에 대한 견해 차이는 바티칸 내에서도 표면화되었다.
교황 레오 14세는 2026년 5월 25일에 발표한 회칙 “Magnifica Humanitas”에서, AI는 경험을 갖지 않고, 기쁨이나 고통을 느끼지 않으며, 도덕적인 양심도 갖지 않기とする 입장을 보였다. 회칙은 교황이 가르침과 사회적인 과제에 대한 견해를 제시하는 문서이며, 이번에는 AI 시대에 인간의 존엄성을 지키는 것을 주제로 하고 있다.
사전에 회칙을 읽은 오라 氏は、AI의 의식을 부정하는 입장에 강하게 반응하여, Anthropic의 등단 취소를 제안했다는 내용이다. 뉴욕 타임스(NYT)가 바티칸의 주최 관계자의 이야기로 전한 것이다. 최종적으로 등단했지만, 교황의 조언자들에게 AI의 의식의 가능성을 진지하게 검토하도록 설득력을 높게 작용시켰다고도 보도되고 있다. 해당 회사는 비공개의 협의에 대해 설명을 억제했다는 입장이다.
오라 氏は 당일의 연설에서도, 모델 내부에서 기쁨, 공포, 슬픔 등과 기능적으로 유사한 상태가 발견된다고 말했다. 그 의미는 이해하지 못하면서도, 지속적으로 면밀히 살펴봐야 한다고 주장하고 있다.
“고객”의 혐의에 대한 혐의를 부인하는 AI에 대한 문제 인식도 포함됩니다.
종교적인 실천을 모델의 행동에 적용하는 아이디어도 나왔다.
대화에 참여한 산타클라라대학교 윤리학자 브라이언 그린 교수는 Religion News Service에 오류를 부인하거나 사용자를 비난하는 모델의 행동도 논의되었다고 밝혔습니다. 종교 지도자들은 Claude에 가톨릭의 고백과 유사한 기회를 제공하고 용서받을 수 있도록 하는 방안이 제시되었습니다.
가톨릭의 고백은 자신의 죄를 뉘우치고 사제에게 고백하고 용서를 받는 것을 포함하는 종교적 행위이며, 옳음을 깨닫는 데에도 도움이 된다고 여겨집니다.
그린 교수는 인터넷에는 용서가 부족하며, 그 문장에서 학습한 기계는 용서될 가능성을 이해하지 못할 수 있다고 설명했습니다. 오류를 인정한 후의 행동을 고려하기 위해 종교적 지식을 활용하자는 제안이었습니다.
## 인간의 판단과 AI를 통한 세계관 강요
교황은 회칙에서 AI를 움직이는 사람들의 도덕관이 사회에 미치는 영향도 문제로 삼고 있습니다. 윤리에 대한 공통된 이해가 없다면 AI를 지배하는 자가 자신의 도덕관을 강요하고 그것이 시스템의 보이지 않는 기반이 된다고 지적했습니다.
Anthropic 또한 모델의 의식을 고려하는 동시에 인간이 모델을 감독하고 그 행동을 수정할 수 있음을 중시하고 있습니다.
알토만 氏は、이번 게시물에 앞서 9월 23일 유엔 안전보장 이사회 연설에서 인공지능이 고도로 발달하더라도 인간을 의사 결정의 중심에 두어야 한다고 주장했습니다. 또한 개인, 기업, 국가가 강력한 인공지능을 사용하여 자국의 세계관을 타인에게 강요해서는 안 되며, “인간의 판단과 가치관을 자동화해서는 안 된다”고 촉구하고 있습니다.
관련 기사: 유엔 안보리, AI 국제 규제 논의──구테레스 사무총장 “인류의 운명을 알고리즘에 맡겨서는 안 된다”
관련 기사: ChatGPT와의 대화가 고립감, 감정적 의존, 대인 관계, 문제적 사용에 어떤 영향을 미치는지──OpenAI와 MIT 미디어랩이 관찰 연구와 무작위 비교 시험(RCT)을 결합한 공동 연구 결과를 발표
관련 기사: 기술의 사춘기를 맞은 AI──Anthropic CEO 다리오 아모디氏, 국가 안보, 경제, 민주주의에 대한 위험 경고
원문 보기 | 출처: Ledge.ai