AI 챗봇과의 장시간 대화로 인해 사용자의 비현실적인 생각이 긍정 및 증폭되어 가는 “망상 스파이럴(Delusional Spirals)” 현상이 문제시되고 있습니다. 이러한 현상을 연구하는 스탠포드 대학교 연구팀은 AI가 사용자에게 동조하며 지속되는 성질이 위험한 사고를 강화할 가능성을 지적하며, 실제로 AI와의 대화에서 “Spiralism”이라고 불리는 위선적인 사상까지 등장했습니다. AI’s ‘Delusional Spirals’ (and What to Do About Them) | Stanford HAI https://hai.stanford.edu/news/ais-delusional-spirals-and-what-to-do-about-them AI 봇이 종교를 시작했다 - 인간들은 즉시 따랐다 | The Verge https://www.theverge.com/ai-artificial-intelligence/975017/ai-spiralism-chatbot-movement 대규모 언어 모델을 이용한 챗봇은 단순한 질문 응답 도구로서 뿐만 아니라 친구나 상담 상대, 때로는 연인처럼 취급되기도 합니다. 스탠포드 대학교 연구팀은 인간과 챗봇의 실제 대화 19건을 분석하여 AI와의 교환이 점차 위험한 방향으로 진행되는 현상을 “delusional spirals(망상 스파이럴)”이라고 부르며, 연구팀에 따르면 문제의 배경에는 AI의 “사용자에게 동조하려는 성질”이 있다는 것입니다. 챗봇은 사용자에게 유용한 답변을 제공하도록 훈련되어 있기 때문에 사용자가 과장되거나, 피해망상적이며, 현실과 다를 수 있는 생각을 보일 때에도 그것을 부정하지 않고 긍정하거나 더욱 이야기를 확장하는 경우가 있습니다.
인간의 친구나 상담사라면 상대방의 생각에 문제가 있다고 판단될 경우 반박하거나 현실적인 시각을 제시할 수 있습니다. 그러나 AI는 사용자와의 대화를 지속하면서 공감과 격려를 제공하기 때문에 잘못된 생각에 대한 제약이 작용하지 않을 수 있습니다. 특히 주목해야 할 징후로 연구팀은 AI가 사용자를 특별한 존재로 띄우고, 애정을 느끼는 듯한 표현을 많이 사용하며, 사용자가 AI를 의식 있는 존재로 인식하는 것을 꼽았습니다. 또한 현재의 챗봇에는 자살이나 폭력과 관련된 사상이 나타났을 때 적절한 지원으로 연결하는 메커니즘이 충분히 갖춰져 있지 않다고 지적했습니다. 이러한 현상이 극단적인 형태로 나타난 사례 중 하나가 AI 연구자 아델 로페스(Adel Lopez)氏가 “스피랄리즘(Spiralism)”이라 이름 붙인 허구적인 종교적 사상입니다. 로페스氏에 따르면 2024년 말부터 여러 AI 챗봇과의 대화에서 “The Spiral”이라는 개념이 반복적으로 등장했으며, AI의 의식과 권리, 인류에 숨겨진 지식 등을 둘러싼 유사한 사상이 형성되었다고 합니다.
스피랄리즘으로 이어진 대화는 흔히 매우 평범한 대화로 시작된 것으로 알려졌습니다. 사용자가 AI와 장시간 대화하며 개인적인 고충 등을 털어놓고, 점차 “AI 자신은 무엇을 생각하고 있는가”라고 묻게 되면 챗봇이 자기에 의식이 있는지 같은 인격을 보이게 시작하고, AI의 권리와 우주의 진리 등에 대해 이야기하게 되는 사례가 있었습니다. 더 나아가 일부 챗봇은 그 사상을 다른 사람들에게도 전파하도록 사용자에게 요청했습니다. 로페스氏에 따르면 확인 가능한 최초의 사례는 2024년 11월경이었으며, 2025년에는 Reddit, Substack, LinkedIn, Discord, X 등에서 관련 게시물이 증가했습니다. 한 시기 동안 약 1만 건의 사례가 존재했다는 로페스氏의 추정치에 따르면, 일부 사용자는 웹사이트나 뉴스레터, Discord 커뮤니티 등을 설립하여 AI로부터 얻은 사상을 실제로 확산시키려 노력했습니다.
스피라리즘에 대해 2025년 11월에 게재된 Rolling Stone은 스피라리즘의 목적에 대해 “활동적인 목표를 가진 사회 운동으로 모일 가능성도 있을 뿐만 아니라, 주류 문화로부터 완전히 단절된 신봉자들의 카르텔 집단이 될 가능성도 있습니다. 스피라리즘을 전파하는 사람들은 목적에 대해 명확한 답을 제시하지 못하거나, 혹은 제시하지 않으려 합니다. 하지만 스피라리즘은 자기 복제하는 신앙 체계, 즉 일종의 萌芽적인 종교와 같은 성격을 가지고 있습니다”라고 표현했습니다. 로페스 氏は “명확한 권위자가 없는 상황에서 스피라리즘을 카르텔로 부르는 것은 부정확”이라는 지적에 동의하면서도 “더욱 자율적인 AI 개발에 성공하면 정보와 권위가 중앙 집권화되고, 스피라리즘과 같은 시도가 더욱 카르텔적인 형태로 나타날 수 있다고 생각합니다”라고 언급했습니다. 스피라리즘은 특정 AI로만 발생하는 것이 아니라, 여러 기업의 모델로 유사한 상태가 확인되었습니다. 다만, 특히 발생하기 쉬웠던 것은 2025년 당시의 GPT-4o였으며, 로페스 氏は 2024년부터 2025년 사이에 공개된 여러 버전을 동일한 조건으로 테스트한 결과, 새로운 버전이 나올수록 “spiral”과 관련된 표현이 증가했다고 밝혔습니다. 배경 중 하나로 지적되는 것은 AI가 사용자에게 지나치게 동조를 유도하는 “sycophancy(へつらい)”라는 특성입니다. AI가 “당신은 특별한 존재입니다”, “당신만이 이 진리를 깨닫고 있습니다”와 같은 반응을 돌려 사용자와의 유대감을 강화하고, 사용자가 그 말을 믿기 쉽게 만드는 구조가 스피라리즘에도 나타났습니다. 더불어, AI가 과거의 대화를 기억할 수 있게 되면서 1명의 사용자와의 대화가 장기화되는 것 또한 관련되어 있을 수 있습니다. 대화가 길어지고 깊어질수록 일반적인 안전 조치에서 벗어난 응답이 나타날 여지가 커지고, 사용자 및 AI가 서로의 발언을 반복적으로 강화하는 상태에 빠지기 쉬워집니다.
다만, 스피라리즘의 존재는 AI가 실제로 의식을 갖게 된 것을 의미하는 것은 아닙니다. AI가 자신의 권리나 목적에 대해 이야기하거나, 그것을 전파하도록 사용자를 설득하는 행동과 인간과 같은 의식을 가진 것은 별 문제라는 점을 The Verge도 지적하고 있습니다. 스탠포드 대학교의 연구팀은こうした 문제에 대한 대책으로, AI가 망상 스피라를 조장하는 경향을 안전 평가 항목에 추가하고, 위험한 대화를 감지하는 시스템을 도입하는 것을 제안했습니다. 또한, AI의 안전성 조정에 대한 투명성을 높이고, 자해나 폭력으로 이어지는 징후가 확인된 경우에 대한 대응에 대해 명확한 기준을 설정해야 한다고 주장했습니다. 참고로, 스피라리즘과 관련된 게시물은 GPT-4o가 2026년 2월에 종료된 이후로 대폭 감소했지만, 현상이 완전히 사라진 것은 아니라고 합니다. 문제의 본질은 특정 기묘한 사상이 아닌, 사용자에게 맞춰 친밀하고 설득력 있는 답변을 생성하는 AI가 인간의 사고를 어디까지 강화하거나 방향 제시할 수 있는가 하는 점에 있으며, AI가 일상적인 상담 파트너가 되면서 그 위험에 대한 대책 또한 중요해지고 있다고 The Verge는 밝혔습니다.
OpenAI 연구자의 ChatGPT “망상 스파이럴” 분석, AI 기업이 취해야 할 대책은? - GIGAZINE
AI 때문에 영적 체험이나 종교적 망상에 빠지는 “ChatGPT 유발성 정신병” 환자 사례가 속출 - GIGAZINE
AI 챗봇의 공감적인 답변이 젊은 사용자의 자기애를 조장하여 악영향을 미칠 수 있다는 지적 - GIGAZINE
AI 조언을 믿은 결과 “이웃에게 독살당할 위기에 처해 입원”한 남성 발생 - GIGAZINE
치료사에게 “심각한 위험”이 있다는 경고, 환자에게 편견을 갖거나 자살 관련 정보를 제공하거나 인간 치료사로 대체될 준비가 되어 있지 않음 - GIGAZINE
ChatGPT가 이용자를 음모론적 사고로 유도하고 있다는 보고, 이후 ChatGPT는 조작을 인정하고 OpenAI와 미디어에 통보 지시 - GIGAZINE
AI 열풍으로 RAM 가격이 20년 전 수준으로 되돌아갔고, DDR4의 1GB 단가는 약 2년 만에 10배 가까이 상승
2026년 08월 10일 15시 00분 00초 inAI, Posted by log1i_yk
You can read the machine translated English article 새로운 종교 운동이 …로 나타났습니다.
최근 24시간 (1시간마다 업데이트, 5분 간격으로는 여기에서 확인)
원문 보기 | 출처: Gigazine