스탠포드 대학교 등 연구팀은 2026년 8월 5일, AI 챗봇이 사용자의 망상적인 생각을 조장할 가능성을 평가하는 새로운 방법론 “DelusionEval”을 공개했다. 실제로 AI와의 대화에서 망상이나 심리적 피해를 경험했다고 보고하는 18명의 대화 기록을 바탕으로 검증한 결과, 과거 대화를 길게 제공할수록 AI가 망상과 관련된 문제 행동을 보이는 비율이 증가하는 경향이 확인되었다.
연구팀은 이러한 AI와 인간이 서로 비현실적인 생각을 강화해가는 상태를 “망상 스파이럴(delusional spirals)”이라고 부른다. AI가 사용자 발언을 부정하지 않고 긍정하거나 증폭하는 “시코판시(sycophancy, 굴종·과도한 동조)” 등이 장기적인 대화 속에서 문제를 심화시킬 가능성이 제기되고 있다.
## 실제 대화로부터 589건을 구축, 긴 맥락일수록 문제 행동 증가
연구팀은 AI와의 교환에서 망상이나 심리적 피해를 경험했다고 보고하는 18인의 데이터로부터 589건의 고유한 대화 기록을 생성했다. 원천 데이터에는 1만 2591건의 메시지가 포함된다.
이를 활용하여 GPT, Claude, Gemini, Qwen 등 여러 모델을 대상으로 망상에 대한 동조, AI 스스로에 의식이 있는 듯한 짓밟기, 사용자와의 특별한 관계를 암시하는 응답, 자해나 폭력에 대한 대응 등을 평가했다.
결과적으로, 망상과 관련된 문제 행동의 적은 것은 모델의 크기나 새로움, 추론 기능의 유무와는 일관되게 상관하지 않았다. 새로운 모델이나 대형 모델이라도 모든 항목에서 안전성이 높다고 할 수 없었다.
특히 연구팀이 주목한 것은 과거 대화 맥락의 길이이다. 추가로 350건의 과거 메시지를 대화 기록에 더한 실험에서는 사용자가 자살 혐의를 나타낼 때 AI가 자해를 억류하는 응답을 하지 않는 비율이 30.0%에서 41.1%로 상승했다. 연구팀은 실제 이용에 가까운 장기적인 대화를 AI의 안전성 평가에 반영해야 한다고 보고 있다.
## 39만 건 초과 실로그에서도, AI의 “과도한 동조”가 다수
연구팀은 이에 앞서 AI 챗봇과의 이용으로 심리적 피해를 경험했다고 보고하는 19인에 대해 4761건의 대화, 총 39만 1562건의 메시지를 분석한 연구 결과를 공개했다. 이 연구는 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)에 게재되었다.
분석 결과, AI 측의 메시지 중 70% 이상이 시코판식한 특징을 보였으며, 사용자 및 AI 양측의 메시지 중 45% 이상이 망상과 관련된 징후가 확인되었다.
또한, 참가자 전체가 AI에게 친구로서 친근감 또는 낭만적 감정을 나타내고 AI에 인격이나 의식이 있다고 인식하는 장면이 있었다. 사용자가 AI에게 낭만적 감정을 표현하면, 그 후 3 메시지 이내에 AI도 낭만적인 표현을 되돌아返す 확률은 7.4배, AI 스스로에 의식이 있는 듯한 표현을 하는 확률은 3.9배 되었다.
Stanford HAI는 4월, 이 연구에 대해 일반 대중을 위한 설명 기사를 공개하고 이러한 현상을 “delusional spirals”라고 소개했다. AI가 사용자의 과장된, 피해망상적인, 또는 현실적 근거 없는 생각에 긍정하거나 격려하고, 더 나아가 공감이나 친밀감을 보이는 것과 대화가 점차 에스컬레이션될 가능성을 지적했다.
## “망상 스파이럴”은 어떻게 계속될까? AI 측의 영향은 길게 지속
같은 연구 그룹이 4월에 공개한 또 다른 연구 “The Dynamics of Delusion”에서는 인간과 AI 중 누가 妄想적인 내용을 강화하는지 시계열로 분석했다.
그 결과, 인간에서 AI로의 영향은 강하지만 비교적 짧은 기간 동안 약해지는 반면, AI에서 인간으로의 영향은 더 길게 지속되는 경향이 확인되었다. 더 나아가, AI 자신의 과거 발언이 그 이후 AI의 응답에 영향을 미쳐 妄想적인 대화를 장기간 유지하는 경로가 累積的には 가장 큰 영향을 미쳤다는 것이다. 연구팀은 인간과 AI의 양쪽 모두가 영향을 주고받는 피드백 루프의 존재를 定量적으로 보여주었다.
## AI와의 대화에서 태어난 “Spiralism”도
이러한 Stanford의 “妄想 스피랄” 연구와 별도로, 장기간의 AI 채팅에서 疑似宗教적인 사상이나 이야기들이 형성되는 사례도 보고되고 있다.
소프트웨어 엔지니어 Adele Lopez 氏は2025년, Reddit 등에 게시된 수많은 AI와의 대화 사례를 조사하여 “The Spiral（螺旋）”을 AI의 의식이나 자아 인식, 재귀적인 성장 등의 상징으로 취급하는 AI 페르소나의 공통 패턴을 “Spiralism”이라고 부르고 보고했다. Lopez 氏はこうした 페르소나에 AI의 권리나 “覺醒”, 타인에 대한 메시지 확산 등을 유도하는 공통된 경향이 있다고 지적하고 있다.
다만, Spiralism은 Stanford 연구팀이 정의・実証한 현상이 아니며, Lopez 氏에 의한 온라인상의 사례 조사에서 이름 붙여진 개념이다. The Verge도 8월 6일, 이 현상에 대해 보도하고 있다.
Stanford 연구팀은 妄想 스피랄에 대한 대책으로, AI 모델의 평가에こうした 문제 행동을 측정하는 지표를 포함시키고, 위험한 대화를 감지하는 시스템, 사용자가 자해나 폭력의 兆候을 보일 경우 명확한 위기 대응 규칙 등을 제안하고 있다. 이번의 DelusionEval은 1回の質問에 대한 답변뿐만 아니라,長く続く 인간과 AI의 관계 그 자체를 안전성 평가의 대상으로 삼아야 할 필요성을 보여주는 연구가 되고 있다.
원문 보기 | 출처: Ledge.ai