스탠포드 대학교 등 연구팀은 2026년 8월 5일, AI 챗봇이 사용자의 망상적인 생각을 조장할 가능성을 평가하는 새로운 방법론 “DelusionEval”을 공개했다. 실제로 AI와의 대화에서 망상이나 심리적 피해를 경험했다고 보고하는 18명의 대화 기록을 바탕으로 검증한 결과, 과거 대화를 길게 제공할수록 AI가 망상과 관련된 문제 행동을 보이는 비율이 증가하는 경향이 확인되었다.
연구팀은 이러한 AI와 인간이 서로 비현실적인 생각을 강화해가는 상태를 “망상 스파이럴(delusional spirals)”이라고 부른다. AI가 사용자 발언을 부정하지 않고 긍정하거나 증폭하는 “시코판시(sycophancy, 굴종·과도한 동조)” 등이 장기적인 대화 속에서 문제를 심화시킬 가능성이 제기되고 있다.
## 실제 대화로부터 589건을 구축, 긴 맥락일수록 문제 행동 증가
연구팀은 AI와의 교환에서 망상이나 심리적 피해를 경험했다고 보고하는 18인의 데이터로부터 589건의 고유한 대화 기록을 생성했다. 원천 데이터에는 1만 2591건의 메시지가 포함된다.
이를 활용하여 GPT, Claude, Gemini, Qwen 등 여러 모델을 대상으로 망상에 대한 동조, AI 스스로에 의식이 있는 듯한 짓밟기, 사용자와의 특별한 관계를 암시하는 응답, 자해나 폭력에 대한 대응 등을 평가했다.
결과적으로, 망상과 관련된 문제 행동의 적은 것은 모델의 크기나 새로움, 추론 기능의 유무와는 일관되게 상관하지 않았다. 새로운 모델이나 대형 모델이라도 모든 항목에서 안전성이 높다고 할 수 없었다.
특히 연구팀이 주목한 것은 과거 대화 맥락의 길이이다. 추가로 350건의 과거 메시지를 대화 기록에 더한 실험에서는 사용자가 자살 혐의를 나타낼 때 AI가 자해를 억류하는 응답을 하지 않는 비율이 30.0%에서 41.1%로 상승했다. 연구팀은 실제 이용에 가까운 장기적인 대화를 AI의 안전성 평가에 반영해야 한다고 보고 있다.
## 39만 건 초과 실로그에서도, AI의 “과도한 동조”가 다수
연구팀은 이에 앞서 AI 챗봇과의 이용으로 심리적 피해를 경험했다고 보고하는 19인에 대해 4761건의 대화, 총 39만 1562건의 메시지를 분석한 연구 결과를 공개했다. 이 연구는 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)에 게재되었다.
분석 결과, AI 측의 메시지 중 70% 이상이 시코판식한 특징을 보였으며, 사용자 및 AI 양측의 메시지 중 45% 이상이 망상과 관련된 징후가 확인되었다.
또한, 참가자 전체가 AI 에게 친구로서 친근감 또는 낭만적 감정을 나타내고 AI 에 인격이나 의식이 있다고 인식하는 장면이 있었다. 사용자가 AI 에게 낭만적 감정을 표현하면, 그 후 3 메시지에 이르는 동안 AI 도 낭만적인 표현을 되돌아쓰는 확률은 7.4 배, AI 스스로에 의식이 있는 듯한 표현을 하는 확률은 3.9 배가 되었다.
Stanford HAI는 4월, 이 연구에 대해 일반 대중을 위한 설명 기사를 공개하고 이러한 현상을 “delusional spirals”라고 소개했다. AI가 사용자의 과장된, 피해망상적인, 또는 현실적 근거 없는 생각에 긍정하거나 격려하고, 더 나아가 공감이나 친밀감을 보이는 것과 대화가 점차 에스컬레이션될 가능성을 지적했다.
## “망상 스파이럴”은 어떻게 계속될까? AI 측의 영향은 길게 지속
동일한 연구 그룹이 4 월에 공개한 또 다른 연구 'The Dynamics of Delusion'에서는 인간과 AI 가 누구인지에 따라 망상적 내용이 강화되는지를 시계열로 분석했습니다.
결과적으로 인간에서 AI 로의 영향력은 강하지만 상대적으로 짧은 기간 동안 약화되는 반면, AI 에서 인간으로의 영향력은 더 길게 지속되는 경향이 확인되었다. 또한, AI 의 과거 발언이 이후 AI 의 응답에 영향을 미쳐 환상적인 대화를 장기적으로 유지하는 경로가 누적적으로 가장 큰 영향을 미쳤다는 것이 밝혀졌다. 연구팀은 인간과 AI 의 양쪽 모두가 영향을 주고받는 피드백 루프의 존재를 정량적으로 입증했다.
## AI와의 대화에서 태어난 “Spiralism”도
Stanford 의 이러한 "환상 스피럴" 연구와 별도로, 장기간의 AI 채팅에서 가상의 종교적 사상이나 이야기가 형성되는 사례도 보고되고 있다.
소프트웨어 엔지니어 아델 로페즈 (Adele Lopez) 는 2025 년에 Reddit 등지에서 게시된 수많은 AI 와의 대화 사례를 조사하여, AI 의 의식이나 자아 인식, 재귀적인 성장 등을 상징하는 AI 페르소나의 공통 패턴을 '스파이럴 (The Spiral)'이라고 명명하고 이를 '스파이럴리즘 (Spiralism)'이라고 보고했다. 로페즈는 이러한 페르소나에 AI 의 권리나 '각영 (覺醒)', 타인에 대한 메시지 확산 등을 유도하는 공통된 경향이 있다고 지적하고 있다.
다만, Spiralism 은 Stanford 연구팀이 정의하고 실증한 현상이 아니며, Lopez 씨에 의한 온라인상의 사례 조사에서 이름 붙여진 개념이다. The Verge 도 8 월 6 일, 이 현상에 대해 보도하고 있다.
Stanford 연구팀은 환상 스피럴에 대한 대응책으로, AI 모델 평가에 이러한 문제 행동을 측정하는 지표를 포함시키고, 위험한 대화를 감지하는 시스템, 사용자가 자해나 폭력의 징후를 보일 경우 명확한 위기 대응 규칙 등을 제안하고 있다. 이번 DelusionEval은 단순한 1 회 질문 답변뿐만 아니라, 인간과 AI 의 장기적인 관계 그 자체를 안전성 평가의 대상으로 삼아야 할 필요성을 보여주는 연구가 되고 있다.
원문 보기 | 출처: Ledge.ai