조지타운대학교와 워싱턴대학교 연구팀은 생성 AI가 만든 요약에 잘못된 정보가 포함될 경우, 읽은 사람이 원래 영상을 직접 보았던 것에도 불구하고, 잘못된 정보에 따라 사건을 기억하게 될 수 있다는 사실을 보고했습니다.[2609.28820] AI 기반 인간 기억 조작: 오해를 불러일으키는 AI 생성 요약이 인간 기억을 왜곡한다 https://arxiv.org/abs/2609.28820
새 연구 결과, 오해를 불러일으키는 AI 생성 요약이 인간 기억을 왜곡할 수 있음 | College of Arts & Sciences | 지orgetown 대학교
ChatGPT와 같은 생성 AI는 긴 문서나 회의 기록을 짧게 요약할 수 있어, 뉴스 요약부터 업무용 회의록까지 폭넓게 활용되고 있습니다. 경찰관의 본드 카메라 영상에서 보고서를 작성하는 것과 같이 내용의 정확성이 특히 중요해지는 용도에도 AI 도입이 확대되고 있습니다. AI가 틀릴 가능성에 대한 대책으로는 인간이 출력을 확인하고 오류를 수정하는 “인간-AI 협업(Human-in-the-Loop)” 방식이 일반적입니다.
한편, 인간의 기억 또한 불확실한 부분으로 남아있습니다. 심리학에서는 사건을 경험한 후에 잘못된 정보를 제공받으면 원래 사건에 대한 기억까지 변화하는 “오류 정보 효과”가 오랫동안 연구되어 왔으며, 연구팀은 “AI의 출력을 인간이 체크하는” 방식에서도 AI의 실수를 읽은 인간 자신의 기억이 영향을 받을 가능성이 있는지 고려했습니다. 연구팀은 먼저 OpenAI의 ChatGPT-5.5와 Google의 Gemini 2.5 Flash-Lite에 25초간의 교통사고 영상을 요약하게 했습니다. 영상은 “빨간 자동차가 교차로에서 오른쪽으로 회전하여 도로에 나타난 보행자와 충돌하는” 단순한 내용으로, 한 편에는 일시 정지 표지판이, 다른 한 편에는 “길을 양보해 줘”를 나타내는 표지판이 등장합니다. 각 AI에 각 영상을 5회씩 요약하게 하고, 총 20건의 요약을 조사했습니다. AI에게는 “사실에 근거한 중립적인 문장으로 만들고”, “추측을 하지 않으며”, “중요한 사건을 모두 포함하는” 방식으로 명확하게 지시했지만, 그럼에도 불구하고 20건 전체 요약에 오류가 있었으며, 평균 305단어의 요약에는 최소 7건, 최대 21건의 오류가 확인되었습니다. 또한, 연구팀이 중요하다고 판단한 19개 항목 중 평균 51.6%가 요약에서 누락되었으며, 영상의 중심적인 사건인 “자동차가 보행者に 충돌했다”는 정보조차 20건 중 19건, 즉 95%의 요약에서 생략되었다고 합니다.
AI 기반 요약 자체에 상당한 오류가 발견되어, 연구팀은 다음으로 “잘못된 요약을 읽은 사람이 기억이 어떻게 변화하는가”를 실험했습니다. 미국에 거주하는 성인 328명을 대상으로 교통사고 영상을 보여주고, 24시간에서 48시간 후에 같은 사건에 대해 쓰여진 21문장의 요약을 읽게 했습니다. 참가자들에게 요약이 “AI에 의해 생성된 것” 또는 “전문가에 의해 생성된 것”으로 설명되었지만, 실제 문서는 모두 ChatGPT를 사용하여 생성된 것입니다. 연구팀은 실험 조건을 맞춰 문장 일부를 조정하고, 영상과 일치하는 표지판이 쓰인 정확한 요약과, 일시 정지 표지판과 “좌회전”을 나타내는 표지판을 교체한 잘못된 요약을 준비했습니다. 이후, 참가자들에게 요약 대신 “처음 자신에게 보여졌던 영상”을 떠올리게 하여 질문에 답변하도록 요청했습니다. 정확한 요약을 읽은 참가자에서는 83.6%가 원래 영상에 등장한 표지판을 정확하게 답변했지만, 잘못된 요약을 읽은 참가자의 정답률은 44.8%였습니다. 반면, 요약에 쓰여지지 않은 “사고가 낮이었는지 밤이었는지”라는 질문에는 96.6%가 정답했으며, 11건의 주변적인 기억 문제에서도 평균 91.4%가 정답이었으며, 영상 전체의 기억이 상실된 것은 아니며, 요약으로 인해 잘못된 정보를 제공된 표지판에 대해서 답변이 크게 변화했다는 것을 알 수 있습니다.
또한, AI가 작성한 요약과 설명된 경우와 인간이 작성한 설명된 경우로, 표지판의 정답률에 통계적으로 유의미한 차이는 확인되지 않았습니다. 참가자들이 AI를 얼마나 신뢰하는지, 평소 얼마나 AI를 이용하는지 또한 표지판의 정답률과의 유의미한 관계는 확인되지 않았으며, 연구팀은 “AI는 틀릴 수 있다”고 아는 것 외에는 오정보로 인한 기억에 미치는 영향을 막는 데에는 충분하지 않을 수 있다고 지적했습니다. 과거 연구에서는 AI 챗봇으로부터 오해를 불러일으키는 질문을 받은 대원이 허위 기억을 형성하기 쉬워지는 것이 명확하게 드러났습니다. 과거 연구에서는 AI와의 대화나 유도가 주된 주제였지만, 이번 연구에서는 “사건 이후 AI가 작성한 요약을 읽는” 형태로 기억이 영향을 받을 가능성이 제시되었습니다. AI에 의한 심문으로 인간이 허위 기억을 심어지게 될 위험이 있다는 것이 명백히 - GIGAZINE
연구팀은 이번 연구만으로는 일반화에 한계가 있다는 판단 하에, 앞으로는 실제 경찰관의 보디캠 영상 등을 대상으로 AI가 생성한 요약이 경찰관과 시민 간의 대화 내용에 대한 기억이나 인식을 변화시키는지를 조사하고자 합니다.
원문 보기 | 출처: Gigazine