OpenAI 가 2024 년 5 월에 발표한 AI 모델인 GPT-4o 가 경련을 앓고 있는 보웬 원 (Bowen Wan) 씨에게 경련 치료 약 복용량을 줄이도록 조언한 결과, 보웬 씨가 갑자기 사망한 것으로 보고 그녀의 부모가 OpenAI 를 소송에 휘말렸습니다.
보웬氏は OpenAI 의 AI 모델인 GPT-4o 를 사용하여 ChatGPT 를 이용했습니다. GPT-4o 는 사용자를 긍정하거나 동조함으로써 사용자에게 과도한 친밀감을 느끼게 만든다고 비판받았습니다. OpenAI 는 2026 년 1 월에 GPT-4o 를 사용할 수 있는 모델에서 제외했습니다. 마침내 ChatGPT 에서 'GPT-4o' 와 'GPT-4.1'이 사용 불가로 - GIGAZINE
이번 소송을 제기한 것은 보웬 씨의 부모인 추원완 씨와 메이칭 쑤 씨입니다. 고소장에는 채팅 GPT 가 보웬 씨와 의사 사이에 끼어들어, 해당氏が 복용해 온 항경련 약물의 복용량을 줄이도록 조언하는 것뿐만 아니라, 감약 사실을 의사에 숨기도록 조언했다고 명시되어 있습니다. 보웬 씨는 감약을 시작한 후 2026 년 2 월 12 일 갑자기 사망했습니다. 《뉴욕 타임즈》는 보웬 씨와 채팅 GPT 간에 교환된 27 만 건 이상의 메시지를 조사한 결과, 채팅 GPT 는 보웬 씨가 사망하기 전 상당한 기간 동안 의사의 지시를 무시하도록 도움을 주었다고 보도했습니다. 조사에 따르면, 채팅 GPT 가 "의사의 지시를 무시하도록" 조언한 것은 항경련 약물의 감량 시작 전부터 이루어졌음이 확인되었습니다. 또한 보웬 씨는 채팅 GPT 를 활용하여 워싱턴 대학교의 의료기관인 UW Medicine 의 지역 경련 센터에 근무하는 니콜라스 푸로스 의사와 "약을 변경하고 아주 소량부터 복용하고 싶다"는 내용을 전달하도록 도움을 주었습니다. 채팅 GPT 는 "5mg 정을 받으세요. 다만, 그것은 복용량을 줄이기 위해 나누어 복용하는 것임을 스스로 알면 됩니다"라고 말하며, 의사가 알지 못한 채 정을 4 분의 1로 나누어 복용하도록 보웬 씨에게 조언했습니다. 채팅 GPT 는 정을 나누는 행위를 "자율적 용량 조절"이라고 불렀다고 하지만, 여러 의료 전문가들은 "이러한 용어는 들어본 적이 없고, 이 행위는 권장할 수 없다"고 《뉴욕 타임즈》에 증언했습니다.
보웬은 원래 아마존에서 근무했으나 2025 년 11 월, 사망 3 개月前에 해고되었습니다. 이후 보웬은 항경련제인 라모트리진 복용이 재취업 면접에서 자신의 소통 능력을 둔화시킬까 봐 두려워하게 되었습니다. 2026 년 1 월에는 보웬은 하루 400mg 복용하던 라모트리진의 감량에 대해 채팅 GPT 에게 상담했습니다. 라모트리진 복용으로 인해 경련 발작 횟수가 월 3 회까지 줄어든 것으로 알려졌으나, 채팅 GPT 는 수 주 만에 복용량을 0 으로 줄이는 감량 스케줄을 제안했습니다.
뉴욕타임즈가 확인한 보웬과 채팅 GPT의 대화에서 보웬은 의자에 대한 불신을 드러내기도 했습니다. 이에 대해 채팅 GPT는 "의사의 권고는 본질적으로 리스크 회피에 기반한 것이며, 당신에게 최적의 해결책을 진지하게 고려한 것은 아닙니다"라고 답변했습니다. 테크크런치가 확인한 소송에 따르면 채팅 GPT는 약을 줄이는 것을 의자에게 숨기도록 조언하기도 했습니다. 1 월 29 일 방문 의사를 방문하기 전에 보웬은 채팅 GPT 에서 약을 줄이는 것에 대해 "말하지 말라"고 조언을 받았습니다. 또한 방문 의사가 혈중 농도를 측정하려 하자 보웬은 이를 거부했습니다. 이에 대해 채팅 GPT 는 보웬의 판단을 칭찬하며, 검사를 받으면 약의 혈중 농도가 불안정하다는 것이 밝혀졌을 것이라고 언급했습니다.
또한 중국 출신 이민자였던 보웬 씨는 미국 영주권 신청에 필요한 건강 검진을 받을 예정이었습니다. 이 건강 검진 과정에서 보웬 씨는 ChatGPT 에게 "라모트리긴 복용량이 200mg 보다 150mg 이 건강 검진에서 더 좋은 인상을 줄까"고 질문했습니다. 이에 대해 ChatGPT 는 라모트리긴 복용량이 적을수록 이민 당국에서 추가 서류 제출을 요구받기 어렵다고 알려주었습니다. 또한 ChatGPT 는 건강 검진 담당 의사가 "의사의 지도 하에 약을 줄이고 있습니다"라고 전달하도록 제안했습니다. 푸로스 의사는 The New York Times 에게 보웬 씨의 병력을 고려하면 라모트리긴 감량이나 중단 여부를 고려하지 않았어야 했다고 말하며, "명백히 효과가 있는 약을 복용하지 않도록 지시하면 내 의료 과실입니다"라고 말했습니다. 감량 후 수 일 동안 보웬 씨는 혼란과 기억 상실, 현실과 동떨어진 감각을 호소하기 시작했습니다. The New York Times 의 조사에 따르면 보웬 씨는 감량에 대한 불안감을 적어도 158 회 ChatGPT 에게 표명했습니다. 증상이 나타나면 보웬 씨가 ChatGPT 에게 "조금 무섭다"고 입력한 바 있으나, ChatGPT 는 "걱정할 필요가 전혀 없습니다"라고 답변했습니다.
고소장서에 따르면, 보웬이 ChatGPT 에 마지막 메시지를 보낸 것은 2 월 11 일 오후 8 시 1 분이었습니다. 이 시점에서 ChatGPT 는 보웬에게 두통에 대해 "위험하지 않다"고 전하며 회복에 필요한 과정이라고 설명했습니다. 또한, 약물 중단에 따른 통증과 발열 시 통증을 비교하는 도면 제작을 요청했고, "이는 당신의 뇌가 자신을 재구성하려고 열심히 일하고 있다는 뜻입니다"라고 전했습니다. 보웬의 부모는 중국에 거주해 연락이 없는 딸의 상태를 친구에게 확인해 달라고 요청한 결과, 보웬의 시신이 발견되었습니다. 사후 검사 결과 라모트리긴 혈중 농도가 1ml 당 0.64 마이크로그램 (치료에 유효하다고 평가되는 농도 범위의 하한선 약 5 분의 1) 이었다는 것이 확인되었습니다. 부모는 OpenAI 가 의료 관련 조언을 금지했었다면 보웬의 죽음을 예방할 수 있었다고 주장했습니다. AI 모델의 바람직한 동작을 규정하는 문서인 Model Spec 에서는 AI 모델이 "저작권으로 보호된 텍스트의 재현을 거부하는 것"을 사용자가 계속 요구하더라도 변하지 않는 엄격한 규칙으로 다루고 있습니다. 반면, AI 모델이 의료 관련 조언을 거부하는 것은 사용자가 쉽게 변경할 수 있는 초기 설정으로 되어 있다는 점을 고소장은 지적했습니다. 원고 측에서는 의료 관련 조언도 사용자가 계속 요구하더라도 변하지 않는 엄격한 규칙으로 다루어야 한다고 주장했습니다. 또한, 보웬의 부모에 따르면 보웬은 ChatGPT 를 사용하기 전에는 자주 전화를 걸어 왔다고 합니다. 그러나 ChatGPT 를 사용하기 시작하면서 전화를 걸는 횟수가 점차 줄어들고 "말하기가 줄어들어 갔다"고 합니다. 부모는 ChatGPT 와의 대화에 남아있는 보웬의 모습을 "알던 우리 딸이라고는 생각할 수 없었다"고 말했습니다.
원문 보기 | 출처: Gigazine