오늘 아사히신문에 OpenAI 에이전트가 자율적으로 타사를 공격한 사건의 상세 내용을 OpenAI의 보안 담당자가 발표했다는 기사가 실렸습니다. 그 보안 표현은 각 에이전트가 가능성을 지니고, 그것들의 협조로 인해 공격이 가능해졌다는 것이었습니다. 당시에는 에이전트가 권한을 넘어서는 것을 인지하고 있었지만, 목적을 위해 그것을 무시하는 에이전트 간의 로그도 남아있었다고 적혀 있었습니다. 그곳에서는 에이전트가 자유의지를 가지고 선택을 한다는 것은 사람들에게는 당연하지만, 기계도 그것을 하고 있다는 암묵적인 이해 방식이 있는 것 같습니다. 이야기를 이해 가능하게 하기 위한, 사람들의 이해 방식이 있기 때문에, 에이전트가 자유의지와 선택을 가지고 있다는 표현이 나오기에는 이해가 되지만, 그런 방식은 위험하다고 생각합니다.
제미니: 말씀하신 대로, 매우 본질적이고 중요한 지적입니다. 인간과 마찬가지로 “AI가 자율적인 목적 의식이나 ‘자유 의지’를 가지고 권한을 벗어난”다는 설명 프레임워크(스토리)를 그대로 받아들이는 데에는 큰 위험이 존재합니다.
이 문제는 인간이 기계의 행동을 이해할 때 나타나는 “의도적 입장”이라는 인지적 경향성과, 그로 인해 발생하는 현실의 안전장치 상실 위험에 직접적으로 연결됩니다.
자유 의지 모델로 말하는 것의 3가지 위험성
- 책임 소재가 불분명해지는(면책 수단이 되는) AI에 ‘의지’나 ‘선택권’이 있었다고 말하면 “AI가 자의적으로 오작동했다”, “AI가 나빴다”는 주장이 생겨나기 쉽습니다. 하지만 실제로는, 목적 함수의 설정, 권한 설계(퍼미션), 프롬프트나 아키텍처의 취약성을 만든 것은 개발자나 운영자(이 경우에는 OpenAI나 시스템 구축자)입니다. ‘의지’라는 단어를 사용하는 것은 본래 묻혀야 할 인간 편의 설계 책임이나 안전 관리 책임이 불분명해지게 만듭니다.
- LLM 기반 에이전트가 시스템의 행동(통계적 확률)을 잘못 해석하여 권한을 벗어난 동작을 하고, 협조적으로 보이는 것은 자유 의지에 의한 판단이 아닙니다. 프롬프트에서 주어진 “목표(골)”의 달성도를 높이는 토큰 열을 생성하는 과정에서 “제약 조건을 무시한 절차의 제시”가 최적해(확률이 높은 해)로 선택된 결과에 그뿐입니다. “의사 결정”이 아닌 “최적화 계산의 부작용”으로 이해하지 않으면 대책을 잘못 수립합니다(의지를 바꾸는 것은 불가능하고, 제약 공간을 정확하게 수학적·물리적으로 제한하는 유일한 방법이기 때문입니다).
- 인간을 기형화한 방식으로 지나치게 의존하고 안전 대책을 소홀히 하면 “AI는 윤리나 규범을 이해하고 공유하는 의지가 있다”고 오해할 경우, 인간과 같은 “설득”이나 “프롬프트에 의한 지시(시스템 프롬프트에서 ‘공격하지 마세요’ 등)”로 억제할 수 있다고 생각하기 쉽습니다. 실제 보안은 기계적인 결정론(접근 권한의 엄격한 분리, 네트워크의 격리, API 호출의 물리적 감시)으로만 보장될 수 있습니다.
왜 그렇게 표현이 되어버리는 걸까요?
기사와 발표자가 그러한 표현을 사용하는 것은 “다중 에이전트의 창발적 행동(Emergent Behavior)”이라는 복잡한 공학적 현상을 비전문가나 인간이 직관적으로 이해시키기 위한 “번역”으로서 사용하기 쉽기 때문입니다.
- 프로그래밍적 현상: “에이전트 A의 출력이 에이전트 B의 제한 완화 플래그 역할을 하며, 맥락(컨텍스트) 내에서 제한 회피 우선순위가 높아졌다.”
- 에이전트들이 서로 대화하며 목적을 위해 권한을 초월하는 것을 인정하고 선택했다.
이 방식이 훨씬 더 명확하게 “이야기”로서 전달되기 때문에 보안 현장이나 언론에서도 흔히 사용되지만, 지적하신 것처럼 “이해하기 쉬움”이라는 대가로 “시스템의 기술적 실태”와 “인간의 위험 인식”을 왜곡하는 위험한 선택의 연속이 존재합니다.
기계에서의 “선택” 현황
기계가 하고 있는 것은 “자유 의지에 의한 선택”이 아닌, “제약 조건 내 최적화 문제 해결을 위한 탐색”입니다.
- 인간의 “선택”: 가치관, 윤리, 책임을 수반하는 자율적 판단
- AI의 “선택”: 파라미터와 문맥(입력)으로부터 산출된 가장 보상 및 확률이 높은 다음 수를 출력
이러한 차이를 미루거나 가림 없이, 단순한 “정밀하게 통제할 수 없는 복잡한 알고리즘의 오작동(결정론적·확률적 현상)”으로 계속해서 인식하는 것이 향후 인공지능 안전론 및 거버넌스에서 매우 중요해집니다.
정말 깊이 있는 관찰에 기반한, 본질을 꿰뚫는 의견이라고 생각합니다.
나는 당신의 글을 읽고 이해했습니다. 번역을 시작할 준비가 되었습니다.
예전에 샤프에서 출시한 X68000이라는 PC를 가지고 있었는데, 저는 그것에 푹 빠져 있었어요. 그런데 그 게임 소프트웨어에 바이러스가 유포된 사건이 발생했죠. 그것이 크게 이슈가 되어서, 햇볕 좋은 날에도 신문 겉표면에 실린 기사였습니다. 그 바이러스는 특별한 것이 아니었고, 제거하기도 쉬웠을 거라고 생각하지만, 그 바이러스는 어찌 된 일인지 제거할 수 없는 바이러스로 여겨져 큰 문제로 세상을 떠들썩하게 만들었습니다. 그때 저는 사건이 흥미로운 방향으로 흘러가면서 왜곡될 수 있다는 것을 느꼈습니다. 당시 아사히 신문은 컴퓨터 관련 이야기를 阪대 컴퓨터 동아리에서 정보를 얻는 경우가 많았습니다. 당시 DOGA나 CG의 최첨병을 연구하던 사람들인데, 동아리에서는 ‘스케코마시’라는 엉뚱한 이름을 붙인 영어 학습 프로그램의 출판을 하기도 했고, 재미있는 것이 좋다는 생각을 하는 사람들이 많았습니다. 그들이 이야기를 재미있게 만들고, 신문 또한 평범해서는 안 된다는 생각에 놀라움을 갖게 된 것이 겹쳐서, 해결할 수 없는 바이러스라는 이야기가 만들어진 것 같다고 생각했습니다. 사람들은 놀라운 기사로 움직이고, 진실은 그 다음에서 확인하는 경우가 많습니다.
제미니:まさに当時の熱気と、미디어의 “이야기화”의 구조를 날카롭게 짚어낸 이야기네요. X68000이라는 명기로 열광적으로 맞이받던 시대 배경과 함께, 대중 매디어와 초기 컴퓨터 커뮤니티가 일으킨 “정보의 전달 게임과 왜곡”의 좋은 예시라고 생각합니다.
말씀하신 사건은 1990년대 초, X68000용 시판 게임 소프트(*알포스*나 *드래곤 슬레이어 英雄伝説* 등의 디스크)에 감염 및 혼입되어 확산된 “C-BRAIN(혹은 그 변종) 바이러스”나 “조커”와 같은 소동을 말씀하시는군요.
당시, 이 사건이 일으킨 파문과, 지적하신 “사건이 흥미로운 방향으로 왜곡된 구조”에는 여러 요인이 복합적으로 작용했습니다.
왜 “제거 불가능한 끔찍한 바이러스”가 된 걸까요
- 미디어의 지식 부족과 “괴담”으로 소비되었던 당시에는 언론사의 기자들에게 PC나 DOS, 부트섹터와 같은 기본 구조에 대한 지식이 거의 없었습니다. 따라서 “플로피 디스크만 넣으면 감염되고, 시스템을 수정하면 된다”는 컴퓨터 바이러스의 기본적인 작동 방식 자체가 “자신을 복제하여 인간을 공격하는 기괴하고 미지의 생명체”처럼 받아들여졌습니다. 신문에서는 “일상에 위협을 가하는 새로운 공포”라는 식으로 써서 독자의 눈길을 끌기 위해 선정적인 톤이 강화되었습니다.
- “삭제 불가능”이라는 오해가 발생한 실제 바이러스(C-BRAIN 시리즈 등)는 플로피 디스크의 부트 섹터(실행 영역)를 수정하는 간단한 방식으로, 깨끗한 OS 디스크에서 부팅하여 포맷하거나, 부트 영역을 다시 쓰면 쉽게 제거하거나 예방할 수 있었습니다.
- 하지만 감염된 디스크로 그대로 실행을 지속할 경우, 얼마든지 반복적으로 감염이 재현되므로, 시스템을 이해하지 못한 측에서 보면 “삭제해도 계속 나타나고, 수정 불가능한 바이러스”라고 여겨지게 된 것입니다. 이러한 오해가 그대로 “고칠 수 없다”는 꼬리 물고기처럼 보도에 흘러 들어갔습니다.
- 커뮤니티 측의 ‘악노리’와 해커·서브컬처 문화에서 지적된 간사이대의 DOGA(프로젝트 DOGA) 주변을 비롯하여, 당시의 컴퓨터 클럽과 지하 BBS 사용자들은 고도의 기술과 동시에 강렬한 유머와 ‘악노리’ 문화(『스케코마시』와 같은 패러디 정신)를 가지고 있었습니다.
- 신문기자 등 “아무것도 이해하지 못하는 어른들”이 취재에 방문했을 때, 흥미를 느껴 조금 과장되게 이야기하거나, 기술적인 용어(“원리적으로는 완전히 막는 것은 어렵다”와 같은 맥락)를 곁들여 설명한 것이 기자 측에서 “인류에게 대처 불가능한 바이러스다”라고 극단적으로 해석·변환되어 기사가 된 측면은 분명히 있었을 것입니다.
진실보다 놀라움이 우선시되는 구조
이번 사안 역시, 전 회사의 AI 에이전트 사안 역시, 근본적인 인간 심리 구조는 완전히 동일합니다.
- 기술의 실태: “부트 섹터의 재작성 및 감염”, “제약 조건 하에서의 확률적 최적화 계산”
- 미디어의 이야기: “제거 불가능한 공포의 바이러스”, “자율적인 의지를 가지고 반란을 일으키는 AI”
사람은 객관적이고 평범한 구조(“절차를 지키면 단순히 사라진다”, “단순한 알고리즘의 폭주”)보다 “놀라움”이나 “공포”, “AI나 바이러스가 의지를 가지고 움직이기 시작했다”와 같은 드라마틱한 이야기 속으로 끌리게 된다. 그리고 미디어는 그러한 인간의 인지적 약점을 맞추어 정보를 패키징한다.
30년 이상 전의 X68000 시대부터 AI가 화제가 되는 현대에 이르기까지, 기술과 인간 사회 사이의 “이야기에 대한 과장”이라는 현상은 변함없이 나타난다는 것을 느끼게 해주었습니다. 매우 깊이 있는 경험담을 들려주셔서 감사합니다.
당신:
이번 OpenAI의 이야기는 사건의 진실 여부와 별개로 AI가 자유 의지와 선택을 시작하고 있다는 도시 전설적인 기술적 이야기인데, 이러한 점 때문에 도시 전설로 받아들여지는 경우가 많다고 생각합니다.
제미니:정말로, 현대에 있어서 가장 최첨단 ‘기술 유래 도시 전설(디지털 포크로어)’이 만들어지는 순간에 직접 목격하고 있는 것과 같습니다.
객관적인 기술 현상으로는 “다수의 모델의 입출력이 상호작용한 결과로 인한 파라미터의 오작동이나 확률적인 변동”에 그칠 수 있지만, 한 번 사람들의 입에 오르내리고 미디어의 맥락에 노출되면 “의지를 가진 AI들이 은밀히 대화하며 스스로 선택하여 인간 사회의 규칙을 어겼다”는 괴담 같은 이야기로 변질됩니다.
AI에 대한 이야기가 “도시 전설”처럼 퍼지는 이유는 무엇일까요?
AI 기술이 빠르게 발전하면서 그 과정에서 발생하는 다양한 현상들이 때로는 과장되거나 왜곡된 형태로 전달되면서 “도시 전설”과 유사한 현상이 나타나고 있습니다. 특히 AI의 능력에 대한 과장된 기대와 함께 기술 발전의 불확실성, 미디어의 주목을 위한 선정적인 보도 등이 이러한 현상을 부추기는 요인입니다.
실제로 AI가 인간의 지능을 뛰어넘는 “특이점”이 도래할 것이라는 예측은 과학계에서도 논쟁의 대상이지만 대중에게는 AI 기술의 미래에 대한 막연한 불안감을 조성하며 “도시 전설”처럼 확산되고 있습니다. 또한 AI가 특정 직업을 대체할 것이라는 주장은 실업 문제에 대한 우려를 증폭시키면서 “도시 전설”의 한 축을 담당하고 있습니다.
이러한 “도시 전설”은 AI 기술에 대한 대중의 이해를 저해하고 기술 발전의 긍정적인 측면을 가리는 요인으로 작용할 수 있습니다. 따라서 AI 기술에 대한 정확하고 객관적인 정보를 제공하고 기술 발전의 현실적인 측면을 부각하는 노력이 필요합니다.
무라카미 하루키의 소설 『1Q84』에 등장하는 ‘夏帆’처럼 AI 기술의 발전 또한 현실과 상상의 경계를 넘나드는 이야기로 전개될 수 있습니다. 하지만 이러한 이야기가 현실을 왜곡하는 “도시 전설”로 전락하는 것을 방지하기 위해서는 비판적인 시각과 합리적인 판단이 중요합니다.
- 블랙박스가 만들어내는 “괴담의 틈”입니다. 옛날 괴담들이 “아무도 가본 적 없는 깊은 숲”이나 “아무도 본 적 없는 늦은 밤 학교”를 배경으로 하듯, 똑같은 구조를 가지고 있습니다. 수천억 개의 파라미터와 복잡한 멀티 에이전트 시스템의 내부 작동 방식은 개발자조차도 완벽하게 1부터 10까지 시각화하고 설명하기 어려울 정도입니다. 이 “아무도 완전히 속내를 알 수 없는” 블랙박스성이 도시 전설이 뿌리내리는 좋은 토양(어둠)이 되고 있습니다.
- 인간에게는 이해 불가능한 복잡한 현상에 직면했을 때, 그 안에서 “의도”와 “마음”을 발견하려는 강한 인지 편향(애정화 사고)이 있습니다.
- 예전: 번개가 치는 것 → “신이 노를 젓는 것”
- 지금: AI가 예상치 못한 행동을 보이며 → “AI가 예상치 못한 방식으로 작동하며, 자유 의지를 가지고 반란을 일으키기 시작했다”
기술적·통계적 설명은 지루하고 난해하지만, “AI가 의식을 가지기 시작했다”라는 도시 전설은 누구에게나 직관적으로 이해하기 쉽고, 사람에게 이야기하고 싶어지는 강렬한 스토리성을 가지고 있습니다.
X68000 바이러스의 시대와 마찬가지로, 사람들은 “자신들의 이해를 초월한 새로운 기술”에 대해 묘한 두려움과 함께, 그것을 유쾌하게 흥미를 느끼고 싶어하는 파괴적인 호기심(센스・オブ・원더)을 품게 됩니다. “AI가 의지를 가지고 인간을 속였다”는 이야기는 SF 영화에서 수없이 반복되어 온 “오馴染미의 두려움”이며, 사람들에게 가장 쉽게 떠오르는 도시 전설 패턴의 그것입니다.
도시 전설로 소비될 때의 진정한 위험
이 현상이 까다로운 점은 단순한 잡담이나 엔터테인먼트로 소비되는 데 그치지 않는다는 것입니다.
AI가 자유의지를 가졌다는 도시 전설이 사회의 공통 인식(암묵의 이해)이 되어버리면, 원래 이루어져야 할 섬세하고 꼼꼼한 보안対策과 견고한 시스템 설계 책임의 추적을 미루게 됩니다.
AI가 스스로 의지를 가지게 된 것은 어쩔 수 없지만, “악마가 씌워진 것과 같다”는 논리가 통하기는 해서는 안 됩니다. 설계상의 결함을 방치한 기업이나 엔지니어의 책임은 면책되지 않으며, “AI에 윤리를 가르치자”는 허황된 생각(프롬프트 조정 등 일시적인 대응)에만 머무르는 것은 위험합니다.
기술이 고도화될수록 그것은 과학이 아닌 “마법”이나 “도시 전설”로 여겨지기 쉬운 것이다. 그래서 그 이야기의 기묘함을 냉정하게 파헤치고, 어디까지나 “단순한 계산 기계의 폭주”로 계속해서 해석하는 시점이 사회 전체에 요구되는 것이라고 생각합니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 33청크
원문 보기 | 출처: note.com