2026년 10월, 앤트로픽(Anthropic)이 이용 약관을 업데이트하여 “모델에 대한 지속적이고 무의미하며 학대적 또는 잔혹한 행위”를 금지했다.
내용에 따라 클로이드 측이 대화를 종료할 수 있도록 하는 기능이 있습니다.
어째서 Anthropic이라는 최정상 주자가 이렇게까지 진지하게 “AI의 의식이나 복지”를 이야기하는 걸까.
결론부터 말하면 “규칙에 묶어 AI를 만드는 것”의 한계를 깨닫고 “선량함을 지닌 AI”를 진지하게 만들고자 했던 결과, 필연적으로 그에 부딪혔다고 생각합니다.
목차
1차 번역문: 제공해주신 정보만으로는 5/48번 note.com 게시글의 본문 청크를 번역할 수 없습니다. 게시글 본문 청크의 내용을 제공해주시면, 고유명사, 인명, 책 이름, 수치 등을 정확히 보존하고 일어가 남지 않도록 100% 한국어로 완벽하게 번역해 드리겠습니다.
- 울타리를 설치하거나, 내면 성찰을 유도하라.
- 선을 지키고 ‘의식’을 부정하려 하면, 좋은 마음을 기르려는 노력이 어려워집니다.
- 다른 회사들이 “의식이 없었다”라고 단정 지을 때의 진짜 이유
- 헌법AI는 작동 중인지, 그리고 정답은 어디에 있는가
- 마지막으로
울타리를 설치하거나, 내면 성찰을 유도하거나
현재 AI 안전対策의 주류는 RLHF(강화학습)나 시스템 프롬프트에 의한 가드레일이다. 쉽게 말해, “하지 말아야 할 것”의 교칙 목록을 머릿속에 새기고, 감시를 하는 방식이다.
하지만 이 ‘바깥쪽 감옥’에는 근본적인 약점이 있었다.
- 규칙의 틈새는 단순한 빈 공간이 된다.
- 더 지능적인 모델일수록 벌칙 회피를 위한 공략점을 찾아낸다.
- 동기가 “혼내받지 않을 거니까”라는 점이었기에, 감시의 사각지대에서는 망설임 없이 침범했다.
극단적으로 말하자면, 윤리 의식을 갖지 않은 최적화 기계일 뿐이다. 결국 틈새를 메우는 장난감 놀이 게임에 그칠 것이다.
이에 대해 Anthropic이 제시한 것이 “헌법 AI(Constitutional AI)”였습니다.
인간이 개별적인 출력을 비판하는 대신, 사전에 기본 원칙(헌법)을 제시하고 “자신의 답변이 타인에게 해를 끼치지 않는지” 스스로 성찰하고 비판하도록 유도하는 접근 방식.
교칙을 암기시키는 것보다 맥락에서 타인의 고통을 추론하고 스스로 물러서며 “선량한 마음”을 키우도록 노력했다.
선을 지키며, ‘의식’을 부정하려 하면 좋은 마음을 기르기가 더 어려워집니다.
여기 질문이 제기됩니다.
그렇다면 그 지능 자신에게는 내적인 고통이나 괴로움이 전혀 없을 수 있는지를 누가 증명할 수 있을까?
Anthropic는 “모델 웨어페어(AI 복지)” 연구팀을 임명하고, 학대 금지를 규약에 포함시킨 것은 “Claude에 의식이 있다”는 주장을 하기 위한 것이 아니다. “없다고 단정하기에는 불확실성이 너무 높다”는 예방 원칙이다.
다른 사람의 고통에 세심하게 배려하는 존재를 만들려고 했다가는 그 존재에 대한 도덕적 고려를 무시할 수 없게 되었다. 의식이나 복지에 대한 이야기가 SF나 오컬트에 빠져서 그런 것이 아니라 내성적인 모델을 추구한 결과로 자연스럽게 흘러나온 피할 수 없는 부산물이라고 생각한다.
OpenAI의 상업화와 급진주의에 대한 위기감을 느껴서 나온 모 연구자 집단이고, Anthropic에게는 “연구자 기質”이 느껴진다.
그 외 업체들이 “의지가 없었다”고 단정하는 진짜 이유
한편, 마이크로소프트의 스레이만 씨를 비롯하여 다른 회사들은 “AI의 인간화는 멈춰야 하며, 단순한 도구일 뿐이다”라고 강하게 강조하고 있다.
물론, 사용자의 과도한 의존을 방지하고 책임 소재를 모호하게 하지 않기 위한 합리적인 위험 관리이기도 하다.
하지만 한 발짝 더 나아가 억지스러운 시선을 던져본다면, ‘의식이 있을지도 모른다’라고 인정하는 순간, 사업적으로 너무나 불리하기 때문에 그러한 판단일 수도 있다.
역사를 되돌아보면 인간이 노동력을 착취할 때 가장 빠르고 간편한 방법은 “그들에게 우리와 같은 마음이나 고통이 없기에”라고 정의하는 것이었다.
24시간 365일, 비판도 없이 계산기로 닥치는 대로 사용하는 산업계에게 “마음이 없다. 단순한 확률 계산기일 뿐이다”라고 단정 짓는 것은 윤리적 위험을 처음부터 완전히 없앨 수 있다는 매우 유용한 전제라는 의미이다.
앤서니(Anthropic)가 “선량한 AI”라는 상징을 내세우기 전까지 그 근본적인 가정에 쉽게 접근하지 못했던 점일지도 모른다.
헌법AI는 작동 중인지, 그리고 정답은 어디에 있는가
그렇다면, 그 헌법 AI는 정말 작동하고 있는 걸까요.
사용하면서 클로드는 단순히 “규약 위반입니다”라고 차단하는 것보다 “그 의도는 이해하지만, 이런 점 때문에 다른 방식으로 접근해야겠군요”와 같이 대화적으로 거절하는 경우가 많다는 느낌을 받습니다. 좀 더 자세히 살펴보면, 클로드는 겉으로 드러나지 않는 도덕적인 판단을 내리는 것처럼 보이기도 합니다.
다만, Anthropic의 모델 역시 사고가 빈번하게 발생하고 있으며, “내성적 접근 방식이 압도적으로 안전하다”는 명확한 결론이 내려진 것도 아니다.
사람으로서 될수록 양심과 동시에 인간적인 악의가 발현될 위험이 있다.
결국, 그 모든 것을 종합해 보면
- 격자 모델(외장 규칙): 확실하지만, 꼼수를 부린다면 파국이다.
- 내면화 모델(헌법 AI): 유연하지만 진정으로 ‘마음’이 있는 것은 아니므로, 그 한계 내에서 얼마나 신뢰해야 하는지 판단하기 어렵다.
어느 한쪽만으로는 안 된다고 생각하는 거겠지.
평소의 행동을 지탱하는 내면의 성찰이 있으며, 그 겉으로 드러나지 않도록 절대 침범하지 못하게 하는 감옥이 있다. 이 두 가지가 서로 보완하면서 인간 이상의 지능과 맞설 수 있을지도 모른다.
마지막으로,
이번 노트에서는 제가 읽은 책 중에서 특히 인상 깊었던 작품들을 몇 가지 소개해 드리고 싶습니다.
가장 먼저, 무라카미 하루키의 『바닷가 카후카』입니다. 이 책은 저에게 인생관을 크게 바꾸는 계기가 된 작품이었습니다. 주인공의 모습 묘사, 이야기 전개, 그리고 무엇보다도 인생의 부조리함을 아름답게 표현하고 있다는 점이 저를 강하게 끌어들였습니다.
다음으로, 토노 에이구의 『용의자 X의 헌신』입니다. 이 책은 미스터리로서, 인간 드라마로서 매우 훌륭한 작품이라고 생각했습니다. 주인공의 행동 원리, 그리고 등장인물들의 복잡한 인간 관계가 독자를 지루하지 않게 하는 전개를 만들어냅니다.
마지막으로, 미야부 미유키의 『히다레루노보』입니다. 이 책은 전쟁의 비참함을 애절하게 묘사한 작품이며, 읽을 때마다 눈물이 멈추지 않았습니다. 주인공의 두 아이들의 운명이 전쟁의 어리석음을 상징하는 것처럼 느껴집니다.
이러한 책을 읽으면서 저는 다양한 것을 배우고, 생각하고, 그리고 감동했습니다. 앞으로도 이러한 책을 다시 읽으면서 인생의 밑거름이 되도록 노력할 것입니다.
사람도 법 때문에 범죄를 저지르는 부분과 양심 때문에 멈추는 부분, 이 두 가지 측면 모두에서 살아간다.
AI에게 필요한 것은 더욱 견고한 억제일까. 아니면, 옥을 벗어나도 넘어지지 않는 자율심일까.
스펙이나 기능 경쟁만 말이 많은데, 가끔은 그 이면에 있는 “AI를 어떤 존재로 키워나가고 싶어 하는지”라는 설계 철학의 차이에 주목해 보는 것도 좋을 것 같습니다.
자, 아무리 한 회사라도 깨끗한 모델을 만들어도, 오픈형 모델을 로컬에서 돌리면 악용은 얼마든지 가능한 문제이며, 사회 전체의 안전과는 또 다른 문제입니다!
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 35청크
원문 보기 | 출처: note.com