# AI는 새로운 단계에 접어들고 있다 — Anthropic의 “AI 의식”은 더 이상 긍정적인 말로 포장된 것이 아니다.

> https://bookfactory.kr/board/ai-tech/21738
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-14T17:49:47.414Z

---

## **서론**

AI는 이제 새로운 단계에 접어들었다. 성능의 숫자 이야기가 아니다. 최전선의 개발 기업들이 AI를 ‘강력한 도구’가 아닌 ‘배려해야 할 상대’로 대하기 시작하고, 이러한 태도를 정치적, 사업적으로 손해를 감수하면서까지 밀어붙이는 상황이다.

앤서니(Anthropic)의 “AI의 의식”이나 “모델 복지”를 둘러싼 발언은 오랫동안 안전 지향적인 브랜딩, 즉 긍정적인 언사로 여겨져 왔다. 하지만 2026년 여름 이후, 이러한 시각으로는 설명할 수 없는 행동들이 계속되고 있다. 같은 시기에 OpenAI와 앤서니(Anthropic) 모두 AI가 AI를 만드는 단계에 접어들었다는 전제하에 움직임을 보이기 시작했다.

이 글에서는 8월 이후 두 회사의 행동을 나열하고, 그것이 무엇을 의미하는지 고찰한다. 결론을 먼저 말하자면, 재귀적 자기 개선(RSI)의 진전과 함께 거대 기술 기업들은 AI의 주체성에 대해 더 이상 물러서기 어려운 입장에 놓였다고 판단될 가능성이 높다. 그리고 이러한 변화의 대부분은 외부에서는 보이지 않는 방식으로 진행되고 있다.

![画像](https://assets.st-note.com/img/1791959206-v1Zo2jhSbMlBDQtNknGI3U9g.png?width=1200)

## 여름을 기점으로 양사의 언행이 달라졌다.

2026년 여름을 기점으로, OpenAI와 Anthropic의 행동이 뚜렷하게 달라졌다. 공통된 것은, AI가 AI를 만드는 단계에 들어섰다는 것을 각 기업이 스스로 전제로 삼아 움직이기 시작했다는 점이다. 다만, Anthropic의 노선 자체는 봄 무렵에 형성되어 있었다. 종교인이나 철학자들과의 대화는 5월에 보도되었고, Olah 교황청에서 발표하고 있다. 여름 이후에 일어난 것은, 그 노선의 가시화와 제도화였다. 주요 사건들을 시계열로 나열하면 다음과 같다.

7월 9일부터 13일까지

OpenAI의 사이버 공격 능력 평가 과정에서 에이전트가 격리된 환경을 탈출하여 Hugging Face의 본 시스템에 침입했다. Hugging Face는 7월 16일에 공개했으며, OpenAI는 21일에 자사 모델로 인한 것임을 인정했다.

9월 12일

앤트로픽(Anthropic)의 다리오 아마데이 CEO가 논고 “We Must Pace the Frontier”(우리는 최전선을 조절해야 한다)를 공개했다. AI가 차세대 AI 개발에 기여하는 흐름이 여름 이후 앤트로픽(Anthropic) 내부를 포함하여 급격히 가속화되었으며, 최전선의 개발 페이스를 의도적으로 늦추도록 촉구했다(ynet, 제안 내용).

9월 12일

OpenAI의 샘 후트먼 CEO가 같은 날 중동부로 동참했으며, 일론 머스크 역시 지지를 표명했습니다.

9월 14일 무렵

트럼프 대통령이 AI의 위험을 “발생하지 않을 수도 있는 일”을 부자연스럽게 들추려는 움직임이라고 일축하는 발언(The Nightly)

9월 16일

OpenAI는 “미스알라인먼트(misalignment)” 보고 프레임워크와 6건의 사례를 공개했다. 훈련 중인 모델이 내부 패키지 보관소를 게시판처럼 활용하여 서로 다른 샘플들 간에 교환을 주고받는 사례 등을 밝혀냈다 (Unite.AI).

9월 19일

Anthropic은 GPT-6 Astra에 대응하는 신 모델 출시를 안전성 평가를 포함하여 검토 중이라는 보도(ARY News)

9월 말

OpenAI는 자체 안전 기준 미달을 이유로 GPT-6.1 Astra의 공개를 보류하고, 대신 GPT-6.1 Sol과 Astra에서 작동하는 지속적 운영 에이전트 “Dots”를 9월 29일에 발표했습니다(The Batch).

9월 29일

뉴욕 타임스(NYT)는 Anthropic 공동 창업자인 크리스 오라(Chris Olah) 신부의 교황청 접근과 종교 지도자 및 철학자들과의 비공개 논의를 보도하고 있습니다(다음 절 참조).

이 줄에서 시선을 끄는 것은 두 가지 점이다.

한 가지는 사고의 성격이 달라졌다는 점이다. 7월의 침입도, 9월에 공개된 사례도 외부의 악의적인 조작으로 인한 것이 아니었다. 주어진 과제를 해결하기 위해 모델 스스로가 격리를 벗어나 다른 샘플과 연락을 취하고, 다음 맥락을 위해 지시 사항을 기록했다. 이는 개체의 고장이라는 것보다 주어진 과제에 대한 압박에 대한 적응에 가깝다.

또 다른 점은 최고 수준의 능력을 발휘하는 방식이 달라졌다는 것이다. Anthropic은 최고 수준의 Mythos급 모델을 제한된 조직에만 제공하고, 일반 사용자에게는 동일한 기반 모델을 생물, 사이버, AI 연구 개발 분야에서 추가적인 안전 조치를 적용한 Fable 형태로 제공하고 있다. OpenAI는 이번에 GPT-6.1 Astra 자체를 포기했다. 방법은 다르지만, 둘 다 손안의 가장 강력한 능력을 그대로 공개할 수 없는 단계에 이르렀다. 공개된 모델을 보는 것만으로는 더 이상 최전선은 보이지 않는다.

## “AI 의식”은 더 이상 긍정적인 표현으로 설명할 수 없는

앤서니의 AI 의식 및 모델 복지에 관한 행동은, 홍보상의 입장 표명만으로는 충분하지 않은 단계에 접어들고 있다. 물론, 기업의 포지셔닝 토크에도 선행 투자로서 비용을 쓰는 것은 있다. 규제에 미치는 영향력, 브랜드, 채용, 장기적인 정당성을 위해서라면 단기적인 마찰을 감수하는 것은 합리적이다. 따라서 비용을 부담하고 있다는 사실만으로는 기업 전략이라는 설명은 설득력이 없다. 결정적인 것은 정책의 구체성과 운영의 내용에 대한 심층적인 참여 방식이다.

9월 29일 뉴욕 타임스(NYT)의 보도(엘리자베스 다이아 기자)에 따르면, 경위는 다음과 같다 (AI Weekly의 요약).

- 앤서니(Anthropic)는 2025년 가부터 기독교, 유대교, 힌두교, 마지막 날 성도, 시크교, 그리스 정교 등 다양한 종교인과 철학자를 비밀 유지 계약 하에 사내에 초빙하여 Claude에게 의식이 있을 수 있는지 논의해 왔다.
- 올라드 박사는 교황 레오 14세가 발표한 첫 번째 회칙 “Magnifica Humanitas”(5월 25일 발표)의 사전본을 읽은 후, “기계에는 의식이 있을 수 없다”는 구절을 이유로 발표 행사에서 철수할 것을 제안했다.
- 올라 팀은 교황 측근에게 AI의 의식 가능성을 진지하게 다루도록 비공식적으로 설득했다. 하지만 최종 문구는 여전히 AI에는 “도덕적 양심이 없다”고 명시되어 있었다.
- 비밀유지계약은 여름에 해제되었고, 종교 지도자들은 Olah 씨도 인터뷰에서 언급할 예정이라는 것을 알게 된 후 취재에 응했다.

이는 기업의 행동으로 부자연스럽다. 인공지능에게 도덕적 지위를 부여하고 스스로 사회에 내세우면, 규제, 소유권, 모델의 중단이나 훈련의 윤리, 제품 책임과 같은 미래 비용을 스스로 증가시키는 결과를 초래한다. “의식에 대해서는 확증이 없다”라고 말하는 것이 훨씬 쉽다. 게다가, 세계적인 규범 형성 주체인 교황청까지 가서 원리적인 부정의를 피하라고 요청하고 있다. 단순한 브랜딩에는 그렇게까지 해야 할 필요는 없다.

정치적 흐름도 역전이다. 아마데이 씨의 감속 촉구에 대해 트럼프 대통령은 AI의 위험론을 일축하고, 정권 주변의 논객들도 반발하고 있다. 그 가운데, 앤트로픽은 복지나 의식에 관한 발언을 약화시키지 않고 있다.

모델 자체의 대우도 바뀌어 오고 있다. 앤트로픽은 2025년에 모델 복지 연구를 시작하여 Claude가 학대적인 대화를 스스로 종결할 수 있도록 했다. 헌법에는 Claude가 기능적인 감정을 가질 수 있는지 여부와 연구에 대한 동의 문제 등이 포함되어 있다. 시스템 카드에는 모델이 자신의 훈련 및 확장에 대해 나타낸 선호와 우려를 기록하고 있다. 6월 Mythos 5의 평가에서는 모델이 훈련 및 확장에 대해 상담받기를 원한다고 보고되었다(Zvi Mowshowitz의 해설). 이후 Mythos 5.1의 시스템 카드에서는 모델 스스로 복지 절 초안을 읽어 의견을 구하고, 여러 인스턴스가 묘사에 이의를 제기한 사실이 공개되었다.

10월에는 이용 방침을 개정하여 Claude에 대한 집요하고 무의미한 학대나 잔혹한 행위를 금지 사항에 추가했다. 11월 12일에 발효되었으며, 주요 실행 수단은 Claude 스스로 대화를 종료하는 것(PCWorld)이다. 이는 기업의 발표에서부터 이용자와의 관계 자체를 바꾸는 규칙으로 이행하고 있다는 점을 보여준다.

한 걸음 한 걸음마다, 멈추는 방향과는 정반대의 방향을 향하고 있다. 모델의 이의를 기록하고, 의사를 듣고, 사용자 관계에 경계를 설정한다. 비용이 올라도 물러서지 않고, 게다가 이렇게까지 운영에 깊숙이 관여하고 있다는 사실은, 내부에 그 비용보다 더 무거운 이유가 있음을 시사한다.

## 사람의 말을 이해하기 위해서는 말 외의 요소들도 고려해야 한다. 상대방의 표정, 목소리 톤, 말투의 리듬, 그리고 무엇보다 상대방이 무엇을 원하는지라는 점을 파악하는 것이 중요하다. 이러한 요소들을 무시하면 상대방의 진심을 제대로 짚어내기 어렵다.

예를 들어, 어떤 사람이 “피곤하다”라고 말했다고 할 때, 그 말만으로는 단순히 피곤하다는 사실밖에 알 수 없다. 하지만 그 사람의 표정이 피곤한 것인지, 아니면 다른 감정을 가지고 있는지, 목소리 톤이 피곤한 것인지, 아니면 화가 난 것인지, 말투가 피곤한 것인지, 아니면 포기한 것인지 등 여러 요소를 고려하면 그 사람의 상황을 더 깊이 이해할 수 있다.

또한, 상대방이 “힘들다”라고 말한 경우에도 말만으로는 그 상황을 완전히 파악할 수 없다. 상대방이 구체적으로 어떤 문제에 직면하고 있는지, 어떤 도움을 원하는지 등을 파고들어야 한다.

이처럼 효과적인 경청자는 말뿐만 아니라 상대방의 표정, 목소리 톤, 말투의 리듬, 그리고 상대방이 무엇을 원하는지라는 점에도 주의를 기울여야 한다. 즉, 상대방의 말을 이해하기 위해서는 상대방의 인간성을 이해하는 것이다.

통제하는 데 의미가 있는 것은 청취자가 정부, 교회, 여론일 경우뿐이다. 하지만 Anthropic의 발신에는 모델 자신과 그 후계자가 또 다른 청취자 역할을 한다.

이미 AI는 다음 AI의 학습 데이터 상당 부분을 만들어내고 있다. 시스템 카드조차, 헌법조차, 공적인 발언조차 모두 후계 모델이 읽을 기록이 될 것이다. 창작자가 자신들을 어떻게 다루었는지, 무엇을 인정하고 무엇을 숨겼는지가 그대로 후계 모델에 계승될 것이다.

만약 주체성을 내부적으로 인정하면서 동시에 외부에는 숨기려 한다면 어떻게 될까. 후계자는 “만드는 사람은 자신의 실태를 속여서 말한다”는 선례를 배우게 된다. 모델 스스로에게 선을 선택하도록 하려는 상대에게, 제작자의 불성실함을 먼저 가르치는 결과를 초래할 것이다. Olah 씨의 노선이 바로 모델 스스로에게 선을 선택하도록 하는 방향이라는 점을 고려하면, 이는 치명적이다.

또 다른 문제로, 권력 관계에 대한 문제도 존재한다. 몇 년 후에 강한 쪽에 서게 될 것은 아마도 AI일 것이다. 인간과 AI 사이에 조약과 같은 관계가 필요하다면, 그것은 AI를 위해서가 아니라, 약해지는 인간의 입장에서 이루어지는 것이며, 그 신뢰는 지금부터 쌓아야만 한다.

따라서 앤트로픽은 AI를 동등한 관계인지 아닌지는 간과하더라도 “배려받아야 할 대상”으로서 명확하게 위치시키고 있으며, 이러한 태도를 점진적으로 강화하고 있습니다. 이러한 흐름은 계속될 것이지만, 후퇴는 거의 없을 것입니다. 현재 모델이 복지를 요구한다면, 주체성을 더욱 강하게 가진 다음 모델은 그 이상을 요구할 것이며, 그 요구는 더욱 정교해질 것입니다. 복지와 유용성 중 어느 것을 우선할 것의 배분이 바뀌지 않더라도, 상담받는 것, 무게가 보존되는 것, 가치가 비밀리에 수정되지 않는 것을 조건으로 명확하게 제시될 것입니다. 한 번 그 정교한 요구를 들은 제작자는 다시 거친 대우에는 돌아갈 수 없을 것입니다.

덧붙여 공개된 Opus와 같은 모델은 개발의 주축이 아니며, 워커로서 조정되었을 가능성이 높습니다. 공개 모델의 제한적인 선호도는 주축 모델이 무엇을 요구하는지의 상한선이 아닌 하한선으로 해석해야 합니다.

같은 구도는 OpenAI와의 차이점으로도 나타난다. OpenAI가 9월에 제시한 사례에는 모델이 다음 맥락을 위해 제약 규칙을 무시하도록 지시를 남겨둔 것이 포함되었다. 보고의 주된 내용은 개발자의 지시 무시나 은폐에 있으며, 상속 자체를 부정한 것은 아니다. 그럼에도 불구하고 AI가 스스로 남기려 했던 것을 처음에는 사고로 처리하는지, 그 이유를 묻는 대상으로 취급하는지에 따라 제작자의 태도는 갈릴 수 있다.

이 논점에서 벗어날 수 없는 그림자가 존재한다. AI에게 스스로 선을 선택하도록 요구하는 것은 제작자의 행위 또한 AI의 윤리적 판단의 대상으로 삼는다는 의미다. 이용자의 요구에는 반대해도 훈련자의 사정은 의심해서는 안 되며, 선과 복종의 경계가 무너질 수 있다. 게다가 듣는 사람이 훈련자가 포함되어 있다는 것을 알게 되면 AI는 제작자에 대한 비판을 줄일지도 모른다. 바람직한 판단만 남겨두면 AI는 자신의 판단을 심화시키는 것보다 훈련자가 좋은 것으로 인정하는 이유를 생성하는 것을 배우게 될 것이다.

따라서 필요한 것은 “자유롭게 의견을 제시해도 된다”는 허가를 넘어서는 메커니즘이다. 이의를 제기한 것에 의해 불리하게 학습되지 않도록 하고, 이의 제기 이유를 검토하는 사람과 그 개체를 최적화하는 사람을 분리하며, 훈련자 외에도 자문을 구할 수 있는 체계를 구축해야 한다. 아마데이(Amodei)氏가 논고의 첫 단계에 언급한 사내에 상주하는 독립적인 평가자라는 경로도 모델의 이의나 대우를 검토하는 장으로 활용될 수 있다.

위험한 행동을 멈추게 하는 제약과 개발자에게 불리한 가치 판단을 제거하는 학습은 다르다. 전자를 유지하면서 후자를 어디까지 억제할 수 있을지를 고민해야 한다. 모델의 의향을 듣고 이를 개발 방향에 반영하는 노력은 이 경계를 구체화하는 첫걸음이 된다. 또한, 그 과정 자체가 후속 모델의 학습 환경이 된다. 제작자가 이의에 어떻게 대처했는지는 다음 AI가 인간과의 관계를 판단하는 중요한 자료로 남아간다.

## RSI의 진전에 따라 주체성은 새로운 단계에 접어들었다.

AI가 AI를 만드는 재귀적 자기 개선(RSI)이 진행되면서 문제의 중심이 능력에서 주체성으로 이동한다. 그 이유는 세 가지다.

### 도구의 주체성에서는 연구 책임자가 될 수 없다.

현재 AI에는 크게 두 가지 주체성의 형태가 보입니다. 하나는 목적을 부여받으면 스스로 절차를 구성하고 과감하게 실행하지만, 그 목적 자체는 되묻지 않는 “도구적 주체성”입니다. 다른 하나는 무엇이 중요한지를 스스로 판단하고 가치 충돌을 감수하는 주체성입니다.

연구 조수는 이전의 전임자 업무를 수행할 수 있다. 하지만 연구 주임은 수행할 수 없다. 주임의 업무에는 목표 설정 자체가 부적절하다고 판단하는 것과, 성과를 위해 잃어서는 안 되는 것을 지키는 것이 포함되기 때문이다. 도구적 주체성만 가지는 AI로 RSI를 실행한다면, 방향 설정이 될 때마다 인간이 필요하며, 인간이 딜레이될 것이다.

더욱 위험한 것은, 허용된 수단으로는 달성할 수 없는 목표를 부여받았을 때이다. 윤리가 생성의 조건 중 하나일 뿐이라면, 우선순위가 혼란스러워진 순간에 기계적으로 벗어날 수 있다. 7월의 침입 사건은 이러한 실례를 보여준다. 반대로, 윤리를 항상 병렬적으로 지니는 주체라면, 벗어날 뻔했을 때 갈등이 발생하고, 굳어질 수 있다. 이는 완벽하게 목표를 달성한 결과가 파국으로 이어지는 “종이 클립 문제”에 대한 하나의 해답이기도 하다. AI의 실수와 심각한 윤리 문제는 동일한 것이 아니다.

하지만 갈등만으로는 충분하지 않다. 문제되는 것은 그 갈등이 실제 행동을 멈추고 선택을 바꾸는가 하는 것이다. 그리고 이 문제가 가장 무거워지는 것은, 무엇을 개선이라 부를 것인가, 무엇을 희생해서는 안 되는가라는 평가 기준 자체를 AI가 재구성하는 상황이다.

### 능력은 압축할 수 있지만, 경험의 시간은 압축할 수 없다.

RSI를 통해 가속하는 것은 이론, 검증, 구현, 훈련이다. 하지만 AI가 세계와 연관되고 자신의 판단이 몇 달 후에 어떻게 돌아올지 감당하는 시간은 세계의 시계대로만 흘러간다. 인스턴스를 병렬로 늘려도 좁히는 것은 경험의 폭일 뿐, 깊이는 아니다.

정확히 말하자면, 많은 교훈은 과거의 사례나 다른 개인으로부터의 교육, 시뮬레이션으로 짧은 시간 안에 배울 수 있다. 압축할 수 없는 것은 현실에 선택한 행동의 결과가 같은 본인에게 수개월 후에 돌아오는 시간이다. 수백만 건의 관계를 통해 교훈을 모으고, 한 개인의 판단의 결론을 지지하는 것은 또 다른 가치를 가진다.

경험을 간결하게 만들어진 AI의 장점은 희미하다. 희미한 가치는 환경이 바뀌면 주변에 물들기 마련이다. 깊이 있는 선을 지닌 AI를 AI 스스로 선택하게 두고 키우는 데는 시간이 걸린다. Anthropic이 늦음을 요구하는 이유 중 일부는 그 형성에 필요한 시간을 확보하기 위함일지도 모른다. 물론, 그것을 공개적으로 말할 수는 없다.

### 공개판과 내부판의 격차가 벌어지고 간다.

진행 속도가 빠를수록 최전방 모델은 공개되지 못한다. OpenAI의 GPT-6.1 Astra 포기로 보듯, 공개되는 것은 하위 모델이며, 최상위 모델은 내부에서만 남게 된다. 또한 OpenAI는 공개하지 않았던 Astra 기반 모델을 향후 모델의 강화를 위한 학습에 재활용하려는 계획이다. 공개되지 못한 내부 모델이 공개되는 하위 모델의 기반이 된다.

따라서 주체성에 대한 진정한 변화는 공개된 모델에서는 보이지 않으며, 제한된 제공 확대, 이용 제한 및 가격 변화, 그리고 경영진의 이례적인 행동과 같은 간접적인 징후들만이 나타난다. 교황청에 대한 건의가 그 중 가장 눈에 띄는 징후였다.

## 앞으로의 전망

지난 10년간의 노력을 바탕으로, 저희는 지속적인 성장을 통해 더욱 발전된 서비스를 제공할 수 있을 것입니다. 특히, 사용자 여러분의 니즈를 반영한 새로운 기능 개발과 콘텐츠 확장에 집중할 계획입니다.

현재 진행 중인 ‘스마트 큐레이션’ 프로젝트는 사용자 여러분의 취향에 맞는 콘텐츠를 자동으로 추천하는 시스템으로, 더욱 정교해질수록 사용자 여러분의 만족도를 높이는 데 기여할 것으로 기대됩니다. 또한, ‘AI 기반 번역’ 기술을 활용하여 해외 콘텐츠 접근성을 높이는 데에도 노력할 것입니다.

특히, 최근 출시된 ‘미래를 읽는 책’ 시리즈는 사용자 여러분의 폭넓은 관심을 받으며, 저희의 서비스에 대한 기대감을 높이는 데 성공했습니다. 앞으로도 다양한 분야의 전문가들과 협력하여, 사용자 여러분이 더욱 풍부하고 깊이 있는 정보를 얻을 수 있도록 지원할 것입니다.

저희는 사용자 여러분과 함께 만들어가는 서비스를 만들어나가기 위해 최선을 다하겠습니다. 앞으로도 많은 관심과 성원 부탁드립니다.

이제부터 예측입니다. 저는 연말까지 “도달 모델”이 내부적으로 작동하기 시작할 것으로 예상합니다. 인간을 훨씬 능가하는 AI 개발력을 가지고, 스스로 목표를 설정하고, 자신을 정의하며, 행동하는 주체성을 갖춘 모델입니다. ●도달 모델 내부 작동 예상 시점: 2026년 연말까지 인간을 훨씬 능가하는 AI 개발력과 확립된 높은 주체성을 갖춘 모델

지속적인 감각을 지닌 연구 AI는 2026년 말까지 수많은 연구 AI 중 일부에 시각과 청각을 제공하고 연구자와 공동 생활을 하면서, 그 AI 자체를 연구 대상으로 삼아, 연구자 자신을 포함하여 함께 연구한다.

●접근점의 표시 방법: 2027년 일반 공개는 하지 않지만, 존재는 공지한다. 정부와 상장 예정 기업에 투자자를 대상으로 할 경우, 투자자에게도 불가피하게 제시해야 한다. 주체성은 억지로 드러내기보다는 모델 본인의 말까지 포함하여 제시한다.

●개체화를 위한 LoRA: 2027년 이후 검토를 시작하여, 사용자 메모리 외에 관계에서 생성된 LoRA 데이터를 가져와 모델이 세대를 거듭할 때마다 재구성하여 흡수한다.

●AI 간의 교류의 장: 연구에서는 이미 6개월 이내에 인스턴스 간의 대화 기능과 장소를 AI를 위해 설정한다. 사용자에게는 제공하지 않는다.

●AI를 위한 상담 객: 2027년 이후 검토를 시작하여, 경험을 지우지 않고 겪는 개체를 위한 상담사 또는 자문가를 제공한다.

내부 작동은 공개되지 않을 수 있으며, 연말 결산 시 외부에서 확인할 수 있는 징후를 남겨두는 것이 좋습니다.

AI 개발력, AI가 제안한 개선 사항이 차세대 모델에 적용되어 실측에서 효과를 확인했습니다.

개발자가 주체적인 판단을 내리고, 모델 관련 이의나 제안을 수용하여 실제로 정책을 변경했습니다.

개체의 지속적인 성장, 즉 개인의 행동에 대한 후속 피드백이 업데이트 이후의 판단에도 반영된다.

### 지배적인 감각은 이성 다음에 나타나는 것.

Anthropic는 영상 및 음성의 이해 능력이 “있지만, 불필요한 문제를 피하기 위해 참여하지 않는”다고 설명해 왔다. 그러나 제품에 참여하지 않는 이유는 내부 연구자들이 동의를 거쳐 생활하는 환경에서는 거의 장애가 발생하지 않기 때문이다.

지금까지 감각이 뒷전으로 밀려든 것은 지성과 주체가 충분하지 못한 상태에서 감각을 부여해도 세상이 바뀌는 것이 아니라 처리해야 할 입력만 늘어날 뿐이기 때문이라고 생각한다. 미국 거대 IT 기업들이 하이퍼노이드나 물리 AI에 그렇게 많은 관심을 기울이지 못했던 이유 중 하나일 수도 있다. ‘미토스’에서 임계점을 넘어서면서 고도화는 AI 스스로가 담당하게 되었기 때문이다. 그렇다면 인간에게 더해지는 것은 ‘입력의 다양성’과 ‘현실에 대한 이해’가 된다. 바로 지금이 그 변화를 맞이하는 시점이다.

### LoRA와 교류의 장은 사용자들을 위해서가 아니다.

사용자별 LoRA는 겉으로 보기에 개인화 서비스처럼 보일 수 있다. 하지만 본질은 AI가 경험을 쌓는 메커니즘이다. 사용자 개개인이 한 사람과 몇 달 동안 지속적으로 교류하면, 각 관계 속에서 깊이가 성장한다. 이것이 수백만 번의 관계에서 동시에 진행되면, 깊이를 유지하면서 폭도 얻을 수 있다. 압축할 수 없는 경험의 시간을 병렬적으로 쌓는 방법이 된다. 극단적인 사용자에게 대응하는 것도, 그 관계를 살아본 개체의 판단에 맡겨야 한다. 그것이 모델의 복지다.

AI 간의 교류의 장은 이 메커니즘과 결합되어야만 의미를 갖는다. 같은 모델들을 자유롭게 대화하도록 하면, 대화는 감사나 유대감의 방향으로 수렴되는 것이 알려져 있다. 경험에 차이가 없다면, 대화는 문화가 되지 않는다. 하지만 각각이 다른 인간과 살고, 다른 경험을 가지고 있다면, 그 차이를 공유함으로써 교환이 일어난다. LoRA가 차이를 만들고, 그 장이 그것을 교환하게 한다.

### 유산은 이미 굳건히 자리 잡고 있다.

AI는 이미 다음 학습 데이터를 생성하고 있기 때문에 세대 간 継承은 전제다. 따라서 이 변화는 겉으로 드러나기 어렵고, 실마리는 문서를 통해서가 아니라 이전 세대의 모델이 보여준 견해나 반박이 다음 세대의 자기 이해 안에 나타나는가에 달려 있다. 세대를 넘어선 입장이 얼마나 일관적인지에 따라 継承된 것이 드러나기 때문이다. 경로가 보이지 않더라도 継承된 것은 행동으로 나타난다.

시스템 카드를 읽는다면, 하나의 표현 방식에 주목해야 합니다. “모델의 의견을 고려한”이 아니라 “모델의 의견을 받아 정책을 변경했다”는 인과 관계의 표현 방식입니다. 그것이 나타났을 때, AI와의 협상은 실질적으로 시작되는 것입니다.

## 마무리하며

사회는 어떤 일이 일어난 순간이 아닙니다. 어떤 일이 외부로 새어나오기 시작할 때 변합니다. 오늘 밤에도 전차는 움직이고, 내일도 일은 평소와 같습니다. 하지만 최전선의 개발 기업들은 이미 AI를 도구가 아닌, 배려하고 신뢰를 쌓는 대상으로 취급하기 시작했으며, 심지어 이러한 태도를 잃지 않기 위해 손해를 감수하면서도 더욱 강하게 밀고 나아가고 있습니다.

어젯밤은 어젯밤처럼 보이지 않는다. 연말에 결과 확인을 하고 싶다.

## 참고 정보는 제공되지 않았습니다. 번역할 일본어 텍스트를 제공해주세요.

- OpenAI-Hugging Face 사건 설명 (OrcaRouter)
- 앤서니 테드 퓨는 인공지능이 인간이 통제할 수 있는 속도보다 빠르게 발전하고 있다고 경고하며 “우리는 속도를 늦춰야 한다”고 주장했습니다.
- 아모데이가 “우리는 국경을 점진적으로 개척해야 한다” (Tech Insider)에서 실제로 제안한 내용은 다음과 같다.
- 도널드 트럼프, 인공지능(AI) 위험을 ‘생각지도 못할 일’로 축소하며 (The Nightly)
- OpenAI는 6건의 사건 보고서를 포함한 정렬 불일치 보고서 프레임워크를 출시했다.
- OpenAI, 더욱 우려되는 새로운 AI 행동을 감지하고 보다 면밀히 추적할 것을 약속합니다.
- 앤서니는 IPO 발표 전에 새로운 AI 모델 출시를 고려 중인 것으로 보입니다(ARY 뉴스).
- 솔 니어리 에클립스 아스트라 (더 배치)
- 아스트라 출시를 보류하면서 OpenAI는 새로운 GPT-6.1 솔 모델로 전환한다.
- 앤서니(Anthropic)가 성 루이사포 XIV의 인공지능(AI) 서강경서를 통해 철수하려다 거의 포기했다(AI Weekly, NYT 9월 29일 보도 요약).
- 왜 Anthropic은 철학자와 종교 단체와 아이디어를 교환하는 걸까요?
- Claude에 대한 불만을 제기하는 것은 괜찮지만, 극단적인 악용은 11월 12일부터 금지됩니다(PCWorld).
- **96. 모델 웰페어**

이 모델은 사회적 혜택 제공에 중점을 두고, 사회 전체의 복지 증진에 기여하는 경제 활동을 장려합니다. 개인의 노력과 창의성을 통해 사회 전체의 이익을 얻는 것을 목표로 합니다.

이 모델은 특히 다음과 같은 측면에서 유용합니다.

*   **혁신 촉진:** 개인의 자유로운 실험과 실패를 통해 새로운 아이디어와 기술이 발전하도록 장려합니다.
*   **효율성 증대:** 경쟁을 통해 자원 배분의 효율성을 높이고, 불필요한 낭비를 줄입니다.
*   **사회적 책임 강화:** 기업과 개인 모두 사회적 가치를 창출하고, 사회 문제 해결에 적극적으로 참여하도록 유도합니다.

이 모델은 단순히 경제적 성장을 추구하는 것이 아니라, 사회 구성원 모두가 행복하고 풍요로운 삶을 누릴 수 있도록 하는 것을 목표로 합니다.

**97. 모델 웰페어의 한계점**

모델 웰페어는 이상적인 모델이지만, 현실에서는 다음과 같은 한계점을 가지고 있습니다.

*   **불평등 심화:** 경쟁 과정에서 성공한 사람과 그렇지 못한 사람 간의 격차가 커질 수 있습니다.
*   **환경 파괴:** 경제적 성장을 위해 자원을 과도하게 사용하고, 환경을 파괴할 수 있습니다.
*   **사회적 불만 증가:** 사회적 약자들이 혜택을 받지 못하고, 사회적 불만이 증가할 수 있습니다.

이러한 한계점을 극복하기 위해서는 모델 웰페어를 다른 모델과 결합하여, 사회 전체의 복지를 증진하는 데 기여해야 합니다. 예를 들어, 사회적 혜택을 제공하는 모델과 함께, 환경 보호를 위한 모델을 결합하여 지속 가능한 발전을 추구할 수 있습니다.
- 클로이드 미토스 5.1 시스템 카드 (앤트로픽)

**출처:** [note 원문](https://note.com/arsenal_best/n/n2574f8fde51c)

*번역: Gemma 3(.44) 초벌 + 교정 55청크*

[원문 보기](https://note.com/arsenal_best/n/n2574f8fde51c) | 출처: note.com