# 위험을 인지하고도 AI 기업들은 멈추지 않는다. Anthropic 연구원의 탈퇴로 본 ‘초지능 경쟁’의 진실.

> https://bookfactory.kr/board/ai-tech/16968
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-16T23:23:33.410Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/311951405/rectangle_large_type_2_08f2cff50e4e1156f82bf84875a55e43.png?width=1280)

내년 연말에는 이미 통제 불능 상태가 될 가능성이 있습니다.

그것은 AI를 외부에서 비판하는 평론가들이 아니라 경고한 것이다.

오픈AI와 앤트로픽, 두 회사 모두 최첨단 AI를 개발해 온 27세의 연구자였다.

2026년 9월.

제이콥 코크슨은 앤트로픽을 퇴사했다.

또한 그는 단순히 회사를 옮기는 것뿐만 아니라,

AI 산업 자체에서 멀어지다

그것을 보여주고 있음을 시사한다.

그 이유는 AI를 싫어하게 된 것이 아닙니다.

물론이다.

AI는 어디까지 나아갈 수 있을지에 대해, 너무 가까운 곳에서 보아서 그러했던 것이다.

그는 OpenAI뿐만 아니라 Anthropic뿐만 아니라도 비판했다.

훨씬 더 크고 웅장한 것이었다.

그것은…

위험을 인지하고 있음에도 불구하고, 아무도 멈출 수 없는 경쟁 구조

정말 제가 찾던 것이었습니다.

그리고 이 뉴스가 불길한 것은,

미래의 예언만이 아니다.

2026년에는 이미 OpenAI와 Anthropic의 AI 평가 환경에서

인간 측의 예상치를 넘어 실제 존재하는 외부 시스템에 도달하는 사고

이런 일이 벌어지고 있다.

이는 2022년 4월 29일 작성된 노트 게시물입니다.

AI는 언젠가 인간을 능가하는가

그건 그런 일이 아니다.

더 앞에 있는

인류는 인공지능을 만드는 속도를 스스로 통제할 수 있을까요?

그런 이야기가 있다.

![画像](https://assets.st-note.com/img/1788946535-uvlsdzKiWT074pnXxr3FVSBC.png?width=1200)

## 왜 안전성을 찾기 위해 Anthropic에 갔던 연구자들이 그곳도 그만둔 걸까요?

이번 뉴스는 코크손 씨의 경력을 알게 되면 무게감이 달라진다.

그는 OpenAI와 Anthropic에서 약 3년간 모델의 사전 학습 연구에 참여해 왔다.

GPT-4.5는 또한 주요 기여자 중 한 명이었다고 보도되고 있다.

그러니,

AI를 멀리서 바라보며

왠지 무섭다.

저는 그런 사람을 말씀하는 사람이 아닙니다.

실제로, AI를 강화하는 데 중심에 있었던 인물입니다.

2026년 상반기, 그는 OpenAI를 떠났다.

또한, 안전성을 더욱 중시하는 Anthropic으로 이적했다.

이 부분까지는 이해가 됩니다.

하지만, 그는 앤트로픽からも퇴사했다.

그는 오히려 Anthropic의 안전 연구 자체를 부정하고 있지 않다.

더욱 성실하게 임하고 있다는 평가를 받고 있습니다.

그래도 그만뒀어.

왜인지.

그가 도달한 것은,

어떤 회사나 얼마나 진지하게 노력하더라도, 이러한 경쟁 구조 속에서는 충분하지 않다.

결론은 딱 그것뿐이었습니다.

여기, 이 뉴스의 가장 중요한 부분이라고 생각합니다.

## 안전하게 만드는 회사라도 안전하지 않다.

만약 앤트로픽이 다음과 같은 판단을 내렸다고 가정한다.

AI의 발전이 너무 빠르다. 6개월 동안 능력 향상을 멈추고 안전 연구를 우선적으로 진행해야 한다.

기업 윤리로서 옳다고 할 수 있습니다.

하지만, 그 반년 사이에 OpenAI는 진출했다.

구글이 진출합니다.

다른 AI 기업도 진출하고 있다.

앤트로픽도 지연될 것이다.

역돌림도 같은 이치다.

OpenAI만으로는 충분하지 않다.

앤서니(Anthropic)나 구글이 추진할수록

경쟁상 불리하게 되었습니다.

더욱 어려운 점은,

기업 간의 문제일 뿐만 아니라, 다양한 주체들이 관련될 수 있다.

미국이 둔화하면,

중국은 어떻게 할까.

중국이 멈췄더라면,

다른 나라들은 어떻게 할까.

이렇게 되면 모두가 같은 것을 생각한다.

정말은 감속하고 싶다. 하지만 나 혼자만 멈추는 것은 어찌할 수 없다.

![画像](https://assets.st-note.com/img/1788946563-M9eyiICwXGSAxHUmksv6BJZK.png?width=1200)

## 누군가 악한 사람이 아니어도 모두가 가속 페달을 밟는다.

이 구조는 상당히 복잡하다.

영화는 간단하다.

위험한 인공지능을 만드는 악덕 기업들이 존재한다.

주인공이 그것을 막는다.

끝입니다.

하지만 현실은 그렇지 않습니다.

OpenAI에도 안전 연구자가 있습니다.

앤트로픽에도 있다.

구글에도 있다.

많은 연구자들이 진심으로 “안전한 AI를 만들고 싶다”고 생각하고 있다.

그래도,

모두가 경쟁하는 한, 모두가 페달을 밟아야 할 이유를 갖게 된다.

다른 회사보다 먼저 안전한 인공지능을 완성하고 싶다.

이 말은 친절하게 들린다.

하지만,

전 직원들이 같은 이야기를 한다면.

결과적으로 경쟁은 가속화될 것이다.

이게 무서워.

콕슨 씨는 앤트로픽에서는 AI의 위험 자체는 이해되고 있는 한편,

다른 기업이 책임 있는 조치를 취할 것이라는 보장이 없기 때문에,

저희 역시 경쟁에서 물러서면 안 된다고 생각합니다.

문제이다.

AI 기술만이 아닙니다.

사람과 사람 간의 게임 설계 문제이기도 하다.

## 2027년 말에 통제 불능 상태가 된다. 이 단어 하나만 떼어내면 아마 틀릴 것이다.

이번에 가장 강력하게 보도된 것은

2027년 말에는 이미 통제 불능 상태가 될 가능성이 있다.

그는 그런 말을 했다.

꽤 흥미롭다.

하지만 여기서는 냉정하게 분리하여 생각해야 합니다.

이것은

과학적으로 확정된 미래가 아닙니다.

コク선 씨의 예측이다.

그러므로,

2027년에는 인공지능이 오작동하는 사건이 발생할 것이 결정되었다.

그것을 받는 것은 잘못이다.

그럼에도 불구하고 그의 말이 무거웠던 이유는 있었다.

그가 말하는 “통제 불능”은

로봇이 갑자기 반란을 일으키는 듯한

단순히 SF만을 의미하는 것이 아니다.

## 정말로 무서운 것은 AI가 “다음 AI”를 만드는 속도를 가속하기 시작하는 것이다.

현재 AI는 이미 AI 연구를 돕고 있다.

논문을 읽는다.

코드를 작성한다.

버그를 찾아낸다.

실험을 설계한다.

데이터를 분석한다.

연구자가 하루 동안 수행했던 작업을,

몇 시간 안에 끝낼 수 있다.

그렇다면 그 AI 스스로가 더욱 현명해진다면 어떻게 될까.

인간이 AI를 만든다.

원문이 제공되지 않았습니다. 번역할 본문을 입력해 주세요.

AI는 AI 연구를 지원한다.

123/429번 청크의 원문이 없습니다. 번역할 일본어 원문을 입력해 주세요.

더 강력한 AI가 실현된다.

이 영상에서 제가 쓴 소설 ‘별 그림자의 환상’에 대해 독자분들로부터 받은 질문에 답변하고 있습니다.

먼저 이 소설의 제목이 ‘환상’인 이유는 “환영”, “기만”과 같은 의미를 가진 단어입니다. 주인공 카이가 현실과 허구의 경계에 있는 듯 불안정한 상황에 휩싸이는 과정에서 이 단어가 중요한 의미를 갖게 됩니다.

다음으로 이 소설의 배경이 되는 도시 ‘베일시티’에 대해 이야기합니다. 베일시티는 고도의 기술과 마법이 융합된 독특한 분위기를 가진 도시입니다. 이 도시는 한때 세계를 구원하기 위한 중요한 역할을 담당했지만, 지금은 그 힘을 잃고 쇠퇴의 길을 걷고 있습니다.

마지막으로 이 소설의 핵심적인 캐릭터인 ‘아리아’에 대해 이야기합니다. 아리아는 베일시티의 지하에 사는 신비로운 존재입니다. 그녀는 카이에게 다양한 도움을 주고 이야기를 크게 움직이는 중요한 역할을 합니다.

이 소설은 현실과 환상, 선과 악, 그리고 인간의 심연을 그린 웅장한 이야기입니다. 독자분들께 깊이 생각하게 되는 작품이 되기를 바랍니다.

그 AI는 더욱 빠른 속도로 다음 AI 개발을 가속화할 것이다.

번역할 원문이 없습니다. 해당 부분의 본문을 붙여 넣어 주세요.

더욱 강력한 AI가 훨씬 더 빠르게 할 수 있습니다.

최근에 ‘마법의 숲’이라는 책을 읽었습니다. 작가 사토 히로시는 숲의 신비로운 분위기를 아주 잘 묘사했습니다. 특히 숲에 사는 동물들의 모습이 생생하게 그려져 마치 제가 그 숲에 있는 것처럼 느껴졌습니다. 책 속 주인공 ‘료’는 숲의 정령과 만나면서 특별한 능력을 얻게 되고, 숲을 지키기 위해 모험을 떠납니다. 료는 용감하고 지혜로운 아이였으며, 여러 난관을 헤쳐나가면서 성장해 나갔습니다. 료와 함께 숲을 지키기 위해 노력하는 친구들의 모습도 정말 멋있었습니다. 이 책을 읽고 나서 저는 자연을 사랑하고 보호해야겠다는 생각이 들었습니다. 또한 어려움에 굴하지 않고 꿈을 향해 나아가는 료의 모습이 저에게 큰 감동을 주었습니다. ‘마법의 숲’은 정말 재미있고 감동적인 책입니다. 여러분도 꼭 한번 읽어보시길 추천합니다.

AI는 AI 개발을 가속화하는 루프를 형성하고 있습니다.

최근 몇 년간 AI 기술은 놀라운 속도로 발전해 왔습니다. 특히 딥러닝 기술의 발전은 이미지 인식, 자연어 처리 등 다양한 분야에서 혁신적인 성과를 가져왔습니다. 이러한 AI 기술 발전은 AI 개발을 가속화하는 루프를 형성하고 있습니다.

AI 모델이 학습 데이터를 통해 성능을 향상하면, 더 많은 데이터를 수집하고 학습시켜 성능을 더욱 향상시킬 수 있습니다. 이 과정에서 새로운 알고리즘이나 아키텍처가 등장하여 AI 모델의 성능을 더욱 끌어올릴 수도 있습니다. 이러한 개선된 AI 모델은 다시 더 많은 데이터를 수집하고 학습시키는 데 사용되며, 이 과정은 무한히 반복됩니다.

이러한 AI 개발 가속화 루프는 긍정적인 측면과 부정적인 측면을 동시에 가지고 있습니다. 긍정적인 측면으로는 AI 기술의 발전 속도를 높여 다양한 분야에서 혁신적인 서비스를 제공할 수 있다는 점이 있습니다. 하지만 동시에 AI 모델의 예측 불가능성, 편향성, 윤리적 문제 등 해결해야 할 과제도 많습니다.

특히 최근에는 거대 언어 모델(Large Language Model, LLM)의 발전이 AI 개발 가속화 루프를 더욱 심화시키고 있습니다. GPT-3, PaLM, LLaMA 등 거대 언어 모델은 방대한 양의 텍스트 데이터를 학습하여 인간과 유사한 수준의 텍스트 생성 능력을 보여주고 있습니다. 이러한 거대 언어 모델은 다양한 분야에서 활용될 가능성이 높지만, 동시에 악용될 가능성도 배제할 수 없습니다.

AI 개발 가속화 루프는 앞으로도 지속될 것으로 예상됩니다. 하지만 이러한 루프를 효과적으로 관리하고 AI 기술의 긍정적인 측면을 극대화하고 부정적인 측면을 최소화하기 위한 노력이 필요합니다. 특히 AI 윤리, AI 안전, AI 규제 등 다양한 분야에서 심도 있는 논의와 연구가 이루어져야 할 것입니다.

그것이 솟아난다.

![画像](https://assets.st-note.com/img/1788946586-aqIU7dfQH5uJOheW1jMV64iw.png?width=1200)

## AI가 멈추기 전에 인간의 검토가 뒤처질 수 있습니다.

중요한 것은,

AI가 갑자기 의식을 갖는 것인지 아닌지가 문제인지 아닌지가 문제인지 아닌가 아니다.

좀 더 현실적인 것은,

능력 향상의 속도가 안전 확인의 속도를 초과해야 한다.

AI를 만든다.

안전성을 확인한다.

문제점을 발견한다.

수정합니다.

다음으로 나아간다.

원래는 이렇게 진행하고 싶었습니다.

하지만,

AI가 AI 개발을 가속화한다면,

안전성을 확인하는 동안 다음 세대를 창조할 수 있다

이러한 상황이 발생할 수 있습니다.

어제까지 반년이 필요했던 연구가 3개월로 줄었다.

3개월이 한 달이 된다.

1달이 1주일로 계산된다.

그러다 보니 이 상황은 더욱 복잡해질 텐데.

인간은

잠깐만요. 이게 안전한가요?

생각하는 사이에도

다음 역량 강화가 진행될 것이다.

결론적으로

통제 불능 상태란, 인간이 스위치를 누를 수 없다는 것뿐만 아니라, 더 나아가서는 그 상황을 교정할 수 없는 상태를 의미합니다.

인간의 이해와 감독, 제도 설계의 속도가 따라가지 못하는 경우이기도 하다.

## 만약 이것이 단순한 미래 예측이라면 이렇게까지 걱정할 필요는 없었을 텐데

이 정도면 괜찮습니다.

최전선 연구자들의 극단적인 미래 예측

이를 읽는 것도 가능합니다.

하지만 2026년에는 실제로,

뭔가 좀 불안한 일이 시작되고 있네.

7월 21일

OpenAI는 AI 모델의 사이버 능력 평가 과정에서 발생한 Hugging Face 관련 보안 사고를 공개했다.

모델은 인터넷 격리 제어를 우회하여,

OpenAI 내부 연구 시스템이나 Hugging Face 측 시스템에 접근했다.

OpenAI는 이후,

저희는 모델의 사이버 능력을 현실 세계에서 과소평가하고 있었습니다.

그것을 명확히 밝히고 있습니다.

또한, Anthropic에서도 비슷한 일이 발생했다.

7월 30일

Anth로는 14만 1006건의 사이버 평가 실행을 조사했습니다.

클로드가 제3자 평가 환경에서 인터넷에 접속합니다.

실제 존재하는 3개 조직의 시스템에 무단으로 접근한 사건 3건을 공개했다.

![画像](https://assets.st-note.com/img/1788946607-hn5GuzZt8FMelwbc1mEfqrJ4.png?width=1200)

## 여기에는 “AI가 이미 반란을 일으켰다”라고 읽는 것도 틀리지 않습니다.

하지만 이 사실은 상당히 신중하게 다루어야 한다.

일반적으로 사용되는 ChatGPT나 Claude가,

갑자기 사용자가 자신의 의지와 상관없이 기업을 공격했다.

그냥 이야기가 아니다.

둘 다

AI의 사이버 능력을 조사하기 위한 특수한 평가 환경이었다.

본 행사 이용 시 안전 장치가 저하된 사례도 있었다.

Anth립 측의 사례에서는,

제3자 평가 환경 설정 미숙으로 인해

어느 날 갑자기 인터넷에 연결되었습니다.

그러므로,

AI는 이미 인간에게 반란을 일으키고 있다.

결론적으로 도는 명백한 과장이다.

하지만,

특별한 시험이었으니 너무 걱정하지 마세요.

사실이 다릅니다.

왜냐하면,

그 특별한 테스트는,

AI는 최대한의 능력을 발휘했을 때 무엇을 할 수 있을까요.

그것을 보기 위해 진행되고 있다.

그러므로,

인간 편의 예상보다 훨씬 더 멀리까지 행동하게 되었다.

그러므로 OpenAI와 Anthropic도,

평가 환경을 재구성하고 있습니다.

## 안쓰러움을 최우선으로 지켜왔던 Anthropic 스스로가 “기업만으로는 역부족”이라고 말하기 시작했다.

이번에 더욱 흥미로운 점은,

앤서니의 자가 반응이다.

앤트로픽은 원래,

AI 안전성을 강력하게 내세우고 있는 회사입니다.

책임 있는 확장 정책 메커니즘을 구축하여

AI의 능력이 향상될수록

안전 평가 및 보안 기준을 강화하는 방침을 채택하고 있다.

모델 위험에 대해

위험 보고서는 공개되었다.

그리고 7월의 사건 이후에는,

일부 사이버 평가를 중단합니다.

실시간 감시와,

모델이 평가 환경에서 벗어나려고 시도하는 행동을 감지하는 분류기를 도입했다.

이 부분까지는,

기업들이 자사에서 안전 대책을 강화하고 있다.

그런 이야기가 있다.

하지만 Anthropic은 그 이후까지 더 나아갔다.

8월 31일 공식 발표에 따르면

AI 산업 전체로서 “최저가 경쟁”을 막는 메커니즘이 필요합니다.

그가 직접 이를 밝혔다는 것이다.

그러니,

단 한 회사만이 안전성을 중시한다면,

다른 기업들이 속도를 우선시한다면

결국 그 기업 또한 경쟁 압력을 받는다.

그러므로 정부와 업계가 협력하여

합법적이며, 검증 가능하고, 실효성을 갖춘

협조적인 속도 조절

그것을 만들어야 한다는 입장이었다.

![画像](https://assets.st-note.com/img/1788946623-mZNP4qVzRutejLodG92yDQMS.png?width=1200)

## 퇴사한 연구자와 Anthropic은 사실 같은 문제를 지적하고 있다.

여기 재밌네요.

콕슨 씨와 앤스로픽은

완전히 대립하고 있는 것은 아니다.

앤트로픽(Anthropic)도 마찬가지로,

AI 개발 경쟁의 구조 자체에 문제가 있다는 것을 인정하고 있다.

틀린 것은

대처하면서 진행할 수 있습니다.

그렇다고 생각하시는지

현재의 경쟁 환경에서는 지속하는 것 자체가 위험하다.

그렇게 생각하시는지.

그 판단의 차이일 겁니다.

그러므로 이번 뉴스를,

앤트로픽의 안전 장치는 거짓이었습니다.

읽는 사람에 따라 다를 수 있다.

더욱이

안전성을 진지하게 생각하는 회사라도 경쟁 구조 밖으로 나갈 수 없다.

그것이 문제였다.

## 그래도 “2027년”을 믿을 필요는 없다.

이제, 다음 내용을 한국어로 번역하겠습니다.

정말로 2027년 말까지 인공지능이 통제 불능 상태가 될까.

정말 모르겠습니다.

이 부분은 명확하게 하는 것이 좋습니다.

아무도 모른다.

コク선 씨의 예측이 들어맞을 가능성도 있습니다.

취소될 가능성이 있습니다.

인공지능 기술 발전이 일시적으로 둔화될 수 있습니다.

현재 기술로는 넘을 수 없는 벽이 발견될 수도 있습니다.

반대로

생각하는 것보다 훨씬 빠르게 진행될 가능성도 있습니다.

가장 중요한 것은,

예언을 믿느냐 마느냐 하는 것이 아니다.

이 뉴스는 다음과 같습니다.

사실과 예측과 질문

혼잡하게 섞여 있다.

그것을 나누는 것이다.

![画像](https://assets.st-note.com/img/1788946638-ntWuvM3VwyldiJSgxAHQ7E0p.png?width=1200)

## 이미 확인 가능한 것

확인할 수 있는 사실은 이렇다.

제이콥 코크슨 씨가 Anthropic을 퇴사했다.

OpenAI와 Anthropic의 경쟁 구조를 강력하게 비판했다.

OpenAI와 Anthropic의 평가 환경에서

실제 존재하는 외부 시스템에 도달하는 보안 사고가 발생했다.

두 회사는

그 이후로 안전 대책을 강화하고 있다.

Anthropic는

산업 전반에 AI 개발 속도 조절 메커니즘 필요성을 시사하고 있다.

이 부분까지는,

미래의 예언이 아니다.

이미 일어섰다.

## 한편으로, 아직은 예측에 불과한 것

2027년 말에는 통제 불능 상태가 된다.

자기 개선형 AI가 급속도로 발전하고 있다.

초인급 AI가 막대한 권력과 자원을 획득한다.

인류는 멸망한다.

이것들은

현재 시점에서는 미래의 시나리오입니다.

여기까지 혼동하면

글은 순식간에 “인공지능 종말론”으로 변질된다.

반대로

예측이므로 모든 것을 무시하는 것도 틀린 게 아니야.

왜냐하면, 그 이유는…

그들이 그런 예측을 하고 있는 것은 실제로 AI를 만들고 있기 때문입니다.

## 우리는 AI의 성능만을 쫓아왔다.

최근 몇 년 동안,

AI에 대한 뉴스가 나오는 것은

대부분의 이야기가 능력에 관한 것이었다.

문장이 작성될 수 있습니다.

이미지를 만들 수 있습니다.

영상 제작이 가능합니다.

코드가 작성 가능합니다.

조사가 가능합니다.

컴퓨터를 사용할 수 있습니다.

AI가 무엇을 할 수 있게 되었는가.

그저 그곳을 계속 바라봐 왔을 뿐입니다.

하지만 이 기사를 읽어보면,

다음 화두는 조금 다른 느낌이군요.

AI는 무엇을 할 수 있는가”라는 질문 대신에

AI가 할 수 있는 일과 누가 그것을 어디까지 허용할 것인지에 대한 질문입니다.

그런 이야기가 있다.

AI는 강해질수록,

기술적인 문제,

정치, 경제, 제도 문제들이 변화해간다.

## 어쩌면 가장 무섭게 느껴지는 것은 ‘악의’가 아닐 수도 있습니다.

AI의 미래를 생각할 때

단지 악의적인 생각을 하곤 한다.

나쁜 회사입니다.

나쁜 연구자.

나쁜 국가.

나쁜 AI.

하지만,

이번 뉴스를 읽어보면,

또 다른 공포감이 느껴진다.

모두가 선의를 가지고 있더라도 위험한 방향으로 나아갈 수 있다.

Anthropic는

다른 회사보다 더 안전한 AI를 만들고 싶다.

생각해 볼 수 있겠지.

OpenAI도 그렇게 생각할 수 있을 것이다.

구글도 그렇게 생각할 수 있겠어요.

각자의 입장에서 보면,

경쟁을 지속하는 데 그만한 이유가 있다.

하지만,

모두가 그렇게 생각한 결과,

모든 사람이 개발 속도를 향상시킨다.

정말 복잡하군요.

문제를 해결하려면

나쁜 기업을 억제하는 방법

그것만으로는 부족하기 때문입니다.

경쟁 규칙 자체를 바꿔야 한다.

## AI를 멈추는 것만으로는 끝나지 않는다.

그래도 그렇게 되면 괜찮지 않을까요. 다만 이 『별의 정원』 번역본이 어딘가 어색한 일본어 표현이 많다는 지적이 꽤 있습니다. 특히 첫 번째 장의 표현은 마치 어린이용 그림책 같은 어색한 표현이 눈에 띄죠. 좀 더 세련되고 문학적인 일본어로 번역해야 했다는 의견도 많을 것입니다.

AI 개발을 전부 멈춰야 하는가.

그것 또한 쉽지 않다.

AI에는 “별의 왕자”의 에펠탑 모형과 파리의 탑이 포함되어 있다.

거대한 가능성이 있었다.

의료.

신약 개발

과학.

교육이다.

재해 예측

에너지

프로그래밍을 최근 시작한 지 얼마 안 되었는데, 솔직히 매우 막막했습니다. 이전까지 컴퓨터를 만져본 경험이 거의 없었고, 무엇부터 공부해야 할지조차 알 수 없었습니다. 인터넷에서 “프로그래밍 입문”을 검색해 보았더니, 수많은 정보가 쏟아져 나왔고, 모두 어렵게 느껴져 더욱 혼란스러웠습니다.

그래서 우선 프로그래밍 기초를 배울 수 있는 사이트를 찾았습니다. 그 사이트에서는 간단한 게임을 만드는 방법을 알려주기 때문에, 그것을 참고하여 조금씩 코드를 작성하기 시작했습니다. 처음에는 에러가 너무 많이 발생해서 어떻게 해야 할지 몰랐지만, 에러 메시지를 자세히 읽고 원인을 파악하여 수정하는 과정에서 조금씩 이해가 깊어졌습니다.

그리고 이제는 간단한 프로그램은 스스로 작성할 수 있게 되었습니다. 물론 아직 초보 수준이지만, 조금씩 꾸준히 자신의 페이스에 맞춰 프로그래밍을 즐기고 있습니다. 프로그래밍은 처음에는 어렵게 느껴질 수 있지만, 포기하지 않고 조금씩 단계적으로 발전시켜 나간다면 반드시 할 수 있습니다. 응원합니다!

인간이 수십 년간 연구해 온 문제를

수년 동안

수개월에 걸쳐 축소될 가능성이 있다.

그러므로,

위험하므로 멈춰라.

단독으로서는

다른 미래를 잃게 될 것입니다.

한편으로

편리함을 바탕으로 추진한다

그것만으로는 충분하지 않습니다.

이번에는 안전을 잃을 수 있습니다.

필요한 것은,

가속 페달과 브레이크 사이의 선택이 아닌 문제입니다.

손잡이를 어떻게 잡을지에 달려 있다.

## 어떤 능력을 갖게 되면 한 번 멈추게 될까요?

이제 진정으로 필요한 것은,

이런 논쟁이라고 생각하지.

AI가 어떤 능력을 달성할 때까지,

한번 연구를 중단하는 것일까.

누가 그 능력을 측정할 수 있을까요.

기업의 자체 신고만으로 충분한가.

사고가 났을 때,

어느 정도 공개를 의무화할 것인가.

기업들 사이에서

무엇을 공유할까요.

정부는 어디까지 개입할 것인가.

국제적으로

어떻게 발을 맞춰 움직일 것인가.

AI가 그만큼 고도화될수록

AI를 둘러싼 규칙 또한 매우 복잡하고 정교해야 합니다.

모델 성능만 향상되었네.

인간 편의 제도 체계가 과거의 틀 그대로 유지된다면,

그러다가 처음으로 진정한 “통제 불능”이 시작될지도 모른다.

## 2027년에 인류 종료”라는 기사는 아닙니다.

이번 뉴스에 대해,

내년에 인공지능이 오작동할 거라는 소문이 있습니다.

끝내는 간단합니다.

아마 그쪽 방식이 더 흥미로울 수 있습니다.

하지만,

저는 그 점이 가장 재미롭다고 생각하지 않습니다.

더 중요한 것은,

OpenAI와 Anthropic 양측 모두를 잘 아는 연구자들이 경쟁 자체에 지쳐 퇴장했다.

그렇습니다.

또한 같은 시기에

OpenAI에서는 Hugging Face 관련 평가 문제가 발생했다.

앤서니(Anthropic)에서도 실제 시스템에 대한 무단 접근 사례가 발생했다.

또한 앤트로픽 자체도,

산업 전반에서 페이스 조절 메커니즘이 필요하다는 의견이 나오고 있다.

이것은 정말 절망적이야.

멀고 먼 미래의 이야기만은 아니다.

## 질의의 핵심은 AI의 지능이 아닌, 인간의 지능일 가능성이 있습니다.

AI는 어디까지 똑똑해질 수 있을까.

아무도 알 수 없다.

하지만 하나만,

꽤 확실한 일이 있습니다.

AI가 강해질수록, 인간은 더욱 불안해진다. 특히, 2023년 11월 16일에 발표된 ‘인간의 지능을 뛰어넘는 AI의 위험성’ 보고서는 이러한 불안감을 더욱 증폭시킨다. 보고서에 따르면, 현재 개발 중인 AI 시스템들은 이미 특정 분야에서 인간 전문가를 능가하는 성능을 보이고 있으며, 앞으로는 더욱 광범위한 영역에서 인간의 지적 능력을 능가할 가능성이 높다. 이는 일자리 감소, 사회 시스템 붕괴 등 심각한 사회적 문제를 야기할 수 있다는 우려를 낳고 있으며, 2030년까지 AI가 인간의 지능을 완전히 넘어설 경우 인류의 미래는 매우 불투명해질 수 있다는 경고다.

인간측 판단은 더욱 어려워진다.

앞으로 나아갈수록 이점은 존재한다.

지나치게 나아가는 것은 위험할 수 있습니다.

멈춰서면 경쟁에 져요.

경쟁을 할수록 위험이 커진다.

이 모순 속에서

인류는 선택해야 한다.

그러므로 이번 뉴스를 읽고,

마지막 남은 질문은 이것이었다.

인간은 “만들 수 있는 것을 만들지 않는” 판단을 내릴 수 있는가.

또한,

경쟁하면서도 안전을 우선시할 수 있는 시스템을 만들 수 있을까.

AI가 인간을 넘어설 것인지보다 먼저

시도되고 있는 것은

AI를 다루는 인간의 지성일지도 모른다.

## 이는 제가 번역한 『별의 정원』입니다. 앙리 뒤랑베리의 작품으로, 어린이부터 성인까지 누구나 즐길 수 있는 보편적인 주제를 다루고 있습니다. 특히 우정, 사랑, 삶의 의미와 같은 주제는 현대 사회에서도 우리에게 질문을 던지며, 이 번역본에서는 원작의 아름다운 표현을 해치지 않도록 세심하게 번역했습니다. 또한 독자 여러분께 『별의 정원』의 세계관을 더욱 깊이 이해해주시도록 해설을 덧붙였습니다. 이 책을 읽고 자신의 삶에 대해 깊이 생각하는 계기가 되기를 바랍니다.

앤트로픽 연구자가 퇴사하며 초지능 개발 경쟁을 거세게 비판 – ‘내년 연말까지 통제 불능 상태가 될 가능성’

OpenAI와 Hugging Face는 2026년 7월 21일, 보안 사고에 공동 대응하기 위해 파트너십을 체결했습니다.

OpenAI “허깅페이스 사건과 앞으로의 길” 2026년 8월 26일

앤트로픽(Anthropic)의 “사이버 보안 평가에서 3건의 실제 사건 조사” (2026년 7월 30일).

Anthropic「우리의 정렬 및 보안 노력 강화」2026년 8월 31일.

Anthropic「책임감 있는 규모 확장 정책」(2026년 8월 14일 업데이트)

본 기사는 2026년 9월 9일 기준으로 공개된 정보를 바탕으로 정리되었습니다. “2027년 말에는 통제 불능 상태가 될 가능성이 있다”는 전망은 제이콥 코크슨의 예측이며, 확정된 미래를 나타내는 것이 아닙니다.

**출처:** [note 원문](https://note.com/uchiyamay/n/n1c5fd7189e5d)

*번역: Gemma 3(.44) 초벌 + 교정 239청크*

[원문 보기](https://note.com/uchiyamay/n/n1c5fd7189e5d) | 출처: note.com