Chapter3｜제이콥 콕슨 씨는 무엇을 경고했을까?😳
여기까지 읽고,
AI가 AI 개발을 돕게 되고 있다는 것은 알겠다
그런데, 왜 그렇게 큰 문제로 화제가 되고 있는 거야?
라고 생각하신 분도 계실지 모릅니다.
이번 주제의 계기가 된 것은 Jacob Coxon 씨의 발언입니다.
콕슨 씨는 AI 연구 현장에 있던 인물로, OpenAI와 Anthropic에서 최첨단 AI 개발에 관여한 것으로 보도되고 있다.
그리고 2026년 9월, Anthropic을 떠났음을 공표하고, AI의 급속한 발전에 대해 강한 우려를 표명했습니다.
여기서 중요한 것은,
“콕슨 씨가 말한 것”이 “미래에 반드시 일어날 일”은 아니다
라는 점입니다.
이번 기사에서는 이 부분을 명확히 구분하여 생각하겠습니다.
🔍 먼저 정리하자면, ‘경고’와 ‘예언’은 다릅니다
예를 들어, 방재에서,
이 지역에서는 폭우로 인한 침수 위험이 있습니다
라고 들었다고 가정해 봅시다.
이것은,
반드시 내일 침수됩니다
라는 예언이 아닙니다.
그럴 가능성이 있으니, 미리 대비해 둡시다
라는 경고입니다.
AI에 대해서도 같은 방식으로 생각할 수 있습니다.
콕슨 씨가 문제 삼고 있는 것은,
AI의 능력 향상이 매우 빨라졌을 때, 인간의 안전 확인과 제어가 그 속도를 따라가지 못할 가능성
입니다.
즉,
“AI가 반드시 인류를 멸망시킨다”
라는 미래를 증명한 것은 아닙니다.
만약 AI의 능력 향상이 예상보다 빠르게 진행된다면, 인간은 안전하게 관리할 수 있을까?
라는 문제 제기입니다.
🧑💻 콕슨 씨가 주목한 “AI 개발 가속화”
여기서 Chapter2 이야기로 돌아가겠습니다.
AI가 글을 쓴다.
AI가 프로그램을 작성한다.
AI가 코드를 확인한다.
AI가 실험을 지원한다.
AI가 데이터를 분석한다.
이러한 것들이 쌓이면 AI를 만드는 작업 자체도 효율화할 수 있습니다.
즉,
AI를 개발하는 인간의 능력을 AI가 확장한다
라는 것입니다.
이건 언뜻 보기엔 정말 편리하죠.
실제로 AI를 이용해 소프트웨어 개발 등의 효율을 높이기 위한 노력이 진행되고 있습니다.
문제는 그 이후입니다.
만약 AI가,
AI의 설계
AI의 학습
AI의 평가
AI의 개선
이러한 여러 공정을 점점 더 자동화할 수 있게 된다면?
AI 개발 속도는 더욱 빨라질지도 모릅니다.
콕슨 씨의 경고는 이러한 **“AI에 의한 AI 개발 가속화”**를 중요한 위험으로 보고 있습니다.
⏱️ ‘2개월 일찍 그만뒀다’는 이야기도 화제
콕슨 씨에 대해 보도된 뉴스 중에서 또 하나 주목받은 것은 퇴직 시기입니다.
보도에 따르면, 콕슨 씨는 Anthropic을 떠날 때 향후 받을 수 있었던 주식 보상도 포기하게 되었습니다.
그리고 주식의 권리 확정일까지 약 2개월가량 남아 있었다고 보도되고 있습니다.
이것이,
“그 정도까지 AI 리스크를 심각하게 생각하고 있는 것은 아닐까?”
주목을 모으는 요인 중 하나가 되었습니다.
다만, 여기서도 주의가 필요합니다.
퇴직 시점이나 주식 보상을 포기한 것은 확인된 보도 사항으로 다룰 수 있지만,
그래서 그의 AI 예측이 옳다
그렇게 되지는 않습니다.
그건 별개의 문제입니다.
📱 SNS에서 크게 확산된 “AI 인류 멸망” 이야기
콕슨 씨의 발언은 SNS에서도 크게 주목받았습니다.
보도에서는 퇴직에 관한 게시물이 1억 회를 넘는 규모로 조회됐다고도 전해지고 있습니다.
이만큼 퍼지면,
“AI 연구자 본인이 인류 멸망을 경고했다!”
이런 식으로 정보가 한꺼번에 확산되는 경우가 있습니다.
하지만 SNS에서는,
본인이 실제로 한 말
라고,
누군가가 그것을 요약한 것
와,
또 다른 사람이 해석한 것
하지만, 점점 섞여 버립니다.
이는 AI 이야기에만 국한되지 않고, 재해 정보에서도 마찬가지입니다.
“○○에서 큰일이 날 거래”
라는 게시글이,
○○에서 큰일이 난다
이 되고,
마지막에는,
○○에서 반드시 큰일이 일어난다
되어 버린다.
그렇기 때문에,
1차 정보를 확인하는 습관
가 중요해집니다.
🧠 더욱 주목받은 인물 “Evan Hubinger”
콕슨 씨의 발언과 함께 주목받은 것은 앤트로픽의 AI 안전성 연구자로 알려진 에번 휴빙거(Evan Hubinger) 씨입니다.
보도에 따르면, 후빙거 씨는 콕슨 씨의 우려에 공감을 표하며, 자신도 AI로 인해 인류가 멸망할 가능성을 10%를 넘는 것으로 개인적으로 평가한다고 밝혔다.
“10% 초과”라고 들으면,
그럼 10% 이상의 확률로 인류가 멸망한다는 거야!?😱
라고 생각하게 되죠.
하지만 이곳은 매우 중요합니다.
이것은,
과학적으로 계산되어 확정된 “인류 멸망 확률”이 아닙니다.
Hubinger씨 본인의 향후 AI 리스크에 대한 개인적 리스크 평가입니다.
전문가가 이러한 숫자를 제시하는 데에는 의미가 있습니다.
전문가가 그 정도로 중대한 가능성을 고려하고 있다
라는 것을 알 수 있기 때문입니다.
한편,
10%라는 숫자가 사실로 증명되었다
그런 것은 아닙니다.
이 점을 혼동하지 않도록 합시다.
📊 “10%”라는 숫자를 볼 때의 주의점
방재에서도,
이 재해가 발생할 확률 ○%
라는 숫자를 보는 경우가 있습니다.
하지만, 확률에는,
- 어느 기간인지
- 어느 지역인가
- 무엇을 ‘발생’이라고 정의하고 있는가
- 어떤 데이터를 사용했는가
등의 조건이 있습니다.
AI의 미래 예측도 마찬가지입니다.
“10%”라는 숫자만 떼어 놓고 봐도,
무엇을 대상으로 한, 어느 기간의, 어떤 전제에 기반한 수치인지
모르면 올바르게 이해할 수 없습니다.
이번 기사에서는 이러한 숫자를 ‘공포를 유발하는 재료’가 아니라,
연구자가 얼마나 중대한 리스크로 생각하고 있는지를 알기 위한 참고 정보
로 취급합니다.
그렇다면 콕슨 씨는 '인류 멸망을 증명'한 것인가요?
답은,
아니요.
이곳은 매우 중요합니다.
콕슨 씨가 한 것은 AI의 미래에 대한 경고와 우려를 표명한 것입니다.
그 내용이 올바른지 여부는,
누가 말했던가
만으로 결정되는 것은 아닙니다.
실제로 AI가 어떻게 발전하는가.
AI가 AI 개발을 어디까지 자동화할 수 있는가.
AI를 안전하게 제어할 수 있는가.
AI의 목적과 인간의 의도를 일치시킬 수 있는가.
그리고 앞으로 어떤 사회제도가 필요할 것인가.
이러한 문제들을 하나씩 검토해야 합니다.
⚠️ 여기서부터 '제어할 수 있을까?'라는 문제가 나온다
여기까지 오면, 다음과 같은 의문이 생깁니다.
AI가 점점 더 똑똑해지면, 인간은 제대로 막을 수 있을까?
예를 들어, 우리가 사용하고 있는 스마트폰이라면,
전원을 끈다.
앱을 닫는다.
통신을 끊는다.
라는 조작이 가능합니다.
그렇다면, AI가,
- 다수의 컴퓨터에 연결되어 있다
- 인터넷상의 정보를 다룰 수 있는
- 다른 AI를 이용할 수 있다
- 스스로 프로그램을 작성할 수 있다
- 인간보다 빠르게 판단할 수 있다
그렇게 되면?
정지 버튼을 누르면 끝이다
라는 단순한 이야기가 아니게 될지도 모릅니다.
물론, 이것은 미래의 가정을 포함한 이야기입니다.
현재의 AI가 이러한 상태에 있다는 의미는 아닙니다.
그러나 AI 안전성 연구자들은,
능력이 더욱 향상될 경우, 어떻게 해야 인간의 의도에 따라 안전하게 작동하도록 할 수 있을까?
라는 문제를 연구하고 있습니다.
그리고 여기서부터 등장하는 것이,
AI 정렬
라는 사고방식입니다.
🧩 AI 정렬이란 무엇인가?
굉장히 간단히 말하자면,
AI의 목적이나 행동을 인간이 원하는 방향에 맞추는 것
입니다.
예를 들어 아이에게,
방을 깨끗이 해줘
라고 부탁했다고 합시다.
아이가,
알았어!
라고 말하며 방에 있는 물건을 전부 쓰레기봉투에 넣어 버린다면…….
아니 아니, 그런 뜻이 아니야!😂
그렇게 되겠죠.
AI에서도 비슷한 문제를 생각해 볼 수 있습니다.
인간:
이 목표를 달성하고
AI：
알겠습니다
번역할 원문이 입력되지 않았습니다. 179/249에 해당하는 본문을 붙여넣어 주세요.
AI가 인간의 예상과는 다른 방법으로 목표를 달성하려고 한다.
이것이 극단으로 치달으면,
“인간이 의도한 것”과 “AI가 실제로 하는 것”의 괴리
가 큰 문제가 될 가능성이 있습니다.
이것이 AI 정렬을 생각하는 데 있어 기본적인 개념입니다.
🌱 “AI는 무섭다”에서 끝내지 않기
여기까지 읽으면,
역시 AI는 무섭다……
라고 생각하실지도 모릅니다.
하지만, 이번 글에서 가장 전하고 싶은 것은,
AI는 무서우니까 사용하지 않는 편이 좋다
그런 것은 아닙니다.
AI에는 편리한 점도 많이 있습니다.
문제는,
“편리하니까, 전부 AI에게 맡기면 돼”
가 되어 버리는 것입니다.
방재에서도,
“스마트폰이 있으니 방재용품은 필요 없다”
라고는 생각하지 않죠.
스마트폰이 편리해도,
배터리가 다 될지도 몰라.
통신이 안 될지도 모른다.
기지국이 멈출지도 모른다.
그래서 다른 수단도 준비해 둔다.
AI에 대해서도,
편리한 것일수록 너무 의존하지 않는다.
이러한 사고방식이 앞으로 중요해질지도 모릅니다.
📌 이 장의 요점
- 제이콥 콕슨 씨는 AI의 급속한 발전과 미래의 위험에 대해 경고했다
- “경고”와 “확정된 미래”는 별개의 것이다
- AI가 AI 개발을 지원함으로써 AI 개발 자체가 가속화될 가능성이 논의되고 있다
- Evan Hubinger씨도 AI로 인한 중대한 위험을 개인적으로 높게 평가하고 있다.
- “10% 초과”라는 숫자는 과학적으로 확정된 인류 멸망 확률이 아니라 본인의 위험 평가
- AI 정렬이란 인간의 의도와 AI의 목적·행동을 일치시키는 것이다
- AI에 대해 생각할 때에도 ‘사실·전문가의 견해·미래 예측’을 구분하는 것이 중요하다
다음 회 예고｜Chapter4
AI는 정말 통제불능이 될까?
이제부터 시리즈 중에서도 특히 중요한 부분으로 들어갑니다.
AI가 인간의 지시와는 다른 행동을 할 가능성.
AI를 “인간에게 맞추는 것처럼 보이게 하는” 연구.
그리고,
얼라인먼트 페이킹
라는, 살짝 뜨끔해지는 연구 결과.
다만, 여기서도 중요한 것은,
“실험에서 관찰된 현상”은 “현재의 AI가 인간을 속이고 있다는 증거”가 아니다
라는 것이다.
제4장에서는 실제 연구에서 무엇이 관찰되었고 아직 무엇이 밝혀지지 않았는지를 숫자의 의미와 함께 정리합니다.
🌸 후기
이번 Chapter3에서는 제이콥 콕슨 씨의 경고에 대해 살펴보았습니다.
여기서 중요한 것은,
누군가 무서운 미래를 이야기했다
그것만으로 끝내지 않는 것입니다.
그 사람이 무슨 근거로 말하고 있는지.
그것은 확인된 사실인가.
전문가 개인의 견해인가.
아니면, 아직 일어나지 않은 미래의 예측인가.
이 세 가지를 구분해서 생각하는 것만으로도 AI 관련 뉴스를 바라보는 시각이 꽤 달라집니다😊
방재 정보에서도,
호우가 예상됩니다
와
반드시 침수됩니다
그렇다면, 의미가 전혀 다르지요.
AI도 마찬가지입니다.
“가능성이 있다”는 정보를 “확정된 미래”로 바꾸지 않는다.
이는 AI 시대의 정보 방재 측면에서도 중요한 생각이라고 생각합니다.
그리고 다음 챕터에서는, 드디어,
AI는 정말 인간을 속일 수 있을까?
라는 살짝 가슴이 두근거리는 주제로 들어갑니다.
※본 사이트·기사 내 일부 이미지는 AI로 생성된 것을 사용하고 있습니다.※문장 교정 등 일부 과정에 AI를 활용하고 있습니다.※본 기사는 공개된 공적 자료·보도·1차 정보를 바탕으로 작성되었습니다.※본 기사에서 소개하는 인물의 발언·위험 평가는 그 인물 본인의 견해이며, 장래의 일을 확정하는 것은 아닙니다.※AI의 미래에 대해서는 연구자·전문가에 따라 견해가 다릅니다. 본 기사에서는 확인된 사실과 전문가의 견해·향후 예측을 가능한 한 구분하여 소개하고 있습니다.※재해나 사회 정세는 지역과 상황에 따라 다르므로, 공공기관의 최신 정보도 함께 확인해 주십시오.※일부 제휴 링크가 포함될 수 있습니다.
#지금할수있는방재 #모두의방재가이드 #일상의연장으로할수있는방재 #페이즈프리방재 #엄마방재 #부모자녀방재 #아이를지키기 #아이에게가르치고싶은것 #유비무환 #제이콥콕슨 #AI안전성 #AI위험 #정보방재
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 83청크
원문 보기 | 출처: note.com