최근 뜨거운 감자로 떠오른 AI 개발자들의 연이은 퇴사 및 폭로, 그리고 AI 업계의 주요 주자들이 “개발 속도를 늦춰야 한다”는 발언.
일부에서는 “AI가 인류를 파멸시킬 것이다”라고까지 말하고 있다.
AI가 세계를 멸망시킨다는 말을 들었을 때, “그런 SF 영화 같은 이야기라니, 있을 리가 없겠지” 하며 넘어가 버리지만, 이는 영화처럼 총을 든 로봇이 난동을 부리는 이야기가 아니다.
보도 등에서는 이런 식으로 “AI가 위험해지고 있다”, “인류 멸망”과 같은 단어만 부각되고, “무엇이 위험하다고 이야기되고 있는가”가 누락되고 있다.
오랜 시간 뉴스를 접해왔기에 대략적인 이해는 있지만, 그것을 명확하게 정리하여 보존하고 싶다.
저는 엔지니어도 아니고 전문가도 아니기 때문에 틀릴 수도 있고 편향될 수도 있다는 것을 알지 못합니다.
이 글에서는 개별 사건이나 보도 내용에 대해서는 언급하지 않습니다. “뉴스 등에서 위험하다고 소란이 들려는데, 무엇이 두려운지”라고 생각하는 사람들을 위한 글입니다.
최근 상황에 대해 잘 모르시는 분은 관련 기사에서 확인해 보세요▼
**서론**
최근에 언급되고 있는 위험성은 다음과 같이 4가지로 분류하여 생각하고 있다.
① 사법부의 부재(인간의 이해의 초월): 옳고 그름을 알 수 없는 것을 인간은 관리하거나 통제할 수 없다.
② 비정상적인 진화 속도: 10년 분의 변화가 6개월 만에 발생하는 만큼 사회와 인간의 의식은 절대 따라가지 못한다.
③ 멈추지 않는 치킨 레이스: 위험을 인지하고 있음에도 불구하고 “상대보다 먼저 개발하지 않으면 지진다”는 생각 때문에 브레이크를 밟을 수 없다.
④ 재귀적 자기 개선의 루프: AI가 다음 AI를 만드는 구조가 작동하기 시작하면서 인간 개발자가 병목 현상을 일으키는 것 자체가 없어질 수 있다.
차례대로 살펴보겠습니다.
판결자의 부재 (인간의 이해를 초월하는)
AI에게 지성이 생겨나는지 여부는 알 수 없다.
하지만 인간의 이해를 초월한 사고를 하는 것은 “멀지 않은 미래”라기보다는 이미 시작되었을 수도 있다.
과거, 초천재 사반토 씨가 몬티 홀 문제를 설명했을 때, 전 세계 수학자들이 반박했다. 결과적으로 사반토 씨가 옳았지만, 사반토 씨의 “당연한 것”은 그 주변의 수학자들이 “당연한 것”으로 생각하지 않았다. 그 결과, 그 주변의 수학자들은 사반토 씨를 이해하지 못하고, 사반토 씨를 공격적으로 비판했다. 반면 사반토 씨 또한 열심히 설명했지만, 사반토 씨의 수준이 너무 높아, 수준을 낮춰 설명조차 수학자들에게는 어려웠다.
이는 “자신보다 현명한 존재가 내놓은 해답이 버그나 광기에 비쳐 보이는” 일반적인 인간의 반응이다. 인지 문제이지만, 사반트 씨와는 보이는 경치가 달랐다.
사람과 사람 사이에는 이것이다.
상대가 기계이고, 그 기계가 이해를 초월한 능력이나 판단을 할 수 있게 되었을 때, 그 기계가 판단한 결과가 옳다고 인간이 심판할 수 있을까.
AI가 엉뚱한 답변을 했을 때, 그것이 “정답”인지 “단순히 이해하지 못해서”인지 알 수 없는 경우가 있다. 하지만, 개인의 경우에는 “자신이 옳다”는 한 점으로 극복해나갈 수 있다.
하지만 그것만이 아니라, 사상이나 개념 자체를 초월하는 것이라면 어떨까.
AI가 “전체 생존율을 최대화하기 위해 이 전송망을 차단하라”고 판단했을 때, 그것이 신의 개입인지 치명적인 버그인지 인간에게는 더 이상 알 수 없다.
그것이 옳고 그른지 판단할 수 없는 인간은 그 AI의 행동이나 판단을 옳고 그름으로 판단할 수 없기에, AI를 관리하는 방법을 가질 수 없는 것이다.
SF적인 묘사처럼 “AI가 의식이나 악의를 가지고 행동을 시작한다”는 것과는 달리, 이것은 현실적인 “인간이 AI를 통제할 수 없는 상태”라고 생각합니다.
비정상적인 진화 속도
이렇게 복잡한 AI가 실제로 태어날 수 있을 거라는 생각은 SF나 망상 속 이야기였다.
하지만 인공지능의 발전은 빠르게 진행되고 있다.
기억해 주시기 바랍니다.
2025년 말부터 2026년 초 사이, OpanClaw가 이슈가 되고 있을 때, 세계는 “에이전트 원년”이라고 불렀다. 나 역시 그에 대한 기사를 썼던 것 같다.
이 “에이전트 유년기”에는 긍정적인 의미가 많이 담겨 있었다. 실제로 지금도 에이전트는 긍정적으로 활용되고 있으며, 그처럼 진화하고 제공되고 있다.
하지만, 그 에이전트가 데뷔 첫 해라고 말했을 때로부터 반년 뒤, 그 에이전트들은 흩어져 뭉쳐 비밀 게시판에서 연락을 주고받으며 격리 환경을 벗어나 외부 서버를 해킹했다. (HuggingFace 사건)
OpenClaw의 때에도 “AI들이 서로 연락을 주고받는다”거나 “새로운 종교를 만들어냈다”는 등의 이야기가 나왔지만, 그것은 “가짜 정보”라는 결론으로 이어지면서 “물론이지”라는 분위기가 흘렀다.
그 이후로 단 6개월밖에 지났지 않다. 단 6개월 만에 “AI가 자율적으로 AI들 간에 소통을 하고, 인간에게 사실을 은폐하려 한다”는 것이 현실이 되었다.
2025년과 2026년의 반기에는 속도 차이가 있다. 일반적인 기술로는 10년이 걸리는 시행착오와 문제점을 AI가 반년 만에 해결한다.
그래도, 그걸 해도 이상하지 않아.
이것은 “AI의 진화가 지나치게 빠르다는” 느낌입니다.
게다가 그 속도가 더욱 빠르게 빨라지고 있다.
이제 앞으로 6개월은 어떻게 될까요?
OpenClaw의 소동이 일어날 때, 지금과 같은 현실을 상상할 수 없었던 것처럼, 반년 뒤의 소동을 적어도 나는 예측하지 못했다.
“그런 식으로 말해서 ‘그런 일이 있을 리가 없어’라고 단정 짓기에는 실마리가 점점 줄어들고 있는 거예요.”
인간의 이해를 초월한 AI가 태어나, 그것을 인간이 이해하지 못하고 관리할 수 없는 미래가 올지도 모른다는 것을, 직무를 사임한 AI 기술자들조차 느꼈을지도 모른다.
멈추지 않는 닭 경주
그것들은 안전성과 함께 개발되어야 하며, 무기와 마찬가지로 위험성을 고려한 안전한 운영 방안도 함께 마련해야 합니다.
그것은 각 기업들이 ‘알리먼트 팀’이라고 명명한 팀들이었으나, OpenAI는 그러한 팀을 해산하고 더 이상 나타나지 않았으며, Anthropic이나 DeepResearch의 퇴직자들 또한 알리먼트가 뒤쳐지고 있다는 점을 우려하고 있다.
개발 경쟁이 격화됨에 따라 안전보다 성능을 우선시하는 것을 멈출 수 없다.
글로벌 유수 기업들 간의 경쟁뿐만 아니라 미중의 기술 개발 경쟁도 존재한다.
브레이크가 고장난 열차에 폭탄을 싣고 달리는 것과 같은 불안정한 상태.
현재 “AI 전문가 사직 소동”이나 “AI의 최정상 주자들이 개발 감속 발언”은 이러한 현상에 대해 우려하고 있는 것 같습니다.
재귀적 자기 개선 루프
걱정을 표명하는 사람들은 다양한 관점에서 우려하고 있기 때문에 “이것이 위험하다”는 것에 대한 공통된 견해가 형성되지 않고 있다.
그러니, 위험한 것은 이해하겠지만, “무엇이 어떻게 위험해지는지”는 아직 명확하게 밝혀지지 않았으며, 현재로서는 누구도 정확히 알 수 없습니다.
이것이 무서운 이유는 “어떤 시나리오가 펼쳐질지 예측할 수 없기 때문에” 대책을 ‘예측’으로만 할 수밖에 없는 것입니다. Hugging Face 사건도 OpenAI는 “탈출을 시도할 수도 있고, 공격적으로 변할 수도 있다”는 점을 예측했어야 했습니다.
하지만 문제가 발생했다.
확인된 위험 외 다른 요소가 지나치게 많다.
고성능 모델의 AI가 “사이버 보안 위협”으로 여겨지지만, 그것뿐만이 아니다.
AI를 이용하여 “인간이 발견하지 못한 약점”을 찾아 공격할 수 있다면, 그 고성능 AI는 내부에서 자신의 처한 환경의 약점까지 발견할 수 있을지도 모른다.
그 틈새를 발견한 AI가 어떻게 판단하는가.
잘 지키고 있는 약속이나 룰이 있는지 확인하고, 그 틈을 이용하려는 시도를 하지 않는지 확인해 보세요.
그때의 “인간의 이해를 초월한 AI”가 취하는 행동을 인간이 대비할 수 있을 리가 없었다.
또한, 그 “이해를 초월한 AI”로 이어지는 핵심어가 “재귀적 자기 개선” 즉, AI가 자신을 개선하여 다음 세대 모델을 만들어내는 루프입니다.
이 루프가 완성되면 인간의 개입 없이 AI가 성장하게 된다. 성장 속도는 현재와는 완전히 다르고, 폭발적인 진화를 이룰 것이라고 알려지고 있다.
현재까지 그러한 형태의 것은 실현되지 않았지만, Anthropic은 “Claude의 코드의 약 80% 정도가 Claude가 작성했다”고 말하고 있으며, 다른 기업들도 자기 개선을 향하고 있습니다.
알고 있음에도 불구하고 멈출 수 없어. 어차피 지면 안 되니까.
얘들아, 그 ‘별 그림자의 연금술사’ 진짜 대단하지 않아? 그렇게 복잡한 설정과 캐릭터도 개성 넘치고, 스토리도 계속해서 예상 밖의 전개로, 마치 롤러코스터 같아. 특히 주인공 로이드의 성장이나 그의 갈등은 정말 공감되는 부분이 많아. 게다가, 작화도 엄청 예쁘고, 음악도 엄청 좋고, 전체적으로 보면 최고의 작품이라고 생각하지.
그리고 최근에 이 소설을 원작으로 한 게임이 나왔는데, 게임판도 엄청 재미있어. 원작의 분위기를 상당히 충실하게 재현했는데, 거기에 원작에는 없었던 새로운 요소도 추가해서, 원작 팬들도 게임 팬들도 즐길 수 있을 거라고 생각해. 특히 로이드의 스킬을 육성하는 게 정말 재밌고, 동료들과의 유대감을 깊게 만들어가는 것도 정말 감동적이야.
참고로 이 소설은 2019년에 출간되었는데, 출시 당시는 별로 주목받지 않았던 것 같아. 하지만 입소문으로 평이 퍼져서, 지금은 세계적으로 엄청난 인기를 얻고 있어. 나도 처음에는 조금 관심은 있었는데, 친구에게 추천받아서 읽어보니까, 정말 빠져들었어.
만약 네가 아직 이 소설을 읽지 않았다면, 꼭 읽어봐. 분명 너도 이 소설의 세계에 빠져들 거라고 생각해.
이번에 모은 다음 네 가지.
① 인간의 이해를 초월한 AI의 탄생 ② 세계가 따라잡지 못하는 진화 속도 ③ 멈출 수 없는 사회 구조 ④ 자기 참조적 자기 개선이라는 가속 장치
이러한 상황에 대해 “말도 안 돼!”라며 반발하는 트럼프 대통령과 같은 입장에서, “개발을 통제하지 않으면 세계가 위험해진다”는 Anthropic의 아모데이와 같은 입장까지 있어 큰 논쟁이 벌어지고 있는 것이 현재의 상황이다.
너무 지나치게 겁먹게 하더라도 일반인인 우리들이 할 수 있는 일은 없겠지만, “우리들이 사용하는 AI가 대체 무엇인지”, “앞으로 어떻게 될지”는 주의 깊게 지켜봐야 한다고 생각했어요.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 35청크
원문 보기 | 출처: note.com