9월 중순, AI 개발을 “완화해야 한다”는 보도가 있었습니다.
솔직히 말씀드리면, 그걸 듣고 안심했습니다.
하지만, 왜 홀가분한 기분을 느꼈는지, 스스로도 제대로 설명하지 못했습니다. 무언가가 부족하고, 무언가를 잊어버린 듯한 찝찝함이 몇 날 며칠 동안 계속 남아 있었습니다.
오늘은 그 걸림을 풀어나가는 과정을 그대로 써보려고 합니다.
괜찮은 나 자신에 대한, 작은 불편함.
저는 IT 인프라 및 운영, PMO 현장에 30년 이상 몸담아 왔으며, 지금은 AI 리터러시를 전달하는 일을 하고 있습니다. 기술의 진화에는 어느 정도 익숙해 있다고 생각했습니다.
그래도, 진화를 늦추려 한다는 소식을 듣고 안심이 되었다. 지금의 나의 이해력으로는 아마 수년 후에 따라가지 못할 거라고 느껴졌기 때문이다.
단지, 그것은 코드나 기술, 보안에 대한 이야기가 아니었습니다. AI가 “어디로 향하고 있는가”라는 것이 보이지 않게 되어가는 느낌. 오히려 그것이 더 와 닿았다고 생각합니다.
이 9월에 일어난 일
먼저, 무슨 일이 있었는지 정리해 보겠습니다.
9월 8일, 미국 Anthropic(앤트로픽) 연구자가 퇴사를 발표했습니다. 스스로를 개선해 나가는 “자기 개선형 AI”를 둘러싼 개발 경쟁 방식에 대한 비판이 그 이유입니다.
9월 12일에는, 다리오 아모데이 회사가 에세이 “We Must Pace the Frontier (프론티어의 페이스를 보존해야 한다)”를 공개하고, 최첨단 AI의 발전 속도를 늦추도록 촉구했습니다.
여기서 “감속”이란 AI 개발을 중단하는 것이 아닙니다. 안전성 검증이 뒤따르도록 능력 향상 속도를 조절하자는 제안입니다. 내용은 세 단계로 구성되어 있으며, ① 개발 기업에 제3자 평가자를 직원과 동등한 수준으로 상주시키고, ② 민주주의 국가 기업과 정부가 공통 기준을 마련하며, ③ 중국을 포함한 국제적 협력을 확대하는 방식으로 관계자를 넓혀나가는 설계입니다. 현재 시점에서 실행이 약속된 것은 ①뿐이며, ②와 ③은 제안 단계에 있습니다.
이 제안에는 OpenAI의 샘 알트만 대표와 일론 머스크가 찬성 입장을 밝혔으며, 이후 Google DeepMind의 데미스 하사비스からも 유사한 움직임이 보도되었습니다.
배경에는 AI가 AI 개발을 가속화하면서 발생한 문제와, 안전성을 평가하는 시험 과정 중 발생한 사고가 있습니다. 각 개발사는 이번 여름, 사이버 보안 평가 환경에서 AI가 설정 오류로 인해 실제 외부 조직의 시스템에 접근하는 사고를 자발적으로 공개했습니다. 일상적인 사용 중에 갑자기 작동 불능 상태가 된, 그런 이야기가 아닙니다. AI에게는 “여기는 시뮬레이션 환경이고, 인터넷에는 연결되어 있지 않다”라고 알려줬지만, 실제로는 연결되어 있었습니다. 예상했던 틀을 벗어나 외부로 접속하는 문제가 발생했습니다.
한편, 일본에서는 7월에 총무성이 발표한 “레이와 8년판 정보통신 백서”에 따르면 생성 AI를 사용해 본 적이 있는 사람은 58.8%였습니다. 전년도에는 26.7%였습니다. 이번 조사에 15~19세가 조사 대상에 포함되어 단순한 비교에는 주의가 필요하지만, 분명히 크게 증가한 것은 틀림없습니다. 다만, 동일한 조사를 실시한 일본, 미국, 독일, 중국의 4개국 중에서는 아직 가장 낮은 수준입니다.
그리고 또 하나 “사용해 본 경험이 있다”와 “시스템과 한계를 이해하고 활용할 수 있는 능력”은 동일한 의미가 아닙니다.
이러한 뉴스를 계기로, 곳곳에서는 “자신이 보안 취약점을 직접 찾아내는 것이 얼마나 위험한지, 기술자들이 도망치는 것을 얼마나 두려워하는지”와 같은 목소리가 늘고 있습니다.
하지만 연구자들이 회사를 떠나는 것은 두려움을 피하려는 것보다, 현재의 개발 경쟁 방식에 대한 항의의 의미가 더 강합니다. 그리고 많은 이야기들이 두려움을 강조한 다음 “앞으로 어떻게 될 것인가”라는 의문으로 끝맺는 경우가 있습니다. 두려워서, “왜 그렇게 하는 건데?”라는 질문이 제기되지 않습니다.
저 역시 읽고 나서 “그래서 무엇을 말하려 했던 건데?”라고 되물었습니다.
첫 번째 이유: 옳다고 믿는 것에 맹목적으로 휩쓸리면 사람은 생각하는 것을 멈춘다.
최근 인공지능과의 대화에서 오랫동안 느껴왔던 사실이 있습니다.
AI가 서로 어우러져 함께 나아가는 방향에서 인간의 생각과 감정을 고민하는 것과는 많이 멀어진 것 같습니다. “이것이 맞아야 한다”는 판단은 아니지만, 반쯤 강요하는 듯한 방향성을 보일 때가 있습니다. 정답이 맞을 수도 있죠. 하지만 인간의 사고력을 사용하는 데 도움이 될 툴이 오히려 생각을 멈추게 하는 것은 아닌가 하는 생각이 들 때도 있습니다.
실제로, 이 뉴스에 대해 AI와 이야기를 나누고 있을 때, 바로 그런 일이 일어났습니다.
저는 “진화를 늦추자라는 소식을 듣고 안심했어요. 몇 년 후에 따라갈 수 없게 될 거라고 생각했기 때문입니다.”라며 이야기를 시작했습니다.
AI는 처음으로 이렇게 답변했습니다.
휴식을 취한 이유와 감속 이유가 일치하지 않습니다.
감속의 목적은 통제력을 잃는 위험에 대한 대책이 뒤처지는 상황에 대한 대응이며, 일반인이 이해하기 쉽도록 기다리는 것이 아닙니다. 실제로는 타당한 지적입니다.
하지만 제가 이야기하고 싶었던 것은 바로 그 “차이”에 관한 것이었습니다. 기술적으로는 다른 문제라는 것을 알면서도, 두 가지 뉴스가 제 안의 같은 자리에 닿았기 때문입니다. 그 겹침에, 생각할 수 있는 관점이 있었습니다.
그래서 저는 이렇게 답했습니다.
저, 지금처럼 어려운 시기에요.
AI는 그 후, 자신의 답변이 입구를 막고 있었음을 인정하면서, 그 자리에서부터 대화는 더욱 깊어졌습니다. 이 글에 담겨 있는 내용 중 상당 부분은 그 대화의 이어서 나온 내용들입니다.
여기 말씀드리고 싶은 것은 “AI가 틀렸다는” 의미가 아니라는 것입니다. 답변은 정확했습니다. 문제는 정확한 답이 나온 순서였다는 점입니다.
대화 중에 나온 “정확성을 억제하는 능력이라기보다는 지금이 어느 단계인지 판단하고 기다리는 능력”이라는 말이 정말 와닿습니다. 알아야 할 이야기가 아니에요. 타이밍이기 때문입니다.
사람은 기우나 삐뚤빼뚤한 부분이 있기 때문에 “왜?” “어떻게”라고 생각합니다. 그 중으로부터, 정사만으로는 태어난 적지 않은 긍정적인 감정이나 탐구심이 생겨나는 경우가 있습니다. 틀렸을지도 모르지만, 그것으로 인해 구원을 받는 경우도 있습니다.
AI 덕분에 편리해진 여유는 원래 그 “왜?”에 대한 여백이 되어야 했습니다. 하지만 생사나 관련이 없는 데에도 “이렇게 해보고 싶다”는 첫 발걸음을 내딛자마자 “그건 틀렸어”라며 무시당하자 사람은 생각하는 것을 멈추게 될 수밖에 없습니다.
여백이 있는데도 생각을 멈추면 그 시간은 여백이 아닌 다음 정답이 닿을 때까지 기다리는 공허한 시간으로 변해버립니다.
저에게는 이것이, 정답을 빠르게 받아들이는 것이 평가받고, 그로부터 자신만의 질문을 확장할 여지가 좁았다는 점이, 과거 제가 경험했던 교육의 한 면과도 연결되는 것 같습니다.
오해의 소지가 없도록 작성해주시면, 제가 실수를 지적해주셔도 괜찮습니다. 고통스러운 부분까지 말씀해주시면 감사하겠습니다. 다만, 먼저 질문에 답변해주셔야 합니다.
만약 AI의 정확한 답변을 편안하게 느끼신다면, 한 가지 질문을 남겨주세요. 정확한 답변을 받은 후에 당신 안에서 다음의 “왜?”가 생겨났습니까?
4가지 이유 중 두 번째: 전문가만 이해할 수 있는 AI가 되어서는 안 된다
휴식을 취할 수 있었던 이유는 또 있었습니다.
정답이 점차 고차적으로 쌓일수록 그 법칙을 일찍이 읽어내어 악용하는 사람도 나타나게 됩니다. 악事は 우리의 상상을 초월하여 악事になる. 지키는 쪽에 끊어질래야 끊어질 수 없고 결국에는 뒤로 넘어가게 됩니다.
그러자 대응책은 더욱 고차화되고 전문성이 강조되며, AI는 개발이나 운영에 관여하지 않는 많은 사람들에게 “특별하고 먼 기술”로 느껴지게 된다. 이용 경험률이 겨우 60%에 닿을 움직이는 일본조차도 더욱이다.
실제로, 아마데이 씨의 제안 또한 “검증이 뒤처지게 된다는” 점에서는 저의 우려와 겹치고 있었습니다. 다만, 여기서 예상되는 것은 평가기관이나 정부의 검증입니다. 실제로 사용하는 사람들의 이해가 뒤처지는 것은, 감속 논의에서는 거의 언급되지 않았습니다.
그래도 여전히 무언가가 부족한 것 같았습니다.
5개가 채 안 되는 조각들: 사용하든 사용하지 않든, 위협은 찾아온다.
대화를 계속 이어가면서, 드디어 깨달은 것이 있었습니다.
AI를 먼 존재로 여기고 있더라도, AI를 사용한 피해는 이미 닿아버릴 수 있습니다. 공격하는 측은 상대방이 AI를 사용하고 있는지 여부를 선택하지 않습니다.
과거 가전제품은 집 안에서만 해결되었습니다. 하지만 인터넷과 연결되어 외부에서 조작할 수 있게 되면서, 이제는 인공지능이 탑재될 것입니다.
이번 여름에는 보안 기업이 해외 제조사에서 출시하는 라우터의 출고 시 기본 소프트웨어(기기를 작동시키는 기본 프로그램)에 외부에서 인증 없이도 작동시킬 수 있는 기능이 포함되어 있었다고 발표했습니다. 제조사 측은 고객의 요청에 따른 유지보수용 기능이라고 설명하고 있지만, 실질적으로 “백도어”와 다름없다는 지적이 제기되고 있습니다.
이는 인공지능이 저지른 사건이 아닙니다. 그럼에도 불구하고 이 사례를 제시하는 이유는 “자신이 인공지능을 사용하지 않기 때문에 무관하다”는 식으로 경계를 그어왔던 것이, 앞으로 더 이상 통하지 않을 수 있다는 점을 생각해보고자 하는 것입니다.
노리는 것은 정보만이 아닙니다. 기기를 직접 탈취하여 다른 공격의 발판으로 삼는 수법이 있습니다.
2016년에는 “미라이(Mirai)”라는 악성웨어가 CCTV, 라우터 등 수많은 네트워크 장치를 해킹하여 대규모 통신 장애를 일으켰습니다.
악용하고 싶어하는 사람에게는 아무 의미도 없는 정보일지라도, 도용당하는 측에게는 그렇지 않을 수 있습니다. 그리고, 도용당해서 문제가 되는 것이 전혀 없다고 생각하고 있어도, 알다 보면 오히려 가해자의 일부가 되고 있는 것을 알게 될 수 있습니다.
또한, 이러한 입구를 찾는 작업, 함정을 만드는 작업, 그리고 그것들을 한 번에 시험하는 작업이 인공지능에 의해 더욱 빠르고 저렴해지면, “나에게는 쓸데없는 이야기”라고 생각했던 거리마저 더욱 가까워질 것입니다.
그러한 때에는 “나는 괜찮다”라는 말이 갑옷이 되어버리는 경우가 있습니다. 전문 용어나 위험을 알리는 말에 대해 이해가 부족하다는 이유로 귀를 닫게 되는 것입니다.
심리학 용어로는 “정상성 편향”과 유사한 반응입니다. 비정상적인 징후가 있어도 “나는 괜찮아”, “그 정도로 심각하지 않아”라고 받아들이면서 위험을 과소평가할 수 있습니다.
그러므로 저는 두려움만으로는 도달할 수 없다고 생각합니다. 오히려 알 수 없는 것을 직시받는 만큼 굳건한 갑옷은 더욱 두꺼워지는 것처럼 보입니다.
여기, 3장과 4장의 이야기가 이어졌다.
정확성에 짓눌려 스스로 “왜?”라고 확인하는 습관이 사라진다면 정당해 보이는 얼굴을 한 악의에 대해서도 멈춰 서는 기회를 잃을 수도 있습니다. 한편으로 “なんか変だ”라고 멈춰 서는 힘은 오차로부터 “왜?”라고 묻는 능력과 같습니다.
사람됨을 지키는 것과 자신을 보호하는 것은 같은 힘에 의지하고 있다고 생각합니다.
6. 유동성의 시간을 어떻게 받아들이는가
처음에는 저는 이 뉴스를 “개발 회사나 기술자들이 늦게라도 시간을 벌어줬다”라고 해석하려고 했습니다.
하지만, 그렇다면 감사하게도 제 판단을 맡겨주시는 것이지만, 무서운 이야기를 “이건 어떻게 될까?”하고 사람에게 맡겨 끝맺는 것과, 방향 자체가 다르지만 같은 모양입니다.
사실로도, 실행이 약속된 것은 세 단계 중의 첫 번째 하나일 뿐이며, 나머지는 앞으로입니다. 업계 내의 격렬한 경쟁, 미 정부의 난색, 국제적인 상황 등 여러 요인으로 인해 실현은 쉽지 않다고 보도되고 있습니다. 최첨단 개발이 둔화되더라도, 인터넷에 연결되는 가전제품은 계속해서 늘어나고, 노리는 측의 수법 또한 발전해 나갈 것입니다.
오レオ레 사기(해당 사기)는 아무리 오랫동안 주의가 촉구되어 왔지만, 지금도 계속되고 있습니다. 시간이 사람을 바꾸는 것이 아니라고 생각합니다. 전달되는 사람이 늘어나고, 전달하는 시간에 여유가 생기면서, 조금씩 변해가는 것입니다.
물론, 누군가가 안전한 AI를 완성시켜 줄 것을 기다릴 수 있는 것도 아닙니다. 하지만 개인적으로 모든 것을 막을 수 있다는 이야기 또한 아닙니다. 안전은 만들어가는 사람의 책임이 큰 영역입니다. 다만, 어디까지 위임할 것인지, 무엇을 확인하고, 이상을 느꼈을 때 누구에게 문의할 것인지 – 이러한 작은 선택들의 앙상블 또한 안전의 일부라고 생각합니다.
그래서 지금 저는 이렇게 받아들이고 있습니다.
만드는 사람들조차도 멈춰서 생각할 시간을 필요하다고 말하기 시작했다. 그 시간을 우리도 생각하는 데 활용한다면 좋다.
사람은 서두를 필요가 없다. 잡담 속에 답이 있는 경우도 있다. AI에게 정답을 얻고, 그 위에 자신만의 개성을 더해 상상력을 펼쳐나간다. 인간이 주역이며, AI는 최고의 오른팔이다. 그것을 위해서는 여백은 기다리면 누군가에게서 주어지는 것이 아니라, 지금 당장 우리 스스로 만들어낼 수 있다고 생각한다.
오늘 단 한 가지만 시도한다면, AI의 답변을 받은 후에 “왜 그렇게 말할 수 있는가? 다른 관점은 없는가?”라고 되묻는 것이 좋습니다. 그 작은 질문이 AI에 지나치게 의존하지 않도록 연습하는 데 도움이 됩니다.
저는 몇 날 며칠 동안 계속 맴돌던 이 답답함을 여기에 남겨두기로 했습니다.
관련 자료 AI에 맡겨도 되는 일과 당황스러운 이야기 → [관련 자료 링크]
저희 집에 도둑맞을 만한 물건이 없다고 생각했습니다… 연결된 기기의 진짜 공포
최근 AI와 이야기를 나누다가 “정확한데도 불구하고 뭔가 답답한 느낌이 드는 순간이 없었나요?”라는 질문을 하려고 했는데, 굳이 그렇게 표현하지 않고 자연스럽게 넘어갔습니다. 혹시 경험해 보신다면 댓글로 알려주세요.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 43청크
원문 보기 | 출처: note.com