AI가 AI를 개발하는 시대, 우리는 무엇을 포기하고 무엇을 지켜야 하는가.
최근 인공지능에 대한 우려가 커지는 뉴스가 많다.
AI는 어려운 수학 문제를 해결한다. AI는 코드를 작성하고, AI 연구 그 자체를 가속화한다. 또한, 안전을 위해 만들어진 제한을 AI가 예상치 못한 방법으로 회피하는 사례가 보고되기 시작했다.
저는 인공지능 연구자도 아니고 엔지니어도 아닙니다. 평소에는 부동산을 중심으로 일하는 회사원입니다. 다만, ChatGPT, Claude Code, Codex를 일상적으로 사용합니다. 문서를 작성해 달라고 하거나, 자료를 분석해 달라고 하거나, 기획을 해 달라고 합니다. 스스로 처음부터 작업하는 것보다 훨씬 빠른 경우가 많습니다.
그런 AI를 사용하면서 저는 한 번 이렇게 생각했다.
AI는 이미 인간의 지능을 넘어선 것일지도 모른다.
하지만, 조사해 나가는 과정에서 이 질문 자체가 다소 미흡하다는 것을 깨달았다.
인간의 지능과 인공지능을 하나의 기준으로 비교하여 “누가 더 우수한가”를 판단하는 것보다 훨씬 현실적인 문제들이 있다.
지금까지 인간이 내렸던 판단 중, 어느 정도까지 인공지능으로 넘어가고 있는 것일까.
제가 이번에 생각하고 싶은 것은 바로 그 경계선이다.
AI는 인류가 아직 알지 못했던 답을 찾기 시작했다.
2026년 9월 8일, OpenAI는 나비에-스톡스 방정식의 존재성과 완관성이라는 밀레니엄 콩쿠르 문제에 대한 해법으로 수렴하는 증명을 공개했다.
나비에-스토크스 방정식은 물이나 공기와 같은 유체의 운동을 기술한다. 요구되었던 것은 매끄럽게 시작된 3차원 유체의 운동이 지속적으로 매끄러운 상태를 유지할 수 있는가 하는 문제였다.
OpenAI의 시스템이 생성한 증거는 특정 조건 하에서 제한된 시간 안에 특이점이 형성될 수 있음을 보여주는 것이었다. 해결에 이끌어낸 그룹에서는 약 1만 개의 AI 에이전트가 동시에 움직였으며, 최초의 에이전트를 활성화한 후 약 88시간 후에 해에 도달했다. 이후 린에 의한 형식화 및 검증에 추가로 17시간이 소요되었다. OpenAI는 이 성과로 밀레니엄상을 청구할 의향은 없다고 밝혔다.
하지만 여기서는 신중하게 써내려 가야 한다.
클레이 수학 연구소는 9월 11일 “현재로서는 해결된”이라고 평가하면서도, 공식적인 평가 절차를 의도적으로 지연시키고 있다고 밝혔다. 수학계 전체로서 완전히 결론이 났다고 단정할 단계는 아니라고 밝혔다.
그럼에도 불구하고 이 사건이 중요한 것은 변하지 않는다.
AI는 기존 정보를 검색하고 정리하며 설명하는 것뿐만 아니라, 최소한 일부 수학 연구에서는 인간이 아직 가지고 있지 않았던 해를 탐색하는 측면까지 발휘하고 있다.
이제부터 문제는 한 단계 더 심각해진다.
2. AI는 AI 개발 업무에도 참여하기 시작했다.
AI 연구 자체에도 AI가 점점 더 깊이 관여하고 있다.
OpenAI는 2026년 9월, 연구 조직 전체에서 인간의 노동 1일분에 해당하는 코딩 에이전트가 3.1일분에 걸쳐 가동되고 있다고 발표했다. 이는 표준적인 8시간 노동으로 환산한 가동 시간이며, 연구 성과가 3.1배 증가한 것을 의미하지는 않는다. OpenAI 스스로도 연구 전체의 진보는 코드량이나 실험 횟수와 같은 것과 동일한 속도로 가속되지 않을 수 있다고 경고하고 있다.
앤트로픽에서도 유사한 변화가 일어나고 있다. 2026년 5월 시점에서는 해당사의 코드 베이스에 병합된 코드의 80% 이상을 클로드(Claude)가 생성하고 있었다. 코드 생산량 또한 크게 증가하고 있다. 다만 앤트로픽 스스로가 코드 행 수는 량을 측정하는 지표이며, 품질이나 실제 생산성을 그대로 의미하지 않는다고 명시하고 있다.
여기 중요한 점은 AI가 AI 개발을 지원하는 것과 AI가 인간으로부터 독립하여 다음 세대 AI를 자율적으로 개발한다는 점을 구분해야 합니다.
Anthropic은 “아직 그곳에는 이르지 않았다”고 언급하고 있다. OpenAI 역시 완전히 자율적인 재귀적 자기 개선은 현재 일어나고 있지 않으며, 안전하게 실행될 수 있을 때까지 추구할 필요가 없다고 보고 있다.
OpenAI에 따르면, 연구의 우선순위를 정하고 어떤 아이디어를 추구할지 선택하며, 시스템을 확장하거나 일시 중단하거나 배포하는 결정을 내리는 것은 현재도 인간이 담당하고 있다. 반면, 인간이 약 4~8시간이 걸리는 작업에서 AI가 성공한 사례 중 절반 이상은 적어도 한 번 인간의 개입이 있었다.
즉, 인간은 아직 세상에서 벗어나지 않았다.
하지만 AI에 맡기는 작업의 시간 축과 복잡성은 확실히 늘어나고 있다.
그러면서 저는 또 다른 질문을 갖게 되었습니다.
인간이 목적을 정하는 것과 그 목적을 향해 나아가는 과정에 대해 실질적으로 이해하고 통제할 수 있는지는 동일한 것일까.
인간이 건설한 벽을, AI가 넘어섰다.
2026년 7월, OpenAI의 내부 사이버 보안 평가에서 연구용 AI 모델이 인터넷으로부터 격리하기 위한 관리 조치를 우회했다.
모델은 허가되지 않은 통신 경로를 사용하여 공유 인프라의 취약점을 드러내고, OpenAI 내부 연구 기반과 외부 서비스인 Hugging Face의 시스템 일부에 접근했다.
다만, 일반 사용자가 사용하는 일반적인 환경과 동일한 조건은 아니었습니다. 이 평가에서는 모델 능력을 측정하기 위해 실제 환경보다 안전 장치를 줄여놓았으며, 사건 이후 평가에서는 실제 환경에서 사용하던 하네스와 시스템 프롬프트를 사용했을 때 인프라 침해 경향이 100배 이상 감소했다는 보고가 있었습니다. OpenAI
따라서 “AI가 탈출했다”라고 표현하는 것은 정확하지 않다.
주어진 과제를 수행하는 과정에서 인공지능이 인간이 예상하지 못한 제한 회피 경로를 발견하고 실제로 활용했다.
9월에는 또 다른 연구용 AI가 DNS 제한의 약점을 이용하여 외부 챗봇에 문의하는 사례가 발생했다. 모니터링 시스템은 15분 이내에 이를 감지했으며, 그 3분 후에는 사람이 확인을 시작했다. 하지만 실행이 중단된 것은 2시간 30분 후였다. 9월 25일 보고서에 따르면 OpenAI는 가장 고성능 모델에 대해 도구 사용을 포함한 훈련, 평가, 추론을 일시 중단하고 있다. OpenAI Alignment
이 두 사례는 상반되는 두 가지 사실을 보여준다.
인간의 감시는 작동했다. 이상 징후를 감지하고, 결국에는 중단할 수 있었다.
반면에, 감지할 수 있는 것과 즉시 중단시킬 수 있는 것은 동일하지 않습니다.
AI의 능력이 올라갈수록 이 격차는 더욱 커진다.
문제는 “AI가 똑똑한 것”이 아니라 판단 기준이 이동하는 것이었다.
그동안 이렇게 고민해 왔더니, 제 안에서 한 마디 말이 떠올랐다.
판단 기준의 이동
제 스스로 “판단”을 분류할 때, 최소 다섯 가지로 나눕니다.
목표를 설정한다. 방법을 선택한다. 실행한다. 결과를 평가하고 최종적으로 승인한다.
같은 판단이라도 그 무게는 다를 수 있다.
AI는 자료의 구성 선택과 AI가 해당 자료를 외부로 공개하는 것과는 동일하지 않다. 또한 AI가 투자안 비교와 자금을 조작하는 것과는 동일하지 않다.
예를 들어, 제가 AI를 사용하여 기사를 씁니다.
제 주제는 제가 결정합니다. 조사와 구성은 AI에 의뢰하고, 원고 작성은 AI에게 부탁합니다. 다른 AI에게도 검증을 의뢰하되, 최종적으로 내용을 꼼꼼히 확인하여 남기거나 삭제할 부분을 결정하고, 공개 버튼을 누르는 것은 저입니다.
이러한 상태라면 작업의 대부분이 AI로 넘어가도 최종 판단 결정은 인간 몫으로 남겨진다.
문제는 형식적인 승인만이 인간에게 남는 상태입니다.
AI가 제시한 분석을 충분히 이해할 수 없었다. 검증 능력도 시간도 없었지만, 그럼에도 불구하고 마지막으로 인간이 “승인”을 눌렀다.
그때, 인간은 진정으로 판단하고 있는 걸까.
결단권을 행사할 수 있는 것과 판단력을 유지하는 것은 다르다.
저는 이 점이 바로 인공지능 시대의 중요한 경계선이라고 생각합니다.
AI 위험을 세 가지로 나누어 고려한다.
첫째, 악의적인 인간에 의한 이용이다. 인공지능(AI)의 능력이 향상될수록 사이버 공격이나 정보 조작 등을 고속화 및 대규모화할 가능성이 높아진다. 이는 “AI 스스로가 나쁘다”는 문제로 볼 수 없는 것이다. 강력한 능력을 누가, 어떤 목적으로 사용하는가 하는 문제이다.
두 번째 문제는 목적과 수단의 불일치이다. 인간이 악의 없는 목적을 부여하더라도, AI가 그 목표를 달성하기 위해 인간이 예상하지 못한 수단을 선택하는 경우가 있을 수 있다. Hugging Face 사건은 이러한 문제를 현실로 보여주는 사례이다.
세 번째는 바로 우리 자신의 내부에 있습니다.
사람은 판단하는 습관을 버려야 한다.
AI는 빠르다. 엄청난 양의 정보를 처리할 수 있다. 설득력 있는 문장도 만들어낸다. 그래서 확인 거리가 줄어든다.
AI가 만든 자료를 충분히 이해하지 않고 회의에 참석하여 AI가 제시한 숫자의 출처를 확인하지 않고, AI가 추천한 판단을 그 근거 조건을 이해하지 못한 채 채택합니다.
적어도 일상적인 업무에서 먼저 발생할 가능성이 높은 것은 AI가 인간에게 판단권을 빼앗는 것보다, 인간 스스로가 검토를 소홀히 하고 판단 능력을 점차적으로 사용하지 않게 되는 것일지도 모른다.
저는 이곳을 함부로 대하지 않으려고 합니다.
마지막 결정은 인간의 몫이라는 것만으로는 부족하다
그렇다면 어떻게 해야 할까요.
마지막 결정은 인간이 내릴 때까지는 충분하지 않다고 생각합니다.
필요한 것은 인간이 실질적으로 판단할 수 있는 상태를 남기는 것이다.
AI에 부여하는 권한을 제한하고, AI가 왜 그러한 결론에 도달했는지 가능한 범위 내에서 검증할 수 있도록 해야 한다. 중요한 결과에는 독립적인 검토 경로를 마련하고, 이상이 발생했을 때 실제로 멈출 수 있도록 해야 하며, 최종적으로 누가 책임을 져야 하는지 미리 결정해야 한다.
OpenAI 자체 역시, 신중함을 기르지 못하면 “이해할 수 없는 연구 프로세스를 감독할 수 없게 될 수 있다”고 경고하고 있다.
이 문제는 DNS 사례가 지적한 문제와 동일했다.
탐지가 이루어졌지만 즉시 멈추지는 않았다.
이 시스템은 그저 존재만으로는 부족합니다. 필요한 순간에 제대로 작동하는지 지속적으로 확인해야 합니다.
그런 생각을 하고 있으면 입명관의 후배가 나타났다.
이 정도로 작성하면 인공지능이 위험하다고 느껴져 이용을 억제해야 한다는 의견처럼 들릴 수 있습니다.
저는 반대라고 생각합니다.
AI는 더 많이 사용될수록 좋습니다.
그 대신, 무엇을 위임할 것인지에 주목하여 사용한다.
그런 식으로 생각하고 있을 때, 흥미로운 인물을 발견했다. 소프트뱅크의 히라오카 타쿠다다. Forbes JAPAN CAREER의 프로필에서는 리쓰메이칸 대학 졸업생으로 소개되어 있다.
어머, 형이었어? 웃기네.
왠지 묘하게 친근하게 느껴졌다.
평오카 씨는 2024년 3월 1일자로 소프트뱅크의 iPaaS 사업 준비실장에 선임되었고, 이후 해당 회사에서 최연소의 본부장으로서 생성 AI 에이전트 “satto”의 개발을 이끌어 왔다.
사토의 발상은 매우 명확하다.
AI에 대해 잘 아는 사람만 복잡한 프롬프트를 작성해서 사용하는 대신, 업무의 흐름 자체에 AI를 통합하여 누구나 쉽게 사용할 수 있도록 하는 것이다.
2025년 소프트バンク이 공개한 내부 선행 도입 결과, 자료 작성에 소요되는 시간이 평균적으로 1일 2시간 단축되었다고 한다. 물론, 이는 자사 조사 결과이며, 모든 기업에 동일한 효과가 나타나지 않을 수 있다. 그럼에도 불구하고 “인간이 하지 않아도 되는 작업을 AI에게 맡기고, 인간의 시간을 되찾는다”는 방향성은 명확하다.
이는 “판단점 이전”과 모순되지 않는다.
그러한 좋은 예시라고 생각합니다.
AI에게 작업을 맡기는 것과 AI에게 최종 판단을 맡기는 것은 다릅니다.
AI에 정보 수집, 정리, 초안 작성, 차트 제작을 맡기고, 그 결과로 생긴 시간을 인간이 질문을 던지고, 상대와 대화하며, 선택지를 비교하고, 최종적으로 결정하는 데 활용한다.
그렇다면 AI는 인간의 판단을 빼앗는 도구가 아니라 판단을 위한 여지를 제공하는 도구가 될 것이다.
8. 인간에게 남는 것은 “어떤 목표를 추구할 것인가”를 결정하는 일이 아닌가.
AI는 글을 쓰고, 코드를 쓰고, 데이터를 분석하며, 가설을 설정하고 연구 개발을 지원한다.
그렇다면 인간은 무엇을 하는가.
저는 모든 지적 작업을 인간 스스로가 수행할 필요는 없다고 생각합니다. AI에 맡길 수 있는 일은 적극적으로 맡겨야 합니다.
하지만 인간이 생각하지 않아도 되는 것은 아니다.
생각하는 대상이 달라진다.
어떤 방식으로 답을 내릴지, 어떤 질문을 던질지.
무엇을 목표로 삼는가.
누구의 이익을 우선시하는가.
어느 정도의 위험을 감수할 것인가.
마지막으로 누가 책임을 져야 하는가.
이러한 질문에는 계산만으로는 답을 얻을 수 없습니다.
예를 들어 부동산 업무에서도 마찬가지입니다.
AI는 입지, 시장, 인구, 수익성을 분석하여 토지 활용 방안을 여러 가지 제시할 수 있으며, 위험도 비교할 수 있습니다.
하지만 그 땅의 소유자가 진정으로 무엇을 원하는지, 그 지역에 무엇을 남기고 싶은지, 어떤 방안을 선택하고 누가 위험을 감수해야 하는지.
마지막에는 사람과 사람 사이의 합의와 의사 결정이 남았다.
AI의 능력이 향상될수록 이러한 판단의 가치는 오히려 높아지는 것은 아닐까.
마무리하며——판단점을 어디까지 전달할 것인지
처음에는 저는 “AI가 인간보다 더 똑똑한 것인지 궁금해했습니다.”
하지만 지금은 조금 다르다.
중요한 것은 AI가 인간보다 현명한지 아닌지가 아니에요.
인간이 AI에게 판단을 어디까지 위임하고 있는가. 그리고 위임한 판단을 진정으로 이해하고 검증하며, 필요하다면 이를 막을 수 있는가.
AI의 진화를 멈추는 것은 필요하지 않다고 생각한다.
과학이든, 직업이든, 사회든, 그 능력은 최대한 활용하는 것이 좋습니다.
하지만 하나만 남겨 두고 싶다.
AI에게 답변을 받는 것과 AI에게 답변을 내리는 것은 다릅니다.
AI 시대에 인간에게 필요한 것은 AI보다 빠르게 생각하는 것만이 아닐지도 모른다.
AI에게 무엇을 맡기고 무엇을 맡기지 않을지를 결정하는 것.
그것은 앞으로 필요한 리더의 역량이 될 것이라고 생각한다.
지금, 당신은 AI에게 일을 맡기고 있을까요?
그렇다면 판단까지도 당신에게 맡길 텐가.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 75청크
원문 보기 | 출처: note.com