자율성이 높아지고, 급속히 고도화되고 있는 AI.
지금까지는 성능이나 개발 경쟁이 주목받아 왔지만, 최근에는 AI 개발자나 AI 기업 경영자가 AI의 위험성에 대해 한 발언에 주목이 모이고 있습니다.
AI의 위험성이란 구체적으로 어떤 것인가?
이번에는 AI 개발에 대한 경고와 논의, 리스크에 대해 조금 정리해 보고자 합니다.
개발자·연구자의 AI 위험성에 대한 경고
2026년 9월, 앤스로픽의 전 연구원 제이콥 콕슨 씨가 AI 개발 추진 방식에 우려를 표하며 퇴사했다고 보도되었습니다.
콕슨 씨는 “AI 기업들이 인류에게 중대한 위험을 초래할 수 있는 기술을 충분한 안전 확보보다 빠른 속도로 개발하고 있다”고 X에 게시했다.
자기 개선하는 AI의 개발 경쟁이 안전성이나 제어 방법의 확립보다 앞서가고 있는 것이 아니냐는 문제 제기입니다.
AI 개발의 최전선에 있던 인물이 기업의 경쟁적 자세와 미흡한 안전 대책에 경종을 울린 것을 계기로, AI의 위험성을 둘러싼 논의가 새삼 주목받게 되었습니다.
전 Google DeepMind 연구원 빌랄 추그타이 씨도 AI가 인류에게 심각한 위협을 초래할 수 있다고 경고하고 있습니다.
AI 기업 간의 경쟁이 안전 대책을 앞지르는 것에 대한 우려를 나타내며, 기업들이 서로 협력하여 개발 속도를 조정할 필요가 있다고 호소하고 있습니다.
앞으로는 AI의 위협을 완화하기 위한 활동에 직접 참여하고, 같은 문제에 관심을 가진 사람들이 효과적으로 행동할 수 있도록 지원하고 싶다고도 밝혔다.
또한, 이 문제를 다루는 역할은 AI 전문가에게만 국한되는 것이 아니라, 다양한 배경과 입장을 가진 사람들이 각자의 방식으로 AI를 안전한 방향으로 이끌기 위해 참여할 수 있다는 생각도 제시하고 있습니다.
AI를 전문으로 하지 않더라도 각자의 분야에서 할 수 있는 일이 있으니, 자신은 무엇을 할 수 있을지 생각해 보는 것도 좋겠네요.
AI 기업 CEO도 입장을 발표했다
AI 기업의 CEO들 역시 이전부터 AI의 위협과 위험성에 대해 여러 차례 발언해 왔습니다.
Anthropic의 CEO인 다리오 아모데이는 2026년 1월에 AI의 위험성과 사회의 대응에 대해 논한 장문 에세이를 공개했다.
2026년 9월에는 에세이 “We Must Pace the Frontier”에서 AI 개발을 둘러싼 급속한 경쟁에 대해 보다 신중한 접근 방식을 제안하고 있습니다.
아모데이 씨는 AI의 진보 자체를 멈추는 것이 아니라, 안전성 검증과 기업 간 협조를 추진하면서 개발 속도를 신중하게 조정할 필요가 있다고 주장했다.
아모데이 씨의 제안에 대해 OpenAI의 샘 올트먼 CEO, xAI의 일론 머스크 씨, Google DeepMind의 데미스 허사비스 씨 등도 각자의 방식으로 찬성 의사를 밝혔다.
그러나 현재로서는 AI 개발의 속도나 안전 대책에 대해 업계 전체가 합의한 구체적인 방침은 없습니다.
AI의 진화가 가져오는 4가지 구조적 위험
① AI의 진화가 너무 빠르다. AI의 능력이 급속히 향상되고, AI 자체가 차세대 AI 개발에 관여하게 되면 기술의 발전이 더욱 가속화될 가능성이 있다. 여기서 문제가 되는 것은 기술의 발전에 비해 안전성 검증이나 사회 제도 정비에 필요한 시간을 충분히 확보할 수 없다는 점이다.
② 예측·평가의 어려움
AI가 복잡한 작업을 자율적으로 수행하게 되면, 사전에 모든 행동을 예상하기는 어려워집니다. 테스트 환경에서 안전해 보였던 시스템이 다른 상황에서도 동일하게 동작한다고는 할 수 없습니다.
③ 정렬의 어려움 AI를 인간의 의도나 가치관에 따라 행동하게 하는 것은 단순한 명령 준수만으로는 해결할 수 없습니다. 인간의 의도 자체가 모호하며, 복잡한 상황에서 AI가 어떻게 판단할지를 확실하게 제어하는 데에는 여전히 과제가 남아 있습니다.
④ 개발 경쟁의 구조
AI는 경제와 안보에도 관련되어 있기 때문에 기업이나 국가가 개발 경쟁에서 쉽게 이탈할 수 없는 구조가 있습니다. 경쟁 압력이 강해질수록 개발 속도를 늦추거나 안전성 검증에 시간을 들이는 판단을 내리기가 어려워질 것입니다.
편리함 너머에 있는 것에도 주목하기
기술이 고도화될수록, 동시에 고려해야 할 리스크와 문제도 늘어납니다.
그리고 AI의 발전이 빨라질수록, 안전성 검증에 필요한 시간을 확보하기 어려워진다.
더욱이 시간이 부족한 상황에서 기업이나 국가 간 경쟁, AI 행동 예측의 어려움, 정렬의 미해결 문제 등이 겹치면 위험 대응은 더욱 복잡해진다.
이러한 위험을 우려하는 전문가들로부터는 먼 미래의 문제로 미뤄둘 것이 아니라 지금 단계부터 대책을 추진해야 한다는 목소리가 나오고 있습니다.
미래에 어떤 사태가 일어날지 확실히 예측할 수는 없으며, 전문가들 사이에서도 위험이나 발생 시기, 필요한 대책에 대해 의견이 엇갈리고 있습니다.
심각한 위험이 현실화되기 전에, 지금 이 시점에서 무엇을 바꾸고 어떤 대책을 추진해야 하는가.
AI의 미래를 생각하는 데 있어 이러한 질문은 더 이상 피해 갈 수 없게 되고 있다.
다음 회에는 AI의 진화가 가속화되면서 어떤 일이 일어나고, 안전성 확보와 AI 제어가 왜 어려운지에 대해 더 깊이 살펴보겠습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 28청크
원문 보기 | 출처: note.com