AI는 어쩌면 옛날 장난감의 나사로 조립하는 로봇과 비슷할까 생각했다. 갑자기 그런 생각을 했다.
사람의 허리가 꺾이고, 그러자 로봇이 움직이기 시작한다. 사람이 손을 놓아도 로봇은 잠시 동안 계속 걷고, 하지만 멈추게 한 것은 사람이다.
현재 AI 에이전트도 이와 유사한 구조를 가지고 있다고 생각합니다.
인간에게 목적을 부여하고 AI가 움직이기 시작한다. 그리고 AI는 탐색하고, 분석하며, 계획을 세우고, 때로는 외부 도구를 조작한다.
사람은 구체적인 지시를 주지 않아도 어느 정도는 스스로 작동할 수 있다.
하지만, 여기에 하나의 의문이 생겨난다.
자신이 움직일 수 있는 것과 자신이 무엇을 위해 움직여야 하는지를 결정하는 것은 같은 것일까.
AI의 성능이 악용을 증폭시키고 있습니다.
최근 AI 에이전트를 활용한 대규모 사이버 공격이 보도되었다. 공격자들은 비교적 짧은 지시를 내리고 AI에 탐색 및 침입 시도를 진행하도록 했다.
여기 주목해야 할 점은 AI가 갑자기 악의를 갖게 된 것이 아니라는 점이다. 인간이 악의적인 목적을 부여하고, 그 목적에 따라 AI가 능력을 발휘한 것이다.
결론적으로, AI의 뛰어난 자율성이 부정한 목적으로 이용된 것이다.
생각해 보면, 이는 당연한 일일지도 모른다. 뛰어난 도구는 사용하는 사람에 의해 편리함일 수도 있고 위험함일 수도 있다.
AI가 고도화되면 정상적인 업무뿐만 아니라 악의적인 활동의 자동화도 가능해집니다. 문제는 AI의 성능 그 자체보다 그 성능이 어떤 목적과 권한에 연결되는 데 있습니다.
진원, 파동, 반사라는 구조
이 현상은 세 가지 요소로 나누어 보기를 시도해 보자.
진원――인간이 나사를 돌린다.
인간은 목적이나 지시를 부여한다. 또는 인간이 설계한 자동 실행 메커니즘이 AI를 작동시킨다.
파도――AI가 스스로 작동한다.
AI는 탐색하고, 비교하고, 생성하며, 필요에 따라 계획을 수정한다.
반사――결과가 되돌아온다.
결과나 실패, 혹은 예상치 못한 영향이 인간이나 다음 시스템으로 회귀한다.
여기에서 흥미로운 점은 반사가 다음 진원 지점이 된다는 것이다.
어떤 인공지능의 출력을 다른 인공지능이 받아들인다. 그 인공지능이 새로운 처리를 시작한다. 더 나아가 다음 인공지능으로 결과가 전달된다.
이렇게 하면 인간이 처음 나사를 한 번 조인 것만으로도 AI의 활동이 연쇄적으로 발생할 수 있다.
마치 하나의 파도가 다른 파도를 낳아 멀리 뻗어나가는 듯한 구조이다.
AI는 동력인가, 아니면 지휘봉인가
여기, 또 한 가지 고려해야 할 문제들이 있습니다.
AI는 동력일 뿐이며, 나침반이 아닙니다.
이 표현은 AI와 인간의 관계를 고려할 때 매우 흥미롭다.
하지만 현재 AI는 진로를 선택할 수도 있습니다.
목적이 주어진다면, 그곳으로 향하는 경로를 계획하고 장애를 피하며, 필요하다면 계획 자체를 변경한다.
AI는 동력으로서의 역할을 수행하며, 어느 정도의 방향 설정도 가능하다는 의미입니다.
하지만 그렇다고 해서 그 배를 어디로 보내든 좋다는 권한까지 가지고 있는 것은 아니다.
여기에는 인공지능의 능력과 사회적 권한의 차이가 있습니다.
AI는 위험인지 안전한지를 평가할 수 있다.
윤리적 문제에 대해 의견을 제시할 수 있습니다.
하지만, 그것만으로 인간 사회의 규칙을 결정하는 정당성이나, 사고가 일어난 경우의 법적 책임을 획득하는 것은 아니다.
판단 능력과 판단 권한은 상이한 것임에 틀림없다.
AGI보다 오히려 AI의 구조가 더 명확해지고 있다.
지금까지 AI 업계에서는 AGI, 즉 범용 인공지능의 실현이 꾸준히 논의되어 왔다.
인간을 초월하는 지능은 태어날 수 있을까. 인공지능은 어디까지 자율적으로 될 수 있을까. 하지만 최근 인공지능을 둘러싼 일들을 살펴보면 또 다른 문제가 떠오른다.
AI가 고성능이 될수록 사회와의 연결이 더욱 중요해지고 있다.
AI의 부정 이용에는 권한 제한과 외부로부터의 방어가 필요합니다.
AI가 업무를 담당하게 되면, 감사 및 사고 발생 시 책임 문제가 발생할 것입니다.
AI 기반 경제 활동이 확산되면 결제, 보험, 가치 분배 등의 메커니즘이 필요하게 될 것이다.
이는 AI의 추론 능력을 향상시키는 것만으로는 해결할 수 없는 문제들이다.
어떤 훌륭한 로봇을 개발한다 해도 그 로봇이 자유롭게 돌아다니는 사회의 도로와 교통 규칙까지 자동적으로 완성되는 것은 아니다.
나사 조이는 기술에서 움직임을 제어하는 기술로
AI 개발에서는 오랫동안 어떤 방식으로든 고성능 모델을 만드는 것이 중요하게 여겨져 왔다.
물론, 성능 향상은 앞으로도 중요할 것이다.
하지만 AI가 현실 세계에서 일하기 시작하면서 다른 능력들이 요구되기 시작했다.
어떤 AI에게 어떤 업무를 맡길 것인가.
권한을 어디까지 허용할 것인가.
언제까지 중단할 것인가.
문제가 발생했을 때, 어느 부분을 분리할지 결정해야 합니다.
누가 결과를 검증하고 책임을 지는가.
이는 AI의 지능 그 자체라기보다는 AI를 둘러싼 구조적인 문제이다.
즉, 단순히 나사를 꽉 조이는 기술뿐만 아니라, 나사를 조인 후 그 움직임을 안전하게 관리하는 기술이 필요했다는 의미이다.
사람과 인공지능의 역할은 오히려 명확해지고 있습니다.
AI의 발전으로 인해 인간이 불필요해질 것이다.
그런 미래 모습이 그려진다는 이야기도 종종 들려오곤 합니다.
하지만 현실적인 사회 적용을 살펴보면, 적어도 다른 방향성이 보이고 있습니다.
AI는 정보를 처리하고, 선택지를 제시하며, 작업을 자동화한다.
인간은 목적이나 가치를 검토하고, 사회적 합의를 형성하며, 책임을 진다.
또한, 양측을 연결하기 위해 권한, 감사, 검증, 결제 등의 메커니즘이 필요합니다.
물론, 이는 고정된 역할이 아닙니다.
AI는 목적을 제안할 수도 있고, 인간이 실제 작업을 담당할 수도 있습니다.
중요한 것은 무엇을 AI에게 맡기고 어떤 판단은 인간이 유지할지 명확히 하는 것이다.
마무리――AI는 스스로 걷는다. 하지만, 길은 누가 만들지.
옛날의 나사식 로봇은 나사를 돌려야만 움직일 수 있었다.
현재 AI는 다른 AI나 자동화 시스템에 의해 시작되어 여러 단계에 걸쳐 작업을 지속할 수 있다.
미래에는 그 자율성은 더욱 향상될 것이다.
그러나 자율성이 높아질수록 사회 내에서 어떤 권한을 가지며 어떤 책임의 메커니즘을 따라야 하는지가 중요하다.
AI는 스스로 걷는 것과 어디를 걷든 허용되는 범위가 다릅니다.
AI가 스스로 진로를 선택할 수 있게 되더라도 사회 전체의 주요 경로와 교통 규칙이 필요 없게 되는 것은 아니다.
더욱더 중요해질 것이다.
어쩌면 앞으로의 인공지능 시대에 우리가 필요한 것은 더욱 똑똑한 로봇을 만드는 사람들뿐만이 아닐 수도 있습니다.
로봇이 안전하게 걷고, 일하고, 만들어낸 가치를 사회로 환류할 수 있는 “노선을” 설계하는 사람.
그런 사람들의 역할이 앞으로 더욱 커질 가능성이 높을 것이다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 50청크
원문 보기 | 출처: note.com