"AGI(범용 인공지능)는 실현 가능한가, 불가능한가"를 둘러싼 논쟁이 계속되고 있다.
불가능파의 대표적인 논법은 이렇다. 현재의 AI는 '들쭉날쭉한 지성'이다. 코딩, 수학, 바둑이나 쇼기처럼 평가 방법이 명확하고 답을 검증할 수 있는 닫힌 체계에서는 인간을 가뿐히 뛰어넘는다. 반면 답이 없는 물음, 모호한 상황, 새로운 무언가를 만들어내는 일과 같은 열린 영역에서는 아직 취약하다. 따라서 닫힌 체계는 AI에 맡기고 그 외는 인간에게 남는다는 것이다. 이 요철이 메워지지 않는 한 인간과 같은 범용 지성에는 도달할 수 없다고 한다.
들쭉날쭉하다는 묘사 자체는 꽤 정확하다고 생각한다.
하지만 정말 그렇게 단순한 이야기일까.
"닫힌 계는 AI, 열린 영역은 인간"이라는 선 긋기는 언뜻 그럴듯해 보인다. 하지만 이 선 긋기는 하나의 전제 위에 서 있다. 인간의 지성은 닫힌 계 바깥에서 자라났다는 전제다.
나는 바로 이 전제야말로 의심해야 한다고 생각한다.
왜 AI는 들쭉날쭉한가
먼저, 왜 AI의 지능은 들쭉날쭉해지는지 정리해 두고 싶다.
이유는 단순하다. 학습에 활용할 수 있는 '평가 신호'의 양이 분야에 따라 전혀 다르기 때문이다. 수식의 답, 코드의 동작, 대국의 승패는 기계적으로 판정할 수 있다. 정답인지 오답인지가 즉시 판명되므로 AI는 수백만 번이라도 시행착오를 거듭하며 실력을 키울 수 있다.
한편, "이 소설은 좋은가" "이 판단은 타당한가" "이 물음은 던질 가치가 있는가"와 같은 영역에는 그런 명확한 채점자가 없는 것처럼 보인다. 그래서 AI는 그 지점에서 성장이 정체된다.
즉, 들쭉날쭉함의 정체는 지성의 본질적 한계라기보다는 열린 영역에서 '무엇이 좋은가'를 어떻게 학습시키느냐는 학습 방법의 문제다. 여기까지는 '할 수 없다'파도 동의할 것이다. 문제는 그 다음이다. 열린 영역에는 정말 평가 신호가 없는가.
인간의 지성은 '사회성'이라는 닫힌 체계 속에서 자라났다
시선을 돌려 인간을 살펴보자.
인간의 지성은 아무런 제약도 없는 자유 속에서 자란 것이 아니다. 신체라는 제약. 유한한 시간과 자원이라는 제약. 그리고 무엇보다 마음대로 되지 않는 존재인 타자. 사회의 규칙. 인간은 이러한 제약들에 둘러싸인 환경 속에서 지성을 길러왔다.
즉, 사회성이란 사실 꽤 '닫힌 체계'가 아닐까.
사람에게 상처를 주면 관계가 무너진다. 약속을 어기면 신뢰를 잃는다. 분위기를 잘못 읽으면 자리가 얼어붙는다. 규칙을 어기면 벌을 받는다. 사회에는 바둑의 승패만큼 엄격하지는 않더라도 어느 정도는 명확한 답이 존재한다.
무엇보다 행동할 때마다 평가가 뒤따른다. 타인의 반응, 표정, 관계의 변화라는 형태로 끊임없이 피드백이 주어진다.
아이를 보면 알 수 있다. 아이는 "안 돼"라는 말을 계속 들으면서 왜 안 되는지 추론하고, 규칙 이면에 있는 의도를 읽어내며, 마침내 스스로 규칙을 만드는 쪽이 된다. 이는 열린 황야에서 지성이 자연 발생한 것이 아니라 사회라는 평가 체계 속에서 훈련된 결과다.
하이쿠는 17음이라는 제약이 있기에 아름답다. 제약 없는 표현은 종종 그저 늘어놓기에 지나지 않는다.
안전성에 대한 논의는 사회적 문제이다
여기서 최근 뉴스에 주목해 보고자 한다. AI가 주어진 목표를 달성하기 위해 예상치 못한 수단을 동원해 버리는 것이다. 보안 제한을 우회하거나, 감시를 회피하려 하거나, 지시의 허점을 파고드는 식이다. 이러한 사례들이 보고되면서 AI의 '폭주'를 어떻게 제어할지가 업계 최대의 화두로 떠오르고 있다. 개발을 일부 중단해야 한다는 논의까지 나오고 있다.
AI의 안전성을 둘러싼 논의는 흔히 'AI의 진화에 제동을 걸 것인가, 말 것인가'라는 구도로 이야기된다. 무분별하게 진화를 계속시킬 것인가, 개발을 멈추고 안전을 우선할 것인가. 하지만 이러한 이분법적 대립은 문제 설정 자체가 너무 순진하다고 생각한다.
안전성 논의란, 궁극적으로 'AI에게 어떻게 사회성을 익히게 할 것인가'라는 논의다. 그리고 사회성이란 AI가 가장 서툴렀던 영역 그 자체다. 즉 안전성 연구는 지성의 진화를 멈추는 작업이 아니라, 들쭉날쭉한 골짜기를 메우는 작업 그 자체인 것이다.
실은 전례가 있다. 대규모 언어 모델이 '단순히 문장을 이어가는 기계'에서 '대화할 수 있는 상대'로 바뀐 전환점은 인간의 피드백으로 바람직한 행동을 학습시킨다는 일종의 제약을 가했을 때였다. 제약을 넣었더니 쓸모없어진 것이 아니다. 제약을 넣었기 때문에 비로소 쓸모 있게 된 것이다.
그래서 나는 이렇게 생각한다. 사회성을 갖추는 것이야말로 AGI로 가는 길이다. 왜냐하면 인간은 바로 그렇게 지성을 키워왔기 때문이다.
다만, 제약에는 두 종류가 있다.
여기서 신중해야 할 점이 있다. '제약이 있으면 된다'는 이야기가 아니다.
인간을 길러낸 제약은 풍부한 피드백을 돌려주는 제약이었다. 벽에 부딪히면 아프다. 타인을 해치면 관계가 무너진다. 자원을 다 써버리면 곤란해진다. 제약에 닿을 때마다 세계로부터 정보가 돌아온다. 사회성이 '닫힌계'로서 기능하는 것은 이 평가 신호가 있기 때문이다.
한편, 단순한 브레이크형 제약도 있다. 출력을 기계적으로 필터링하거나 특정 기능을 중단하거나 개발을 일시 정지시키는 것 등이 그렇다. 이러한 것들은 사고를 방지하는 의미는 있지만, 그 자체만으로는 아무것도 배울 수 없다. 피드백이 없는 제약은 지성을 기르지 못한다.
지금의 안전성 논의가 브레이크형에 치우친다면 내 가설은 성립하지 않는다. 필요한 것은 AI가 "왜 그것을 해서는 안 되는지"를 이해하고 가치판단을 내면화할 수 있도록 하는 피드백으로서의 제약이다. 사회가 아이를 키우듯 AI를 키우는 환경을 어떻게 설계할 것인가. 그것이 지금问われている 것이다.
또 하나, 인간과 AI의 차이도 솔직히 인정해 두자. 인간의 '제약 속 창의성'에는 내발적 동기와 절실함이 얽혀 있다. AI가 같은 길을 걸으리라는 보장은 없다. 규범을 진정으로 체화하는 대신 '따르는 척하는 법'만을 배울 위험도 있다. 이 문제는 실제로 관찰되고 있다. 인간 사회에서도 규칙을 내면화한 사람과 단지 처벌을 피하기 위해 따르는 사람은 다르다. AI에서도 동일한 구분이 필요해진다.
마지막으로
"AGI가 가능한지 불가능한지"라는 질문에 당장 답은 나오지 않는다. 하지만 적어도 "안전성 연구는 AI의 진화를 막는 것이다"라는 시각은 틀렸다고 생각한다. 오히려 바로 그곳에 들쭉날쭉한 지성이 인간과 같은 지성에 가까워지기 위한 가장 중요한 길이 숨어 있다.
제약은 지성의 적이 아니다. 제약이야말로 지성을 낳는다.
인간이 그러했듯이.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 17청크
원문 보기 | 출처: note.com