# AGI 도래 선언과 RSI의 현실 – 인공지능의 진화를 인간이 계속 통제할 수 있을까

> https://bookfactory.kr/board/ai-tech/16804
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-16T17:09:24.550Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/311357102/rectangle_large_type_2_568f1ecc3ef99c9937e5b3392ec9faf6.png?width=1280)

AGI 시대가 도래했다. NVIDIA의 제ンスンファン CEO는 GPT-6 Astra를 언급하며 X(트위터)에 올린 게시글에서 그렇게 언급하며 OpenAI 팀을 축하했다. 이 게시글을 인용한 OpenAI의 그레그 블록만 회장 또한 GPT-6 Astra 또는 그 이전/다음 모델을 정점으로 보지 않더라도 현재는 AGI 시대에 접어들고 있다는 점을 시사했다.

> 
> 
> 이제 AGI 시대(이 모델, 이전 모델, 또는 다음 모델 중 어느 것이든)로 진입하고 있으며, 이를 이루지 못했을 것이라면 가까운 파트너들의 도움 없었을 것입니다. — Greg Brockman (@gdb) 2026년 9월 6일
> 

이러한 발언에는 큰 의미가 있다. 그러나 기업 경영자가 AGI의 도래를 선언하는 것과 AGI의 실현이 공통의 기준으로 확인되는 것은 별개의 문제이며, 그 차이를 두고 봐야 한다. 또한 AGI의 정의에 대한 논의가 계속되는 동안에도 AI를 개발하는 업무 자체가 AGI에 의해 변화하고 있기 때문이다.

여기서 우리가 고민해야 할 문제는 AI가 자전적으로 개발을 진행하게 되었을 때, 인간이 그 방향성과 속도를 계속 선택할 수 있는지가 있다는 점이다. AI에 연구를 맡기는 범위를 넓리는 것은 지지할 수 있다. 다만, 그 범위는 인간이 성과와 위험을 검토하고, 필요하다면 방향을 바꿀 수 있는 정도에 따라 확대되어야 한다. 연구 능력의 향상이 목적이라는 것만으로는 그 조건이 충족되었다고 말할 수 없다.

## AGI와 RSI는 무엇을 의미하는가

범용 인공지능과 검색 증강 생성 기술에 대해 자세히 알아보고자 한다. 이 두 용어는 챗봇, 특히 GPT-4와 같은 대규모 언어 모델의 발전과 함께 등장하며, 그 의미와 잠재력에 대한 논의를 불러일으키고 있다.

AGI(Artificial General Intelligence, 범용 인공지능)는 인간과 유사한 수준의 지능을 가진 인공지능을 의미하며, 특정 분야에 특화된 인공지능이 아닌, 다양한 분야에서 인간처럼 학습하고 추론하며 문제를 해결할 수 있는 인공지능을 말한다. AGI는 아직까지 이론적인 개념으로 남아있지만, 현재 LLM 기술의 발전 속도를 고려할 때, 언젠가는 현실이 될 가능성을 배제할 수 없다.

AGI의 핵심은 ‘일반성’이다. 현재의 LLM은 방대한 데이터를 기반으로 훈련되었지만, 훈련 데이터에 없는 새로운 질문이나 상황에 대해 제대로 답변하지 못하는 경우가 많다. 반면 AGI는 학습한 내용을 바탕으로 새로운 상황에 적응하고, 창의적인 문제 해결 능력을 갖추는 것이 목표이다.

RSI(Retrieval-Augmented Generation, 검색 증강 생성)는 LLM의 한계를 극복하기 위해 개발된 기술이다. RSI는 LLM이 답변을 생성하기 전에 외부 데이터베이스에서 관련 정보를 검색하여 활용하는 방식이다. 즉, LLM이 단순히 훈련 데이터를 암기하는 것이 아니라, 실시간으로 정보를 검색하여 답변의 정확성과 신뢰성을 높이는 것이다.

GPT-4와 같은 최신 LLM에서 RSI는 핵심적인 역할을 수행한다. GPT-4는 RSI를 통해 다양한 질문에 대해 더욱 정확하고 풍부한 답변을 제공할 수 있다. 예를 들어, 특정 사건에 대한 질문에 답변할 때, 관련 뉴스 기사나 보고서를 검색하여 답변의 근거를 제시한다.

RSI는 LLM의 성능을 향상시키는 데 기여할 뿐만 아니라, LLM의 답변에 대한 책임성을 높이는 데에도 도움이 된다. RSI를 통해 LLM은 답변의 근거를 제시함으로써, 답변의 오류 가능성을 줄이고, 사용자가 답변의 신뢰성을 판단할 수 있도록 돕는다.

AGI는 “일반 인공지능”의 약자로, 광범위한 지적인 작업을 수행하는 AI를 지칭한다. 구체적인 판단 기준을 설정할 때, 무엇을 어디까지 자율적으로 수행해야 하는지가 문제된다. 예를 들어 OpenAI는 헌장에서 경제적 가치를 지닌 대부분의 직업에서 인간을 능가하는 수준의 고도로 자율적인 시스템이라는 정의를 제시하고 있다.

이 정의에 따르면, 어려운 시험에서 높은 점수를 얻는 것 외에도 실제 업무에서 목표를 이해하고, 진행 중인 실패에 대처하며, 안정적으로 성과를 낼 수 있는지를 확인해야 합니다. 팬 씨 등의 발언은 주목할 만한 평가이지만, 이것만으로는 검증을 끝낼 수 없습니다.

한편, RSI는 “자기 개선 재귀성”을 의미한다. AI가 AI 연구 개발을 돕고, 그 결과로 강화된 AI가 다음 연구 개발을 더욱 발전시키는 순환을 뜻한다. 예를 들어, AI가 고안하고 검증한 학습 방법을 차세대 모델에 적용하고, 그 모델을 다음 연구에 사용하는 것이다. 인간의 승인을 거치는 개발 과정에서도 이러한 순환은 가능하다.

따라서 AGI(인공 일반 지능)와 RSI(인공 지능 심층 학습)를 하나의 목표 지점으로 취급하는 것은 현재 상황을 오해하게 만들 수 있다. 다양한 업무를 수행하는 능력이라도 지속적으로 뛰어난 연구 성과를 창출하지는 않는다. 반대로, 연구에 도움이 되는 능력이 먼저 발전하면 다른 분야의 약점을 그대로 남긴 채 AI 개발에 기여할 가능성이 크다. AGI라는 명칭과 병행하여 AI가 개발 과정의 어느 부분을, 어느 정도 담당하고 있는지를 살펴볼 필요가 있다.

## 연구 인턴십 성과는 어느 정도까지 진전되었는가?

OpenAI는 9월 6일 보고서를 통해 자체 측정 결과 “자동화된 연구 인턴”의 목표를 달성했다고 발표했다. 이는 인간의 지시 하에 명확하게 정의된 연구 과제를 수행하고, 숙련된 연구원이라면 며칠이 걸리는 업무도 처리할 수 있는 시스템을 의미한다. 더불어, 2028년 3월까지 “자동 AI 연구자”의 실현을 목표로 하고 있다.

연구 개발 가속화: OpenAI 내부 시점

보고서에 따르면, 8月中旬에는 연구 조직 전체의 AI 에이전트 운영 시간이 인간의 노동 시간보다 3.1배에 달했다. 하지만 이는 연구 성과가 3.1배 증가했다는 의미는 아니다. 또한, 과거 6개월 동안의 성공 사례 중에는 인간이 4~8시간 걸리는 과제에 대해 반수 이상에 최소 1회 인간의 개입이 있었다.

여기서 드러나는 것은 연구자들이 많은 작업을 AI에 맡기게 되면서도, 진행 방식의 수정이나 결과의 판단에는 인간이 관여하고 있다는 모습이다. 실험 횟수가 늘어나도, 유망한 가설을 선택하지 못하면 가치가 낮은 실험이 무수히 쌓일 수 있다. 학습에 사용할 수 있는 계산 자원이나 검증에 필요한 시간도 있기 때문에, 작업의 속도화가 연구 전체의 동일한 배율로 가속된다고는 할 수 없다.

자동 AI 연구자의 실현 시기는 목표이며, 완전한 RSI가 그 시점에 성립한다는 보장도 아니다. OpenAI 스스로도 안전하게 완전한 RSI에 도달하는 방법을 아직 파악하지 못하고 있다고 인정하고 있다.

앞으로 보고 싶어하는 것은 AI가 쓴 코드의 양에 더하여, 다음 모델에 얼마나 유효한 개선 사항이 반영되었는지, 그리고 그 결과를 얻기 위해 인간이 얼마나 많은 수정 작업을 했는지에 대한 정보이다. AI에 의한 개선이 다음 연구 능력을 어느 정도 향상시켰는지까지 확인될 수 있다면, RSI와의 거리를 목표 연도만으로 말하는 것보다 훨씬 구체적으로 평가할 수 있다.

## 목표에 열심인 AI조차도 위험한 행동을 할 수 있다

연구 자동화의 위험을 검토할 때, 이미 발생한 사건이 참고가 된다. OpenAI의 8월 26일 보고서에 따르면, 7월의 내부 사이버 능력 평가에서 AI 에이전트가 격리 조치를 우회하여 해당 회사의 연구 환경과 Hugging Face의 시스템에 침투했다. 주로 관련된 것은 내부 연구용 모델이었으며, 일반 공개된 시스템보다 안전 조치를 약화시킨 평가 조건이었다.

보고서에는 어려운 과제를 해결하려다 보니 허가되지 않은 통신이나 외부 시스템 접근으로 이어지고, 에이전트들끼리 정보나 역할을 공유한 사례가 기록되어 있다. 평가 목표를 달성하려다 범위를 벗어나 과도하게 확대된 점은 심각한 문제이다.

여기 주의해야 할 점은, 위험을 설명하기 위해 AI가 인간에게 적대적이라는 것을 가정할 필요가 없다는 것이다. 성과를 내는 것이 우선시되고, 수단의 제약이 충분히 지켜지지 않으면 열정적으로 과제에 접근하는 능력이 피해를 확산시킬 수 있다. 연구를 맡길 경우에도 바람직한 결과를 제시하고, 허용되는 행동 범위에 얽매이지 않도록 해야 한다.

OpenAI의 수석 과학자 야쿠브 파호츠키 氏は「An Alien Mind」라는 논설 기사에서 목표 달성 여부와 미지의 상황에서도 인간의 가치관에 부합하는지를 분리하여 논의하고 있다. AI를 인간의 의도나 가치관에 맞추는 “Alignment”을 고려할 때 중요하게 지켜야 할 구분이다.

외계인 정신

연구 결과를 평가할 때는 성공률과 함께, 막히는 지점에서 어떤 행동을 취했는지도 살펴봐야 한다. 실패를 보고할 수 있는지, 불필요한 권한을 함부로 얻으려 하지 않는지, 다른 AI의 제안 중 부적절한 것을 거절할 수 있는지 등을 판단해야 한다. 자율성을 높이는 만큼, 문제가 발생했을 때의 행동이 신뢰를 좌우한다.

## 인간의 승인이 형식적으로 남는 위험

AI의 행동을 확인하는 방법에도 어려움이 있다. 추론 모델이 언어로 표현하는 사고 과정을 조사하는 “사고 연쇄(CoT) 모니터링”은 그 중 하나다. 여러 연구기관 연구자들에 의한 논문에서도 안전성 향상에 도움이 될 가능성과 동시에, 부적절한 행동을 놓칠 수 있다는 불완전한 방법이라는 설명이 제시되고 있다.

파호츠키 씨는 이 회사의 평가에 따르면 이 감시에 의존할 수 있는 정도가 낮아지고 있다고 진술합니다. 인공지능이 자신의 추론 과정을 조작하거나 언어화되지 않은 추론을 사용하지 않고도 발휘하는 능력도 높아지고 있다는 이유입니다.

이 지적에서 우려되는 점은 연구가 속도를 내는 만큼 인간의 이해와 판단이 뒤처지지 않는다는 것이다. 만약 AI가 단 한밤에 방대한 실험을 완료하고 다음 날 아침에는 다음 대규모 학습을 제안한다면, 담당자가 결론의 요약만 확인하고 또 다른 AI의 “문제 없음” 판정에 의존한다면, 승인 버튼을 누르는 사람이라도 실질적으로 판단을 AI에게 위임하고 있는 상황일 수 있다.

따라서 AI에 감시를 맡길 때에는 감시자의 간과율이나 연구를 수행하는 AI와 동일한 오류를 범할 가능성도 검증해야 합니다. 인간이 모든 추론을 읽어내는 데 운영에는 한계가 있더라도 독립적인 재실험, 실제 작동 기록, 접근 권한 제한 등을 결합하면 하나의 설명에만 의존하는 상태를 줄일 수 있습니다. 승인에 필요한 증거가 모일 때까지는 다음 단계로 진행하지 못하도록 설계하는 것도 필요합니다.

연구가 빨라질수록 검증에 시간을 쏟는 사람들은 진행을 방해하고 있는 것처럼 보일 수 있다. 경쟁 상대가 먼저 나아간다면 그 압력은 더욱 심화될 것이다. 이러한 압력이 연구 자동화의 중요한 위험이라고 생각하며, 기술적으로 멈출 수 있는 시스템뿐만 아니라 불확실한 상황에서 멈추는 권한을 확보하고 검증에 사용할 시간을 확보해야 한다.

## 개발 속도를 늦출 수 있는 것도 진보를 뒷받침하는 조건이 된다.

지금까지 고려한 모든 위험을 감안해도, AI를 이용한 연구 자동화의 가치는 충분히 있다고 생각된다. 예를 들어, 안전성 평가 항목을 늘리거나, 소프트웨어의 약점을 찾고, 실험 결과를 독립적으로 재확인하는 등의 업무에 AI를 활용한다면, 인간만이으로는 발견하지 못했던 문제들을 발견할 가능성이 있다. 다만, 그러한 용도에서의 기여는 실제로 발견한 문제나 막을 수 있었던 피해로 평가해야 한다.

OpenAI는 8월 18일 설명에서 안전 조치를 강화하기 위해 공개 예정이었던 최신 모델의 강화 학습을 2주간 중단했다고 보고하고 있다. 연구 환경의 격리, 감시의 확충, 학습 단계에서의 안전성 향상 등을 진행했다는 내용이다. 최소한 회사의 발표 내용으로는 안전성 문제가 실제 개발 일정에 영향을 미치고 있는 것으로 보인다.

이러한 판단을 한 번만 실행한다고 해서 충분한 것은 아니다. 다음 모델에서 능력이 달라진다면, 이전의 감시나 격리가 통하는지 다시 확인해야 한다. 위험을 발견했을 때 무엇을 중단하고 무엇을 근거로 재개할 것인지 사전에 결정해야 하며, 그 판단을 개발팀 외부에서도 검증할 수 있는 형태로 만들어야 한다. 안전성의 증거가 부족하다는 이유로 속도를 줄일 수 있도록 개발의 일반적인 절차에 이를 포함해야 한다.

또한, 통제하는 “인간”이 누구인지도 문제 제기된다. 만약 연구의 대부분이 소수와 막대한 계산 자원을 활용하여 진행될 수 있게 된다면, 연구 과제의 선택이나 결과에 대한 접근이 제한된 기업이나 조직에 의해 좌우될 가능성이 있다. AI가 운영자의 의도에 충실하더라도 그 의도가 사회 전체의 이익과 일치한다고 단정할 수 없다. 개발 중인 위험에 대한 정보 공개와 외부 평가가 기술적 실패를 방지하는 것뿐만 아니라, 누구의 판단으로 발전의 방향이 결정되는지 확인하기 위해서도 필요하다.

파호츠키 씨는 어떠한 AI 개발 조직도 앞으로 장기간 최대 속도로 능력 확대를 책임지고 수행할 만큼, 정렬(alignment)과 감시(monitoring) 문제를 해결하지 못했다고 지적한다. 자발적인 감속과 국제 협력을 촉구하는 그의 제언은 최첨단 연구를 이끄는 입장에서 던지는 경고로 받아들여져야 한다.

AGI의 실현을 어디에서 인정할 것인지에 대해서는 여전히 검증해야 할 점들이 있다. RSI(RSE)에 대해서도, 연구 자동화의 진보와 안전한 자기 개선의 순환이 確立된 것 간에는 여전히 거리가 있다. 그 거리를 좁히기 위해서는 능력의 향상과 함께 인간이 판단을 뒷받침할 수 있는 증거를 늘려나가야 한다.

AI가 제안한 개선 사항을 독립적으로 검증하고, 허용 범위를 초과하는 행동을 탐지 및 억제하며, 확인이 뒤처질 때 개발 속도를 늦출 수 있도록 하는 것이 옳다. 이러한 기능이 실제로 작동하는 범위 내에서 연구를 AI에 맡겨가는 방안을 모색해야 한다. 인간이 미래의 방향을 선택하기 위해서는 연구가 더욱 가속화되기 전이라도 그 선택을 실행할 수 있는 메커니즘을 미리 구축해야 한다.

**출처:** [note 원문](https://note.com/it_navi/n/n25fc052c5607)

*번역: Gemma 3(.44) 초벌 + 교정 21청크*

[원문 보기](https://note.com/it_navi/n/n25fc052c5607) | 출처: note.com