미국의 OpenAI가 9월 3일에 발표한 “GPT-6 Astra”가 AI의 미래 예측을 둘러싼 논의를 재점화시키고 있다. ARC-AGI-3에서 99.9%, FrontierMath Tier 4에서 98%라는 수치를 기록했다. 이러한 수치에 대해 해외 SNS에서는 “2027년 ASI설(AI 2027의 예측 곡선)에 가까워졌다”는 목소리가 퍼졌다.
이러한 보도를 읽을 때마다 저는 똑같은 어색함을 느낍니다. 개별적인 사실들은 아마도 정확할지라도, 최종적인 결론만 전체 사실의 총합보다 훨씬 부풀려져 있습니다. 이번 일련의 보도 역시 꼼꼼히 읽어보면 그 대표적인 예시였습니다.
99.9%라는 숫자의 함정
ARC-AGI-3의 99.9%라는 수치는 분명히 인상적인 숫자다. 하지만 이는 OpenAI 측의 컨텍스트 관리 기능 등을 활용한 “Provider Adapter” 조건에서의 성적일 뿐이다. 각사 공통의 “Standard harness” 조건에서는 62.7%까지 하락한다. ARC Prize 스스로가 공개하고 있는 숫자다.
99.9%와 62.7%. 동일 모델, 동일 벤치마크에서 측정 조건을 맞춘 것만으로도 37 포인트나 변동이 일어난다. 이는 “모델의 성능”이라기보다는 “측정 조건의 설계”가 점수 대부분을 결정하고 있다는 의미이다. ARC Prize 자체도 이 숫자가 AGI의 증거를 의미하는 것은 아니라고 명시하고 있다.
진척률이라는 것은 누가 측정하는지, 어떤 조건으로 측정하는지에 따라 상당히 자유롭게 만들어낼 수 있는 숫자라는 것을 우선 명심해야 한다.
3.1배는 양을 의미하며 질을 의미하지 않는다.
OpenAI는 2026년 8月中순 시점에서 AI 에이전트의 총 가동량이 인간의 노동 1일당 “3.1 에이전트-일”에 달했다고 발표했다. 여기서 주의해야 할 점은 OpenAI 스스로가 자필로 해설을 덧붙이고 있다는 것이다. 이는 “연구자의 생산성이 3.1배 되었다”라는 의미가 아니라, 8시간을 1일로 환산한 AI 에이전트의 총 가동량이 인간의 3배를 초과했다는 의미다.
이는 여러 AI를 병렬로 실행할 수 있다는 점 때문에 나온 숫자이며, 판단의 질이 인간을 능가했다는 것을 의미하지는 않는다. 극단적으로 말하면, GPU를 늘려 병렬 실행 수를 올리면 이 ‘운용 시간의 총량’은 얼마든지 부풀릴 수 있는 구조를 가지고 있다. 여기서 ‘AI의 실력이 3.1배나 늘었다’라고 해석하면 양과 질의 구분이 사라진다.
목표 함수라는 마지막 벽은 여전히 거기 있습니다.
OpenAI는 “automated research intern”의 목표 달성 사실을 발표했다. 인간으로부터 주어진 명확한 연구 과제에 대해 숙련된 연구원이라면 수일이 걸리는 일을 AI가 진행할 수 있는 단계에 도달했다는 내용이다.
여기서 간과해서는 안 될 점은 “인간에게 주어진 명확한 연구 과제”라는 전제라는 것이다. 다음 목표로 제시된 “자동화된 AI 연구원” 역시 2028년 3월까지의 실현을 목표로 하고 있지만, 그 조건에는 “인간의 감독 하에”라는 문구가 포함되어 있다.
어떤 연구를 해야 할지를 결정하는 출발점은 여전히 인간의 쪽에 있다. AI가 AI 연구를 가속화하는 순환이 본격화되고 있는 것은 사실이지만, 그 순환의 외곽——목표 자체를 설정하는 권한——는 이번 발표를 통해 볼 때 아직 인간의 손에서 벗어나지 않고 있다.
예언가가 자신의 예언을 점검하고 있다.
“AI 2027”이라는 2025년 개봉 예정 시나리오는 2027년 AI가 코딩과 AI 연구의 자동화를 급진적으로 발전시키고, 그 이후에 ASI가 등장하는 미래를 그렸다. 이번 일련의 보도에서 사용되고 있는 “70~90%의 비율로 진행 중”이라는 평가는 이 “AI 2027”의 저자 스스로 운영하는 AI Futures Project의 자가 평가이다.
제가 세운 예언의 적중률을 제가 직접 평가하고 있습니다. 이는 독립적인 제3자 의한 검증과는 성격이 다릅니다. 기상 예보관이 “어제 강수 확률 예보는 맞았습니다”라고 자의적으로 주장하는 것과 유사하며, 참고할 만은 하지만, 그것 자체를 근거로 쌓아 올리기는 약합니다.
또한, 이 자기 평가의 근거로 사용되는 것은 앞서 살펴본 “3.1 agent-workdays”나 “자동화 연구 인턴 도착”과 같이 양과 질이 혼재된 숫자들이다. 구조의 존재를 입증하는 증거로, 그 구조가 생성되었다고 여겨지는 결과를 그대로 활용하고 있는 것이다. 이는 典型的한 순환이다.
가장 중요한 것은 OpenAI 스스로가 말하고 있다.
지금까지 살펴본 숫자들은 모두, 그것 하나만으로는 “재료”가 될 수 있지만 “증거”가 될 수는 없다. 그리고 사실, 그 점을 가장 명확하게 인정하고 있는 것은 OpenAI 자신이다.
OpenAI의 안전성 평가에 따르면, Astra는 “AI 자가 개선(AI Self-Improvement)” 분야에서 OpenAI가 설정한 “High” 기준에 미달하는 것으로 나타났다. 자율적으로 차세대 AI를 만들 수 있는 초지능에는 OpenAI의 자체 평가에서도 아직 격차가 남아있다.
즉, 이번 일련의 보도가 결국 “2027년 ASI 설을 비웃을 수 없다”는 煽리로 마무리되는 것은 개발사의 자체 안전성 평가와 맞지 않기 때문이다. 화려한 숫자를 나열한 뒤, 그 숫자를 스스로 약화시키는 해설을 덧붙였음에도 불구하고, 결국 煽리로 마무리하는 것이 이번 보도 전체를 관통하는 구조였다.
진정한 목적은 무엇일까요?
AGI 선언은 기술 지표이면서 동시에 계약상의 신호이기도 합니다. 숫자 뒤에 숨겨진 중요한 점을 한 가지 짚어두자면, OpenAI와 Microsoft 사이에 AGI 도달에 대한 독점 계약상의 합의가 존재한다는 것입니다. AGI가 선언될 경우, 양사의 이익 배분이나 라이선스 조건 등 계약의 근본적인 내용이 재검토될 가능성이 있습니다. 이는 “AGI에 도달했는지”라는 질문에 순수한 기술 평가 외에 또 다른 역학을 불러들입니다. 예를 들어 OpenAI가 어느 시점에서 “AGI라는 용어는 더 이상 중요하지 않게 되겠다”라고 발표하는 경우, 그것이 기술적 성과의 선언인지, 아니면 계약상의 트리거를 작동시키는 경영 판단인지 외부에서는 구별하기 어렵습니다. 실제로 알토만은 2024년 말에 한 번 “AGI라는 말은 더 이상 중요하지 않게 되기 시작했다”라고 언급하며 정의 자체를 후퇴시킨 적이 있습니다. 정의가 변하고, 그 변화를 주도하는 주체가 계약상의 이익을 가진 상황에서 “도달”이라는 단어를 맹신적으로 받아들여서는 안 됩니다. 저는 이 계약 자체를 이번의 핵심 쟁점이라고 생각합니다.
결론적으로, 이번 프로젝트는 예상보다 훨씬 더 복잡한 문제였으며, 그 결과, 목표했던 대로 완벽하게 마무리하는 데 어려움을 겪었습니다. 특히, 데이터 분석 단계에서 발생한 오류들이 연쇄적으로 문제를 야기했고, 수정 과정에서 상당한 시간과 노력이 소요되었습니다.
하지만, 팀원들의 끈기와 협력 덕분에 결국 문제 해결에 성공했고, 최종 보고서를 완성할 수 있었습니다. 이번 경험을 통해 데이터 분석의 중요성을 다시 한번 깨닫게 되었으며, 앞으로 유사한 프로젝트를 진행할 때 더욱 철저한 준비와 검토를 통해 오류 발생 가능성을 최소화하도록 노력할 것입니다. 또한, 데이터 분석 결과의 신뢰성을 높이기 위해 다양한 통계 기법을 적극적으로 활용하고, 결과 해석에 대한 전문적인 교육을 통해 팀원들의 역량을 강화할 계획입니다.
99.9%는 조건을 맞추면 62.7%로 줄어들고, 3.1배는 총 가동 시간과 관련이 있는 것이며 판단력의 총량과는 무관하다. 70~90%라는 진행 평가는 예언가의 자기 평가에 불과하며, Astra 스스로의 자기 개선 능력은 OpenAI의 기준으로는 아직 ‘High’에 도달하지 못하고 있다.
재료가 나열된 것과 결론이 나온 것은 다르다. “2027년 ASI 설을 웃음 짓게 할 수 없다”는 표현은 증명된 사실의 요약이 아닌, 증명되지 않은 것을 호소에 변환하기 위한 말이다. AI가 AI 연구를 가속화시키는 구조의入口가 보이기 시작하는 것 자체는 부정하지 않는다. 하지만 그入口의 사진을 아무리 많이 찍어도, 아직 문 너머의 방은 보이지 않는다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 17청크
원문 보기 | 출처: note.com