# GPT-6 Astra의 AGI 도달률은 측정 조건에서 99.9%에서 62.7%로 감소

> https://bookfactory.kr/board/ai-tech/17772
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-19T05:26:53.314Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/315151476/rectangle_large_type_2_a8943b131dcb3f589fb9007a990e20f5.png?width=1280)

이제 목표를 달성한 것 같습니다. AGI 시대, 환영합니다.

2026년 9월 3일, OpenAI 사장 그레그 블록만은 GPT-6 Astra에 대해 단언했습니다.

솔직히, 이 뉴스를 보던 순간에 정말 놀랐습니다.

드디어 이렇게까지 왔구나, 하고.

하지만 같은 날, ARC Prize라는 AGI 평가 단체가 명백하게 반박하고 있습니다.

공동 창립자 마이크 쿠누프는 “AGI라고 부를 증거는 아직 없다”고 말했으며, “아무도 답을 알 수 없는 문제를 자력으로 개척하는 능력은 아직 실현되지 않았다”라고 덧붙였습니다.

같은 날 선언과 반박이 동시에 나오는 상황 자체가 또다시 이런 일이 벌어지는 게 아닌가 싶었습니다.

## 블록맨의 “AGI 시대” 선언과 ARC Prize의 반박

OpenAI는 ARC-AGI-3 벤치마크에서 Astra의 점수를 99.9%로 발표했습니다.

거의 만점입니다.

이를 근거로 “AGI 시대에 들어섰다”는 선언이 나왔다는 흐름입니다.

그러나 ARC Prize가 동일한 벤치마크를 자신들의 표준 하네스로 재측정하자 나온 숫자는 62.7%였다.

37 포인트 차이입니다.

이 숫자를 보고 “어머, 잠깐만 기다려, 같은 벤치마크, 같은 모델인데 왜 이렇게 다른 거지?”라고 두 번이나 생각했습니다.

## 37점의 차이는 어디에서 비롯된 것인가

ARC Prize 설명에 따르면, 차이의 원인은 측정 조건이다.

표준 하레스는 각 회사마다 동일 조건이며, 1회마다 메모 외의 기억을 삭제하는 제약을 걸고 있습니다.

한편, OpenAI가 99.9%의 정확도를 낸 것은 “프로바이더 어댑터”라는 조건 하에 이루어진 것으로, 이는 OpenAI의 기능으로 사고 과정을 이어갈 수 있는 방식입니다.

![画像](https://assets.st-note.com/img/1789778344-TtG9IdqgjUhO0mZir8zLXyEe.png?width=1200)

즉, 동일한 모델이라도 사고의 연속성을 기억할 수 있는 조건이라면 99.9%, 매번 리셋되는 조건이라면 62.7%까지 하락한다.

ARC Prize사장인 그렉 캄라트(Greg Kamradt)는 아스트라 이전부터 여러 연구 그룹이 자체 하네스를 사용하여 90% 초과 달성했다는 점도 지적했습니다.

하르네스 방식대로 점수는 얼마든지 변동될 수 있습니다.

AI 연구자 로한 폴은 이 문제에 대해 “ARC가 모델보다 해르ネス를 측정하는 가장 명백한 증거로 37 포인트 움직이는 것은 매우 뚜렷하다”고 평가했습니다.

이는 모델의 역량을 평가하는 테스트라기보다는, 테스트 조건 설정 자체를 평가하는 테스트가 되어버렸다.

## 스테이징에서는 통과해야 하는 부분에서 본番 중 코드가 멈추는 것과 동일한 구조를 가지고 있습니다.

여기에서 엔지니어로서 떠올린 것이 바로 스테이징 환경에서는 시원한 표정으로 통할 수 있지만, 실제 환경과 동일한 부하 테스트나 경계값 테스트에 직면했을 때 갑자기 멈추는 코드라는 점입니다.

조건을 완화하면 무엇이든 움직이는 것처럼 보인다.

저희 회사에서도 견적 단계에서 “단순 조사는 1일”이라고 한 작업이 실제 본 건의 데이터 양과 접근 패턴을 테스트해본 결과 3일이 소요된 사례가 있었습니다.

조건을 바꾼 것만으로 숫자가 완전히 바뀌는 느낌을, 아스트라의 99.9%와 62.7%를 보면서 완전히 그것을 떠올랐습니다.

CI가 11분 안에 녹색으로 통과하는 것은 정해진 테스트 케이스를 통과한 경우에만 해당합니다.

본 행사에서 발생하는 예상치 못한 입력에 대해서는 보장하지 않습니다.

ARC-AGI-3도 마찬가지로, ARC Prize는 “이 테스트에서 만점을 받아도 AGI 달성 증명에는 되지 않는다”고 말합니다.

그 이유는 ARC-AGI-3는 규칙과 정답이 정해진 퍼즐이며, 정답이 없는 현실 세계의 복잡성을 제대로 파악하지 못했기 때문입니다.

## 마음속이 보이지 않는다는 점을 note의 다른 게시물에서도 지적했다.

이 문제에 대해 노트에서도 다루는 사람이 있었습니다.

99.9%와 62.7%—GPT-6 Astra는 머릿속을 비우고 생각한다”라는 제목의 기사에서, OpenAI 발표의 99.9%와 독립 검증의 62.7%의 괴리를 축으로, 모델의 사고 과정이 외부에서 보이지 않는 문제를 논합니다.

프로바이더 어댑터는 기본적으로 “생각의 연속을 기억에 유지하는” 기능으로, 밖에서 무엇을 기억하고 무엇을 삭제했는지 알 수 없습니다.

블랙박스의 내용이 개선된 것인지, 아니면 단순히 기억만 옮겨오게 된 것인지 겉으로는 구별할 수 없어요.

## 99.9%만 잘라내면 믿게 되는 수치들의 속임수

또 다른 관점에서 다루고 있는 기사도 찾았습니다.

GPT-6 Astra——숫자의 수사학을 해부하다라는 제목으로, 벤치마크 수치 제시 방식을 비판적으로 분석하고 있습니다.

99.9%라는 숫자만 떼어내어 제목에 사용하면, 어찌나 AGI 시대라고 말하고 싶어지나.

62.7%라는 수치가 같은 날에 나타나는 것을 알지 못했다면, 많은 사람들이 블록만 씨의 발언을 그대로 믿었을 것입니다.

![画像](https://assets.st-note.com/img/1789778400-R2o8yV6NHFZ1gKzhmG3WXauM.png?width=1200)

## 측정 조건이 복잡하게 얽힌 세계를 상상해 본다.

이제부터는 확정된 미래의 이야기가 아닙니다.

만약 측정 조건의 표준화가 현재처럼 계속 진행되지 않고, 각 회사마다 자신에게 유리한 조건으로 “AGI 도달”을 계속해서 선언한다면 어떻게 될까요.

“AGI”라는 용어 자체는 측정 조건에 따라 다른 의미를 가지게 될 것입니다.

발표가 나올 때마다 “어떤 조건의 숫자인지” 확인하지 않으면 다른 회사의 발표와 비교할 수 없게 된다.

저희 회사에도 오래된 리포지토리가 7개 있는데, 그 중 가장 오래된 것은 2018년부터 존재합니다. 하지만 아무도 전체를 파악하고 있지 않습니다.

이와 같이, 각 회사마다 측정 조건이 제각각으로 쌓여 올라가면 업계 전체적으로 ‘AGI의 정의’에 대해 아무도 정확히 파악하지 못하는 상황이 될 것 같습니다.

채용 시험 모의고사 점수만으로 합격 여부를 결정하는 회사가 늘어나고 있으며, 벤치마크 지표만으로 도입 결정을 내리는 기업들이 늘어나고 있습니다. 실제로 운영하면서 문제점이 드러나는 경우가 많습니다.

그런 전개는 있을 수 없습니다.

## 조건을 숨긴 “AGI”는 도입 판단에서 제외해야 합니다.

사고 실험 이야기는 잠시 접어두고 현실적인 판단으로 돌아갑니다.

조건을 숨긴 채 “AGI”를 내세우는 발표는 당분간 우리 팀의 채용 검토에서 제외됩니다.

반대로, 측정 조건을 함께 제시하는 회사라면 다음 주부터라도 함께 시도해 볼 수 있습니다.

**출처:** [note 원문](https://note.com/asuraworks/n/n03606ec0a30c)

*번역: Gemma 3(.44) 초벌 + 교정 26청크*

[원문 보기](https://note.com/asuraworks/n/n03606ec0a30c) | 출처: note.com