99.9%라는 숫자가 시간의 흐름 속에서 나타났다. ChatGPT의 신 모델 GPT-6 Astra가 추상 추론 벤치마크 ARC-AGI-3에서 기록한 점수였다.
단지, 같은 모델의 같은 벤치에는 62.7%라는 수치가 또 나타났다. 둘 다 실측이다.
틀린 것은 측정 방식입니다.
이제 그 차이가 어디에서 비롯되는지, 그리고 코딩 관련 점수는 어떻게 처리해야 하는지를 순차적으로 따라갈 것이다.
먼저, 무엇이 발표되었는가?
OpenAI는 2026년 9월 3일(미국 시간)에 차세대 모델 GPT-6 Astra를 발표했다. GPT-6 Astra는 ChatGPT의 Plus, Pro, Business, Enterprise, OpenAI API, Microsoft Azure, AWS Amazon Bedrock에서 사용 가능하다.
가격은 입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 50달러입니다.
국내 언론이 처음으로 보도한 내용은 추상 추론 벤치마크 ARC-AGI-3의 99.9%였다.
99.9%와 62.7%는 모두 동일한 모델의 실측값입니다.
벤치마크를 운영하는 ARC Prize는 같은 날의 게시물에서 GPT-6 Astra의 ARC-AGI-3 Semi-Private 점수를 두 가지 방법으로 발표한다.
- 표준 하네스: 62.7% (비용 $26,098)
- 프로바이더 어댑터 하스: 99.9%（고려 노력 비용 $19,285）
같은 모델, 같은 벤치에서 측정 방식만 다르면 숫자 차이가 이렇게 크게 발생한다.
솔직히 처음에는 99.9%만 보고 “여기까지인가?”라고 생각했다. 옆에 있는 62.7%에 주목한 것은, 최초 정보를 열어보고 나서였다.
현재 발생하고 있는 차이는 상태를 유지하는 방식에 있습니다.
두 개의 하르네스는 모델의 “중간 상태”를 어떻게 처리할 것인지에 차이가 있다.
표준 하네스에서는 모델이 스스로 남겨둔 노트를 다음 턴으로 옮길 수 있다. 프로바이더 어댑터 하네스는 요청을 넘어 추론 상태를 그대로 유지한다.
쉽게 말해서, 후자의 경우 “이전의 생각을 잊지 않고 지속할 수 있다”는 의미입니다. 긴 단계를 요구하는 작업에서는 이 차이가 그대로 점수 차이로 이어집니다.
어떤 방식이 정확한지에 대한 이야기가 아니다. 실제 제품에서는 추론 상태가 유지되므로, Provider Adapter 측이 사용하는 모습과 더 가깝다는 시각도 가능하다. 다만 제공원마다 구현에 따라 달라지기 때문에, 모델들을 옆으로 나란히 배치하는 용도에는 적합하지 않다.
높은 점수가 더 유리하게 평가되고 있다.
가장 간과하기 쉬운 부분은 비용입니다.
표준 하스(Standard harness)는 62.7%, 프로바이더 어댑터 하스(Provider Adapter harness)는 99.9%였습니다. 점수가 낮은 쪽에 해당하는 제품이 더 비쌌습니다.
상태를 이전할 수 없는 조건이라면 같은 부분을 반복적으로 검토하게 되어, 그 결과 토큰 사용량이 불필요하게 증가한다.
자사에서 모델을 시험할 때도 정확성과 비용은 별도로 변동한다. 이는 실제 측정을 통해 확인해야 알 수 있다.
ARC Prize 자체도 “AGI의 증명은 아닌”이라고 쓰고 있다.
숫자는 숫자에 불과하기 때문에, AGI 달성이라는 말이 따라다닌다.
단 ARC Prize는 벤치마크가 과도하게 만족스러운 수준에 도달하는 것이 “AGI 달성의 증거”가 될 수 없음을 명시하고 있다. Astra는 일반화에 대한 의미 있는 진보를 보여주지만, 그것이 AGI라고 주장하지 않는다—というのがARC Prize의 설명이다.
운영 측에서 이렇게까지 이야기하는 것은 오히려 숫자를 처리한 방식이 진솔하다고 생각한다.
6. 코딩 관련 점수는 솔직히 상승세입니다.
지금까지는 ARC-AGI-3의 측정 방식에 한정된 이야기입니다. 전 세대의 GPT-5.6 Sol과 비교했을 때, 실무와 가까운 영역은 대체로 상승하고 있습니다. (괄호 안은 전 세대 GPT-5.6 Sol의 값).
- 터미널 벤치 4.0: 57.9% (이전 37.3%)
- OSWorld 2.0 (47개의 작업): 72.6% (이전 65.7%)
- ExploitBench: 100% (이전 78.5%)
- SRE-벤치: 1개의 작업 실행 성공률 88.0%(이전 55.9%) / 4개의 쿼리 범위 99.2%(이전 68.7%)
- 딥SWE v1.1: 74.1% (이전 세대 비교치는 기사에 기재되지 않음)
Mind2Web은 언론 기사가 GPT-5.6 Sol와 비교하여 1.9배의 속도로 작업을 완료했다고 보고하고 있다.
코딩이나 터미널 작업 등을 위임하고 싶다면, 주목해야 할 것은 이 목록이다. ARC-AGI-3는 추상적 추론 지표이며, 일상적인 구현 작업과는 거리가 있다.
결론: 측정 전에 측정 방법을 먼저 확립한다.
같은 모델, 같은 벤치에서 99.9%와 62.7%가 나온다. 이 차이는 측정 방식에서 비롯되었으며, 비용은 낮은 점수 쪽이 더 높았다.
여기서 말하는 ‘측정 방식’이란 어떤 조건으로 실행할지를 의미한다. 상태를 이전할 것인지, 어떤 하네스를 사용할 것인지 결정하는 것이다. 자사 모델을 비교할 때도 점수를 보기 전에 이러한 조건을 미리 정해두어야 한다. 측정 방식이 일치하지 않는 비교표는 숫자가 있어도 의미가 없다.
첫 번째 회차는 과장되지 않게 진행해도 괜찮습니다. 저희 회사에서 실제로 사용하는 프롬프트를 몇 가지 준비하여, 측정 방법을 하나로 고정하고 그대로 2개의 모델에 통과시키면 내부 대화가 “99.9% 정도”라는 의견에서 “저희 방식대로 측정했더니 이렇게 결과가 나옵니다”라는 식으로 바뀌는 효과를 볼 수 있습니다.
상담 경로: 귀사의 업무에서 어떤 모델을 어떻게 평가하고, 측정 방법을 어떻게 정할지 정리하고자 하시면, 전문가와 상담을 통해 해결할 수 있습니다. 상담은 https://allegro-dx.jp/ 에서 가능합니다.
네, 그러네요. 저에게 가장 좋아하는 책은 ‘별의 정원’입니다. 어렸을 때부터 읽어왔고, 지금 다시 읽을 때는 그 별의 정원 주인공의 말이 정말 제 마음을 울리는 것 같아요. 인생에 대한 교훈이 많이 담겨 있는 것처럼 느껴집니다.
물론, 다른 책들도 많이 읽었어요. 예를 들어, ‘해리 포터’ 시리즈는 어렸을 때부터 정말 열광해서 읽었어요. 마법 세계에 빠져 있는 게 정말 즐거웠습니다.
그리고 최근에 읽은 책 중에 정말 감동받은 건, 무라카미 하루키의 ‘바다에서 유키’예요. 그 독특한 세계관에 빠져들어 정말 한 번에 다 읽어버렸습니다. 그의 작품은 어딘가 애절하고 아름다운 것 같습니다.
독서는 저에게는 삶에 있어서 빼놓을 수 없는 것 같아요. 다양한 세계에 접할 수 있고, 제 생각을 깊이 있게 할 수도 있습니다. 앞으로도 많은 책을 읽고 제 인생을 더욱 풍요롭게 만들어가고 싶습니다.
- ARC Prize「OpenAI의 GPT-6 Astra를 ARC-AGI-3에서」2026년 9월 3일: https://arcprize.org/blog/astra (정보 및 하네스별 점수와 비용)
- ＠IT “OpenAI, ‘GPT-6 Astra’ 발표 – Codex 코딩은 전 세대 대비 얼마나 진화했나?” (2026년 9월 8일) – https://atmarkit.itmedia.co.jp/ait/articles/2609/08/news035.html (국내 미디어 기사 – 각 벤치웨어의 점수 및 가격)
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 23청크
원문 보기 | 출처: note.com