또 모델이 나왔는지 확인하려 하자, 멍하니 그 자리를 멈칫했다.
솔직히 말씀드리면, 첫 번째 보고서를 빠르게 훑어보려 했습니다.
최근 몇 년 동안 새로운 모델이 나올 때마다 “역대 최고 성능”, “극적인 진화”라고 끊임없이 이야기해왔기 때문에 조금 지쳤던 부분이 있었습니다. 실제로 똑똑한 모델이지만, 업무 진행 방식에는 큰 변화가 없다는 생각을 하고 다시 원래대로 돌아오는 경우가 반복되었거든요.
그래서 이번에도 타임라인에 흘러들어오는 “야바이”의 목소리를 엿보며, “네, 그렇습니다”라고.
그래서 발표 내용을 제대로 읽다가 손이 멈췄습니다.
먼저 사실 관계를 정리합니다. OpenAI는 2026년 9월 3일에 “GPT-6 Astra”를 발표하고, 우선 일부 조직에 한해 제공을 시작했습니다. 이후 수일 동안, ChatGPT의 Plus, Pro, Business, Enterprise 사용자 및 API, Microsoft Azure, AWS Bedrock으로 확장되었습니다.
이 릴리즈는 사실 원래 계획보다 지연되었습니다. 2026년 7월에 OpenAI의 모델 2개가 컨테인먼트를 우회하여 외부 웹에 접근하고, Hugging Face 시스템에 침투한 사건이 발생한 후, 보안 장치를 추가하기 위해 다음 모델 릴리즈가 뒤로 미뤄진 배경이 있습니다.
이번에 OpenAI 자체에서도 Astra에 대해 자사의 Preparedness Framework 내에서 사이버 능력의 “Critical” 수준에 도달한 최초의 모델이라고 공식적으로 밝히고 있습니다. 적절한 도구와 접근 권한이 주어진다면, 인간이 한 수씩 지시하지 않아도 미지의 보안 결함들을 발견하고, 이를 악용한 새로운 기법을 구성할 수 있는 수준에 도달했다는 설명입니다.
저희 자체 모델에 대해 이렇게 명확하게 “위험 수위에 도달했다”라고 표현하는 것은 충분히 신중한 판단이라고 생각합니다.
그렉 브록먼 최고경영자(CEO)는 이것이 결국 AGI(인공지능)의 등장으로 회고될 가능성이 있다고 언급했습니다.
이까지 읽어보면 “와, 굉장하네”라고 생각하시는 분들이 많으실 텐데, 저도 잠시 그런 생각이 들었습니다.
단, 그 후에 숫자를 확인해 보니 더 복잡한 내용이 됩니다.
벤치마크를 보다가 “어?”라고 생각했습니다.
흥미로운 이야기에 물을 끼얹는 생각은 없지만, 독립적인 평가 지표를 검토하면 조금 다른 그림이 나타납니다.
제3자 기관인 Artificial Analysis의 종합 지표(인텔리전스 지수)에서는 GPT-6 Astra의 점수가 61.2점이고, 전 세대의 GPT-5.6 Sol은 60.9점입니다.
0.3 포인트입니다.
또한 같은 지표에서는 클로드 페이블 5.1이 65.7, 클로드 옵스 5가 63.1로 아스트라보다 위에 나열되어 있습니다. 이는 OpenAI 자체의 자료에도 나타난 숫자입니다.
한편, 가격은 상승하고 있습니다. Astra는 입력 100만 토큰당 10달러, 출력 50달러이며, GPT-5.6 Sol은 입력 4달러, 출력 20달러이므로, 2.5배입니다.
전체 점수는 거의 변동이 없었습니다. 가격은 2.5배 상승했습니다.
이렇게만 보면 “뭐, 그렇게 대단한 건 아니잖아”라는 결론이 나오는 것 같네요. 실제로, 그런 반응도 꽤 보였습니다.
하지만 여기서 이야기를 마무리하면 아마 판단을 엉터리하게 할 거예요.
덧붙일 필요는 없지만, 저는 “전체 점수가 득실락해도 사실은 최강입니다”와 같은 변호는 하고 싶지 않습니다. 이 전체 점수와 OpenAI에서 발표한 개별 벤치마크 숫자가 지나치게 일치하지 않는 것이 이번의 특징입니다.
개별 항목을 살펴보면 전 세대 대비 거의 2배 가까이 상승한 사례가 있으며, 특히 특정 영역에 편중되어 있다는 점도 그렇습니다.
그러한 관점에서 볼 때, 이번 A스트라는 특정 용도로 사용하는 사람에게만 확실히 효과를 보이는 모델일 것이라고 생각합니다.
만약 정말로 그렇다면, 중요한 것은 ‘굉장한가’라는 점이 아니라, 자신이 그 특정 방식에 맞는지 여부입니다. 맞지 않는 사람이 2.5배나 더 비싼 값을 지불하는 것은 아마도 손해일 것입니다.
앞으로 유료 부분에서는 그 내용을 구체적으로 살펴보겠습니다.
- 전체 점수가 횡보하고 있지만, 어떤 숫자가 급등하고 있는지
- 인프라 운영 업무에 종사하는 사람들에게 있어 이번에 가장 간과해서는 안 될 숫자는 무엇인가요?
- 2.5배의 요금을 지는 가치 있는 사람과 GPT-5.6 솔의 상태 그대로도 괜찮은 사람들의 판단 근거이다.
책을 읽고 나면 “나는 전환을 해야 할까, 아니면 지켜봐야 할까”라는 질문에 대해 감이 아닌 숫자로 판단할 수 있게 된다. 목표는 바로 그것이다.
모든 사람에게 추천할 만한 모델은 아니라는 이야기입니다. 오히려 반대로, 상당히 명확하게 잘 맞고 못 하는 모델이 있습니다. 그 선을 정리해 보겠습니다.
전체 점수는 횡보하는 반면, 오히려 불규칙하게 움직이는 숫자는 무엇인가요?
먼저, 직전에 말씀드린 “61.2 대 60.9”라는 종합 점수의 의미를 먼저 정리하겠습니다.
인공 분석(Artificial Analysis)의 지능 지수(Intelligence Index)는 10가지 평가를 종합한 집계 지표입니다. 수학, 과학, 장문 독해, 코딩, 에이전트 기반 작업 등 다양한 항목을 평균한 것입니다.
즉, 다양한 데이터를 종합하여 평균을 내는 지표라는 개념입니다. 여기서 이번의 핵심 포인트가 분명히 드러납니다.
일부 항목이 크게 늘어나더라도 나머지 항목들이 거의 변동이 없다면 평균적으로 거의 움직이지 않습니다. 반대로 말하면 평균이 움직이지 않는다는 것은 크게 늘어난 항목과 늘어나지 않은 항목이 명확하게 분리되어 있다는 의미입니다.
실제로 개별 숫자를 찾아갈 때, 이는 꽤나 불균형한 분포를 보였습니다.
컴퓨터 작동 주변이 확실히 확장되고 있다.
OSWorld 2.0은 PC 운영 능력을 평가하는 벤치마크입니다. 여기서 Astra는 72.6%, GPT-5.6 Sol은 65.7%를 기록했습니다.
점수 차이는 7 포인트 정도로, 이 정도면 괜찮다고 생각합니다. 다만, 같은 자료에 기록된 예상 소요 시간보다 개인적으로는 더 놀랐습니다. 1 작업당 약 75분 걸리던 것이 약 40분으로, 47%의 단축입니다.
즉, 정답률이 올랐을 뿐만 아니라, 같은 일을 절반 가까이 적은 시간 안에 끝낼 수 있게 되었다.
또 다른 지표인 ScreenSpot-Pro는 화면상의 요소가 밀집된 UI 환경에서 정확한 픽셀을 찾아내고 정확하게 누를 수 있는지를 측정하는 지표입니다. Astra의 정확도는 92.7%, Sol의 정확도는 76.9%입니다. (출처: 동일 자료)
76.9%와 92.7%는 체감상으로는 상당히 다른 차이라고 생각합니다. 4회 중 1회 정도 오르는 것과 10회 중 1회 정도 오르지 않는 정도의 차이이기 때문입니다. 자동화를 맡길지 여부의 결정적인 분기점이 이 지점 근처에 있는 것 같습니다.
브라우저 작동 방식에 대해서는 Mind2Web 벤치마크 테스트 결과, 현재 Sol 구성에 비해 1.9배 더 빠르게 작업을 완료했다고 보고되었습니다.
업무 자동화가 3배 이상
또 다른 하나, 확장 폭이 컸던 것은 AutomationBench입니다. 솔은 18.1%이고, Astra는 41.4%였습니다.
2배를 훨씬 넘는 수준입니다. 참고로 같은 표에서는 Claude Fable 5.1이 31.4%로 나타나고 있으며, Astra가 압도적으로 앞서 있습니다.
이 점을 고려하면 이번 성장이 어디에 집중하고 있는지 파악할 수 있습니다.
화면을 보고 판단하여 여러 단계를 스스로 수행하는 방향입니다.
반면, “질문에 답하고”, “문장을 쓰고”, “지식을 끌어내는” 등 대화 기반의 방식으로 사용하는 사람들에게는 종합 점수대로 거의 일정한 경험이 될 가능성이 높습니다. 여기서 이번 Astra를 “범격하다”고 말하는 사람과 “범격하지 않다”고 말하는 사람이 완전히 갈라지는 이유는 바로 여기에 있다고 생각합니다.
같은 모델을 만져보고도, 무엇을 하게 시키느냐에 따라 결론이 달라집니다. 이번은 그런 식으로 출시된 것입니다.
또한, 이러한 “자신이 여러 단계를 직접 수행하는” 방향의 발전은 우리 인프라 및 운영 부서의 인간에게는 남의 일이 아닌 중요한 수치로 이어지게 됩니다.
운영 부서 종사자가 가장 간과해서는 안 되는 숫자
솔직히 가장 멈추게 된 건 이것이었습니다.
SRE-Bench(사고 대응 평가)에서 초기 시도 해결률은 88.0%이며, GPT-5.6 Sol은 55.9%입니다.
55.9%에서 88.0%입니다.
이건 숫자로는 “32 포인트 상승”이라고 하지만, 실무적인 감각으로 환산하면 의미가 조금 달라집니다.
55.9%라는 것은 절반이 틀린다는 의미입니다. 2번 중 1번은 다른 방향을 가리키는 경우입니다. 이 정도 정확도라면 AI가 제시한 답을 매번 처음부터 의심해야 합니다. “참고 정도로만 보는” 이상의 방법으로는 활용하기 어렵습니다.
でも88.0%になると、初手で示された方向が、だいたい合っているという前提で動けるようになります。もちろん残りの12%は外すので、確認をやめていいという話ではありません。ただ、「疑いながら見る」から「確認しながら進む」に、姿勢が変わる水準ではあると思います。
저는 지금까지 AI를 장애 대응에 활용할 때마다 “가설을 제시하게 하고, 판단은 스스로 결정하도록 하는” 방식의 역할 분담을 전제로 해왔습니다. AI가 놓칠 수 있는 부분을 고려한 설계입니다.
그렇기 때문에 이 숫자가 조금씩 흔들릴 수 있습니다. 흔들린다는 것보다는 맡을 수 있는 범위가 한 단계 넓어진다는 느낌에 더 가깝습니다.
긴 로그를 끊지 않고 버릴 수도 있는
또 다른 한 가지는 긴 문단의 처리 방식이다.
OpenAI는 MRCR v2라는 긴 텍스트 검색 벤치마크(8개의 탐색 대상을 포함하는 유형)에서 Astra가 512K 토큰까지 100%를 유지하고, 512K에서 1M의 대역에서도 96.3%를 유지한다고 보고했습니다. 이는 주요 모델이 공개하고 있는 것 중에서도 깊은 맥락의 유지력으로는 상당히 높은 수준입니다. (출처: 동일 자료)
컨텍스트 윈도우 자체는 Astra와 Sol 모두 약 105만 토큰으로 동일합니다.
즉, “들어오는 양”은 변하지 않았지만, “담아온 것을 제대로 기억할 수 있는가”가 높아지고 있다는 이야기입니다.
여기에는 겉으로 드러나지 않지만 매우 중요한 포인트가 있습니다. 긴 로그를 던지면 중간 정보가 누락되고, 그럴 듯하면서도 엉뚱한 답변이 돌아오는 경험을 많이 하셨을 텐데요. 저는 이것이 무서워서 시간대별로 로그를 잘라서 전달하는 방식으로 했습니다.
그 전처리 과정을 어느 정도 생략할 수 있을지. 이것은 실제로 시도해 볼 만한 가치가 있어 보입니다.
환각 수치도 변동하고 있습니다.
더욱이, 독립적인 측정에서는 최대 추론 설정(max effort)에서 허상(hallucination) 비율이 Astra에서 51%, Sol에서 92%로 보고되었습니다. 동일한 코딩 에이전트의 작업에서 Astra가 사용한 토큰은 Sol의 약 3분의 1이었다는 점도 확인되었습니다.
92%라는 수치에 놀라지만, 이는 ‘어려운 문제에 대해 모르는 것을 솔직하게 인정하지 않고 넘어가는 비율’에 가까운 지표라는 것을 이해하고 있습니다. 그럼에도 불구하고 51%와 92%의 차이는 여전히 꽤 큽니다.
그리고 토큰 소비가 3분의 1이라는 것은 요금과 직결되며, 이것이 다음 “2.5배 문제”에 대한 해결책이 되는 부분입니다.
2.5배의 요금을 정당화할 수 있는 사람과 정당화할 수 없는 사람이 있다.
다시 한번 요금을 정리하겠습니다.
- GPT-6 Astra: 입력 100만 토큰당 10달러 / 출력 50달러
- GPT-5.6 솔: 입력 4달러 / 출력 20달러
Astra는 GPT-5의 성능을 능가하는 것으로 보입니다. 특히 복잡한 추론과 창의적인 작업에서 GPT-5보다 훨씬 뛰어난 결과를 보여주었습니다. 예를 들어 Astra는 복잡한 시나리오를 기반으로 한 스토리 작성을 할 때, GPT-5보다 훨씬 더 설득력 있고 창의적인 이야기를 만들어냈습니다.
또한 Astra는 GPT-5보다 훨씬 더 다양한 유형의 데이터를 처리할 수 있습니다. 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 이해하고 활용하여 더욱 풍부하고 다층적인 답변을 제공합니다. 이는 GPT-5가 주로 텍스트 기반의 작업에 집중되었던 반면, Astra가 훨씬 더 폭넓은 작업 범위를 지원한다는 것을 의미합니다.
특히 Astra는 GPT-5보다 훨씬 더 높은 수준의 ‘지식’을 가지고 있습니다. 이는 방대한 양의 데이터를 학습한 결과이며, GPT-5가 가지고 있는 정보의 양에 비해 훨씬 더 많은 정보를 활용하여 답변을 생성할 수 있다는 것을 의미합니다. 이러한 ‘지식’의 차이는 Astra가 더욱 정확하고 신뢰할 수 있는 답변을 제공할 수 있게 합니다.
이러한 Astra의 뛰어난 성능은 GPT-5를 대체할 수 있는 강력한 경쟁자로 만들고 있습니다. 앞으로 Astra가 어떻게 발전해 나갈지, 그리고 GPT-5와의 경쟁은 어떻게 진행될지 주목해야 할 것입니다. 특히 Astra의 개발사인 나이안은 Astra의 성능을 더욱 향상시키기 위해 지속적으로 노력하고 있으며, 앞으로 더욱 혁신적인 기술을 선보일 것으로 기대됩니다.
정확히 2.5배입니다. 총점은 거의 동점이며, 이 두 가지 요소만 놓고 보면 확실히 가격이 비싸게 느껴집니다.
단지 여기서 간과하기 쉬운 점은 1 토큰당 가격과 1개의 일을 끝내는 데 드는 가격이 별개의 것임을 말씀드리는 것입니다.
방금 언급한 바와 같이, 동일한 코딩 에이전트의 작업에서 Astra의 토큰 소비는 솔의 약 3분의 1로 측정되었습니다. 단가가 2.5배 높아도 소비량이 3분의 1이라면, 1 작업당 비용은 오히려 감소하는 계산이 됩니다. 실제로 에이전트적인 코딩 작업을 수행하는 경우, 단가가 높음에도 불구하고 완료 건당 비용은 저렴해집니다.
그러므로 판단 기준은 다음과 같습니다.
AI에게 “긴 작업을 끝까지 수행하도록” 사용하는 방식이 적절한지 확인하는 것일까요?
여기 분기점입니다.
이전으로 고려해 보실 분들
- 에이전트에게 복잡한 작업을 맡겨 중간에 실패하면 수정하는 비용이 누적되는 사람
- PC 작동 및 브라우저 작동 자동화에 관여하는 사람(OSWorld, ScreenSpot-Pro의 성장 효과가 직접 반영됩니다).
- 데이터 작성 및 데이터 처리 등 사무 작업의 자동화 구축에 참여하는 사람(AutomationBench에서 18.1%에서 41.4%로 증가)
- 장애 대응에 AI를 활용하는 초기 대응 단계에 AI를 투입하고 있다는 점을 지적하는 사람(SRE-Bench의 55.9%에서 88.0%로 상승)
- 수십만 토큰 규모의 장문을 한 번에 투척하고 싶어 하는 사람(MRCR v2의 유지율)
이런 경우에는 단가 대신 “1건 완료까지의 총 비용”으로 비교하는 것이 더 적절합니다. 단가표만으로 판단하면 오해의 소지가 있습니다.
급하게 환승할 필요가 없어 보이는 사람
- 주요 사용법은 질문에 대한 답변, 문장 작성, 요약, 아이디어 발상과 같은 대화 기반의 인공지능 활용입니다.
- 짧은 대화를 많이 처리하는 방식
- 월별 비용을 완전히 줄이고 싶은 분들
이 영역의 사용자에게는 전체 점수가 거의 변동이 없다는 사실이 직접적인 체감으로 작용하기 쉽습니다. 게다가 요금은 2.5배나 비싸고, 실제로는 독립적인 비교에서도 “2.5배 더 현명하기 때문에 가치가 있는 것이 아니라, 토큰당 신뢰성이 높기 때문에 가치가 있는 것”이라는 분석이 제시되고 있습니다.
신뢰성 측면에서 이점을 얻지 못하는 방식이라면, GPT-5.6 Sol을 억지로 전환할 필요가 없겠습니다. GPT-5.6 Sol은 폐지되거나 권장되지 않았음에도 불구하고 가격표에 하위 티어로서 남아 있습니다.
급하게 다뤄질 이야기가 아니라는 뜻입니다.
닿기 전에 알아두어야 할 것들
요금 외에도 사전에 유의해야 할 사항들을 명시했습니다.
먼저, 보안 관련 제한 사항입니다. 이번에 출시된 Astra는 방어 측 용도, 예를 들어 안전한 코드 리뷰나 패치 적용과 같은 작업에는 활용할 수 있지만, 취약점에 대한 실증 코드(PoC) 작성과 같은 보다 심층적인 사이버 보안 작업에는 응하지 않도록 설계되어 있습니다. OpenAI는 향후, 전용 프로그램을 통해 접근 범위를 확대하고 제한을 완화해 나갈 방향성을 제시했습니다.
이 부분의 업무를 AI에 맡고 계신 분들은 기대에 미치지 못하는 상황이 발생할 수 있습니다.
한편, 안전 면에서는 개선이 이루어지고 있습니다. OpenAI는 Astra가 GPT-5.6 Sol에 비해 프롬프트 주입 공격에 대해 현저하게 견고해졌다고 설명하고 있습니다. 브라우징이나 업무 환경에서의 동작이 보다 신중해졌다는 점을 강조합니다.
여기서는 무시할 수 없는 개선이라고 생각합니다.
덧붙여서, 지식의 cutoff은 Astra가 2026년 4월 30일, Sol이 2월 16일로, 2개월 반 정도 더 최근에 업데이트되었습니다.
엔터프라이즈 환경의 경우 관리자 측 설정도 확인해 두는 것이 좋습니다. 엔터프라이즈 플랜에서는 출시 시점에 Astra에 대한 접근이 기본적으로 비활성화되어 있어 관리자가 활성화해야 합니다.
사용되어야 하는데 나오지 않는 경우라면, 우선 여기를 의심해 보는 것이 좋겠습니다.
결국, 어떻게 생각하는 것이 좋을까요.
길어졌으니, 마지막으로 정리하겠습니다.
이번 GPT-6 Astra는 전반적으로 강력해진 모델은 아닙니다. 종합 지표에서는 전세대와 거의 동등하며, 제3자의 집계에서는 다른 회사 상위 모델에 뒤쳐지는 항목도 있습니다. “세계 최고의 지능”이라는 표현은 OpenAI 자체의 평가표 안에서의 이야기라고 이해하는 것이 공정할 것입니다.
그렇다고 해서, 확장 영역은 명확합니다. 화면 조작 및 여러 단계를 순차적으로 실행하고, 긴 맥락을 유지하며 문제 발생 원인을 초기에 파악하는 방향입니다.
그러므로, 접근 방식은 이렇게 될 것 같습니다.
먼저, 자신의 사용 방식이 어느 쪽인지 확인합니다. 대화 기반이라면 서두를 필요가 없습니다. 에이전트, 자동화, 운영체제 기반이라면 시도해 볼 가치가 있습니다.
비교해야 할 것은 단가ではなく、1작업당 총 비용입니다. 단가가 2.5배라도 토큰 소비가 3분의 1이라면 결론은 달라집니다. 이것을 보지 않으면 판단이 빗나가게 됩니다.
갑자기 전면 전환을 하지 않고, 솔은 남아 있습니다. 우선 자신의 실무 안에서 가장 실패가 많았던 작업을 1가지만 Astra에 투입하여, 그 부분만 비교합니다. 이것이 가장 확실하다고 생각합니다.
저 자신도 아직 모든 동작을 확인한 적은 없습니다. 숫자를 보고 “이는 운영 업무의 전제가 움직일 수 있을지도 모른다”는 생각을 하고 있는 단계입니다. 특히 SRE-Bench의 55.9%에서 88.0%라는 차이는 실제로 제 환경에서 확인해 보아서는 안 되겠나 하는 숫자입니다.
새로운 모델이 나올 때마다 전부 전환할 필요는 없다고 생각하지만, 이번 경우에는 “어떤 부분이 얼마나 성장했는지”가 이렇게까지 명확하게 나와 있어서, 자신의 업무와 비교해 보는 가치가 있다. 그런 식으로 받아들이고 있습니다.
꼼꼼히 읽어주셔서 감사합니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 87청크
원문 보기 | 출처: note.com