# 최강 AI, 왜 전부 1위가 아닌가

> https://bookfactory.kr/board/ai-tech/22295
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-17T13:24:20.942Z

---

새로운 AI가 나올 때마다 성적표가 쏟아져 나온다.

낯선 시험 이름. 이전 모델보다 높은 점수. 경쟁자를 능가했다는 헤드라인. AI를 좋아한다면, 자연스럽게 더 자세히 읽고 싶어질 것이다.

저 역시 새로운 모델이 무엇을 할 수 있는지 궁금합니다. 하지만 이번에 구글의 공식 자료를 읽으면서 다시 한번 흥미로운 점을 발견했습니다.

새로운 모델이 하나의 성적표에서만 전 항목 1위가 되는 것은 아니다.

그것은 진화가 크지 않다는 것이 아니에요. 우리가 “AI의 지능”이라는 한마디에 꽤나 다른 능력을 담고 있기 때문입니다.

2026년 10월 13일에 공개된 Gemini 4 Argon의 모델 카드를 바탕으로, 최신 AI 발표가 조금 더 흥미로워지도록 성적표 읽기 방법을 고민해 보려고 한다.

## 같은 표 안에서 선두 자리가 바뀌는

Google의 모델 카드에서 코드와 작업 환경에 관한 세 가지 테스트를 추출해 보았다.

![画像](https://assets.st-note.com/img/1792232412-9Uu6LmDJai0bVsHjCOl7MkA5.png?width=1200)

출처: Google DeepMind 공식 모델 카드 (2026년 10월 17일 확인). 해당 회사가 공개한 비교 값의 일부이며, 제가 각 모델을 실행한 결과가 아닙니다.

이 표에 나타난 네 가지 모델에서는 DeepSWE에서 Argon, FrontierSWE에서 Astra, Terminal-bench에서 Opus 5.5가 최상위 모델로 선정되었다.

그러면 결국 무엇이 가장 좋은지 궁금해할 수도 있겠어요.

하지만 저는 이 교환에 더욱 주목하고 싶습니다. 같은 표에서 결과가 갈린다면 “강하다”라는 말 뒤에 무엇이 강한지에 대한 내용을 더해서 읽어야 합니다.

덧붙이자면, 이 표는 모든 현재 모델을 나열한 것이 아니다. 누락된 모델도 있다. 이 세 줄만으로는 현재 AI 전체의 왕자를 결정할 수 없다.

## 80점과 60점을 단순 비교하지 마세요.

![画像](https://assets.st-note.com/img/1792232449-J6UgjAEx473lOFpWMG8bYrHI.png?width=1200)

학교 시험 결과인데, 수학 80점, 영어 60점을 받아 “수학이 더 자신 있는 것 같다”고 판단할 수 있다. 하지만 각 시험의 난이도가 시험 결과에 따라 달라질 수 있다.

AI 벤치마크도 먼저 명명된 별개의 시험으로 보기를 희망한다.

같은 코드 관련 평가라도 준비된 과제나 사용할 수 있는 도구, 정답과 인정하는 조건이 다르면 측정하고 있는 작업은 동일하지 않다.

그러므로, 직전에 말씀드린 표도 세로로 읽어보면 “77.9%이므로 55.0%보다 지능이 높다”라고 단정할 수 없습니다. 비교 대상은 우선 같은 행에 있는 데이터들입니다.

또한, 특정 테스트에서 차이가 나타난다고 해도 그 차이가 모든 이용 상황에 그대로 반영되는 것은 아니다.

앱의 오류를 수정하고, 일본어 제안서 표현을 다듬는 일과 긴 자료에서 핵심을 찾고, 이미지 속 인물의 얼굴은 그대로 두고 옷만 바꾸는 일. 우리가 하나의 채팅 화면에서 부탁하는 업무에는 다양한 종류의 어려움이 섞여 있다.

코드의 성적이 높다는 정보만으로는 이미지 편집이 최고라고 단정할 수 없습니다.

점수는 유용하다. 하지만 점수가 답을 제공하는 질문의 범위까지 함께 읽으면 활용 목적이 명확해진다.

## 정말 재미있는 것은 표 아래에 있는 주석입니다.

![画像](https://assets.st-note.com/img/1792232614-IJ5ZrXaKO6jFxnvduPQUDSMp.png?width=1200)

이번에 숫자와 마찬가지로 구글의 평가 방법 자료를 꼼꼼히 확인했습니다.

그곳에는 기본적으로 한 번의 시도에서 성공을 확인하는 설정을 사용하고, 특별히 언급되지 않는 경우 높은 추론 설정을 기준으로 평가하며, 다른 회사 모델의 수치는 대부분 각 제공자의 공표된 값을 기반으로 한다는 내용이 담겨 있었다. 항목에 따라 예외나 개별적인 설명도 있었다.

즉, 같은 표에 보기 좋게 정렬되어 있어도 모든 것을 같은 장소와 같은 도구로 다시 측정했을 때 결과가 달라질 수 있습니다.

이는 표가 무의미하다는 뜻이 아니다. 어느 정도까지 비교가 이루어졌는지 파악한 후 읽어야 할 정보이다.

예를 들어, 제한 시간이 긴 시험과 짧은 시험에서는 같은 사람이라도 결과가 달라질 수 있다. 생각할 시간을 늘릴 수 있는 설정이 있다면, 그것도 결과의 일부가 된다.

이 조건에서 나온 숫자인지 한 걸음 더 구체적으로 읽고 싶다.

그러면 뉴스 헤드라인만으로는 보이지 않았던 모델의 전문 분야와 비교의 한계에 더 가깝게 접근할 수 있다.

새로운 모델명을 외우는 것뿐만 아니라, 각 챕터를 읽어보는 것이고, AI를 따라가는 즐거움의 방식은 그것만으로도 달라질 거라고 생각합니다.

## 우리 책상에는 벤치마크와 다른 종류의 업무가 있습니다.

저는 법인 영업을 하면서 동시에 AI로 창작 활동도 하고 있습니다. 그 자리에서 가장 신경 쓰는 것은, 잘 만들어진 답변의 다음 단계에서 제가 무엇을 수정해야 하는지이다.

영업 관련 글이라면 필요한 확인 사항을 누락하지 않아야 합니다. 창작물이라면, 수정하고 싶은 부분을 바로잡으면서, 남기고 싶은 분위기를 해치지 않아야 합니다. 어느 쪽 모두 “똑똑한 답변이었다”라는感想만으로는 판단하기 어렵습니다.

이제부터 제 생각입니다.

모델을 선택할 때는 “자신의 일건”을 옆에 놓으면 성적표를 읽기 쉬워진다고 생각한다.

예를 들어, 가상 비즈니스 미팅 메모를 한 장 준비한다. 거기서 확인 질문과 답변 초안을 만들면, 단순히 문장의 화려함만을 보는 것이 아니다. 아직 불확실한 조건이 억지로 확정되지 않았는지, 필요한 질문이 빠짐없이 있는지, 다음에 사용할 수 있는 형태로 되어 있는지 확인해야 한다.

이미지 편집이라면, 수정해야 할 부분과 수정하지 않았으면 하는 부분을 먼저 분리하고, 완성 후에는 두 가지 모두 확인한다.

이는 제가 이번에 모든 모델을 테스트한 비교 결과가 아니라, 독자들이 직접 손으로 시도해 볼 수 있는 예시입니다. 우선, 현재 사용할 수 있는 도구로 한 가지를 확인해 보면 됩니다.

세간의 순위에서는 보이지 않는 “나에게 도움이 되는 부분”은 그 일에서 드러난다.

## 다음 ‘최강 AI’가 나오면, 이 네 가지를 보게 될 것이다.

![画像](https://assets.st-note.com/img/1792232654-LS3mtxwQN51oFPdlsODh8Ub6.png?width=1200)

다음 발표를 읽을 때는 다음 네 가지 질문을 가지고 있어야 합니다.

무엇을 측정했습니까? 글, 코드, 이미지, 동작. 우선 어떤 업무의 테스트인지 확인합니다.

조건에는 어떤 차이가 있을까요. 추론 설정, 사용할 도구, 시행 횟수는 어떻게 다른가요? 보이는 범위 내에서 주석을 읽습니다.

누가 측정한 것입니까. 개발사의 측정인지, 제3자 평가인지, 아니면 다른 공개된 값을 모은 표인지 확인합니다.

저의 용도와 얼마나 가까운지 생각해 봅니다. 높은 점수라는 사실과, 내일의 작업에 도움이 될지 함께 고려해 봅니다.

모든 전문 용어를 완전히 이해하지 못하더라도 이 네 가지는 활용할 수 있습니다. 모르는 조건이 있다면 그대로 표시를 해 둡니다. 이는 숫자 읽기 오류를 방지하는 데 도움이 됩니다.

## 한 사람이 바뀌는 것을 보기에 흥미롭습니다.

새로운 AI에 놀라는 감정은 앞으로도 소중히 간직하고 싶다.

이전에는 어려웠던 일을 할 수 있게 된다는 변화를 쫓는 것은 즐겁고, 나 자신도 뭔가 만들고 싶어지기도 한다.

그뿐만 아니라 “전체 1위가 아니다”라는 사실을 알게 되면 발표의 의미가 달라진다.

또 최강이 나왔네” 다음으로 “이번에는 어떤 일을 잘하게 되었을까”라고 생각하게 된다.

저는 그 질문을 품고 싶었습니다.

다음 성적표를 열어보면, 가장 큰 숫자의 아래에 있는 쪽지를 하나만 읽어보세요. 거기에 자신이 다음에 시도해 볼 것의 힌트가 있을지도 모릅니다.

참조 자료: Google DeepMind “Gemini 4 Argon” 모델 카드 및 공식 평가 방법. 확인일: 2026년 10월 17일. 게재된 값은 공개 원본의 평가이며, SaCoZi의 독립 측정은 아닙니다.

**출처:** [note 원문](https://note.com/sacozi/n/n15b5572a9a5e)

*번역: Gemma 3(.44) 초벌 + 교정 34청크*

[원문 보기](https://note.com/sacozi/n/n15b5572a9a5e) | 출처: note.com