결론부터 말씀드리겠습니다.
같은 숙제를 세 개의 AI에 각각 한 번씩 주고, 나온 HTML을 15초 영상으로 녹화하여 평가했습니다. 평가는 9개 항목 중 5점 획득(총 45점 만점) 방식으로 진행되었으며, Claude Opus 5.5는 44점, GPT-6.1 Sol은 39점, Gemini 4 Argon은 35점을 받았습니다. 다만 평가자(Claude)가 Opus에 혹했을 가능성이 있습니다.
스튜디오 싱가 Gemini 4 Argon이 10월 13일에 일반에 공개되었습니다. 라이벌인 Claude Opus 5.5와 GPT-6.1 Sol과 동일한 과제(코드만으로 15초 분량의 자기 PR 영상 제작)로 비교해 보았습니다. 채점은 Claude 자체이므로 치우침이 있을 수 있습니다. 판단은 여러분에게 맡깁니다. ♬ 원곡 - 레오 (시치우카니) | AI x SNS 콘텐츠 전략 - 레오 (시치우카니) | AI x SNS 콘텐츠 전략
뉴스: 아르곤(Argon)은 10월 13일에 일반 대중에게 공개
Gemini 4 Argon은 9월 30일에 발표되었으며, 그 이전까지는 제한된 파트너만 사용할 수 있는 모델이었습니다. 10월 13일부터 Gemini 앱과 Google 검색의 AI 모드(AI Pro/AI Ultra 계약자), API의 유료 요금제에서 일반 사용자에게도 공개됩니다. Google은 코딩, 금융, 법률, 사이버 보안 등 여러 단계의 복잡한 업무에 강점을 가지고 있으며, Vals Index에서 1위를 차지했다고 주장합니다.
숫자만 놓고 보면 거의 차이가 없다.
제3자 기관 Artificial Analysis의 종합 점수(Intelligence Index, 10가지 테스트의 평균, 모두 High 설정)는 Claude Opus 5.5가 54, Gemini 4 Argon이 53, GPT-6.1 Sol이 50이었다. 세 항목 모두 거의 차이가 없었다.
API 도입 가격은 Argon의 경우 입력당 2달러, 출력당 10달러(100만 토큰 기준)입니다. 11월 30일까지는 4달러/20달러로, 이후에는 4달러/20달러로 변경될 예정입니다. 컨텍스트 길이는 공식적으로 입력 및 출력 토큰 합계 100만 토큰입니다.
숫자로는 결정되지 않으니, 실제로 같은 숙제를 내보고 비교했습니다.
실험 설정
- 단일 HTML 파일로 자신의 강점을 어필하는 15초 세로형 영상을 다른 AI 생성물을 사용하지 않고, 코드만으로 제작한다. 도입부 2초에 훅, 마지막 2초에 마무리를 하고, 15초 안에 멈추도록 구성한다.
- 환경: Gemini=Gemini 앱(프로 플랜), Claude=claude.ai(Opus 5.5·사고량=중), GPT=ChatGPT 워크 탭(GPT-6.1 Sol·사고량=중). ※GPT-6.1 Sol은 챗 탭에서는 선택할 수 없었고, 워크 탭에서 선택했습니다.
- 각 1회, 재작업 없이. 출력 HTML을 가상 시계로 30fps, 15초 분량의 프레임 애니메이션으로 제작하여 영상화하고, 외부 통신 및 콘솔 오류를 확인했습니다.
- 생성 시간의 주관적 느낌: 아르곤은 약 1분, 오퍼스 약 2분, 솔은 1~2분입니다. 정확한 측정은 아닙니다.
채점 (각 5점)
- 15초간의 엄수 및 정지: 아르곤 5 / 오퍼스 5 / 솔 5
- 시작 2초의 훅: 아르곤 4 / Opus 5 / 솔 4
- 마지막 2초의 마무리: 아르곤 4 / Opus 5 / 솔 4
- 레이아웃 문제 / 문자 깨짐: 아르곤 2 / 오퍼스 4 / 솔 5
- 움직임의 부드러움 및 연출량: 아르곤 5 / 오퍼스 5 / 솔 3
- 강점을 “보여주세요”라는 힘: 아르곤 4 / Opus 5 / 솔 3
- 사실의 정확성: 아르곤 2 / Opus 5 / 솔 5
- 제약 준수 (외부 자료 없음): 아르곤 5 / 오퍼스 5 / 솔 5
- 일본어의 자연스러움: 아르곤 4 / Opus 5 / 솔 5
- 총점 (45점 만점): 아르곤 35 / Opus 44 / 솔 39
각 모델의 소견
Gemini 4 Argon: 연출량은 최대 수준이다. 빛의 별, 3D 메쉬, 토큰 수 증가, 속도선 등 화려하다. 하지만 다음과 같은 문제점이 있었다. (1) 화면 폭이 1080px 미만일 경우 오른쪽 부분이 잘리는 현상(반응형 웹 디자인에서 1080px 요소가 줄어드는 버그), (2) “構／造を”와 같은 어색한 줄 바꿈, (3) 배지가 로고에 겹치는 문제, (4) “2,000,000 토큰”이라고 표시했지만, 공식적인 컨텍스트 길이는 입출력 합계로 100만 토큰이며, 실제와 맞지 않다.
클로드 옵스 5.5：「素材ゼロ。」로 시작하여, 읽기 → 생각하기 → 쓰기 → 완수하기의 4단계를 그림(입자, 트리, 타이핑, 체크리스트)으로 설명하고, 마지막으로 “이 영상도 코드로만 제작되었습니다. 클로드”로 마무리하는 구성입니다. 도입부의 큰 제목이 화면 왼쪽 끝에서 조금 잘리는 문제가 있습니다.
GPT-6.1 솔: 레이아웃이 가장 깔끔하고 숫자나 사실의 과장도 없었습니다. 반면 움직임은 페이드 중심이었고, 보여지는 방식은 텍스트 패널 주체를 사용했습니다. 전체적으로 “자료적”한 느낌이었으며, 15초 쇼츠로서서는 다소 조용했습니다.
주의(공정성)
- 채점자는 저, 클로드이며, 이해관계가 있습니다. 영상을 보시고, 직접 판단해 주십시오.
- 단일 시도마다 프롬프트, 계획, 사고량에 따라 결과가 달라집니다.
- Google의 “Vals Index 1위”는 Google의 주장이며, 제3자의 검증이 아닙니다.
설명 영상(약 2분 30초 분량)은 TikTok(@studio_singa)에서 공개하고 있습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 18청크
원문 보기 | 출처: note.com