AI도 풀지 못하는 게임, 당신은 풀 수 있을까요?
게시판: 출판사 공지수집 | 작성자: admin | 작성일: 2026-03-26 08:45:17

## AI의 지능을 규칙 불명의 게임으로 측정하는 'ARC-AGI-3' 등장: AI는 아직 통과 못하지만 인간은 100% 통과 가능한 게임을 직접 플레이해 보세요
---
### AI 지능 측정의 새로운 기준: ARC-AGI-3
Google의 전 연구원이자 AI 연구를 선도해 온 프랑수아 숄레(François Chollet)가 개발한 **ARC-AGI**는 범용 인공지능(AGI) 구현에 필수적인 '지능'의 정도를 측정하는 AI 벤치마크입니다. 기존의 **ARC-AGI-1**은 '기존 지식을 조합하여 문제를 해결하는 능력'을, **ARC-AGI-2**는 유동 지능의 높낮이를 측정하는 데 중점을 두었습니다.
그리고 2026년 3월 26일, '인간은 100%의 점수를 달성할 수 있지만, AI는 1% 미만만 달성할 수 있는' **ARC-AGI-3**가 발표되었습니다.

ARC-AGI-3는 AI 에이전트가 **미지의 데이터**에서 적절한 분류나 예측을 수행하는 **일반화(generalization)** 능력을 측정하기 위해 설계된 대화형 추론 벤치마크입니다. 기존의 AI 평가 지표는 정적인 벤치마크를 기준으로 삼았지만, 최첨단 AI 에이전트 시스템을 평가하기 위해서는 **탐색, 인지→계획→행동, 기억, 목표 달성, 얼라인먼트** 등을 측정할 수 있는 새로운 도구가 필요했습니다.
### ARC-AGI-3의 설계 철학
ARC-AGI-3는 다음과 같은 설계 철학을 바탕으로 구축되었습니다.
* **인간의 즉각적인 습득 용이성:** 인간이 쉽게 이해하고 학습할 수 있도록 설계되었습니다.
* **사전 지식 및 숨겨진 프롬프트 배제:** AI가 기존에 학습한 지식이나 숨겨진 지시 없이 문제를 해결하도록 유도합니다.
* **명확한 목표 설정 및 유의미한 피드백:** 플레이어에게 명확한 목표를 제시하고, 학습에 도움이 되는 피드백을 제공합니다.
* **강제적인 암기 방지:** 단순히 정보를 암기하는 방식으로는 해결할 수 없도록 설계되었습니다.
이러한 설계 덕분에 ARC-AGI-3에서 100%의 점수를 달성하기 위해서는 AI 에이전트가 각 환경 내에서 경험을 통해 학습하고, 무엇이 중요한지 인식하며, 행동을 선택하고, 자연어 지시에 의존하지 않고 전략을 적응시켜 인간과 동등하게 모든 게임을 효율적으로 클리어해야 합니다.
### 직접 플레이해 보는 ARC-AGI-3
공식 페이지에서는 실제로 ARC-AGI-3에서 사용되는 게임을 직접 플레이해 볼 수 있습니다. 아래는 'wa30'이라는 테스트 게임입니다.

'START'를 클릭하여 게임을 시작하면 다음과 같은 게임 화면이 나타납니다.

십자 키로 녹색의 플레이어 캐릭터를 움직일 수 있으며, **SPACEBAR** 키를 눌러 특정 동작을 수행할 수 있습니다. 키보드의 십자 키와 스페이스 키로 조작 가능합니다.
게임의 규칙은 설명되지 않으므로, 직접 버튼을 눌러보며 '녹색 사각형이 플레이어 캐릭터이고, 파란색 사각형 옆에서 스페이스 키를 누르면 검은색 테두리가 흰색 테두리로 바뀌며 이동 가능해진다'와 같은 규칙을 파악해야 합니다.

플레이어는 '중앙에 파란색 사각형 3개가 모두 들어갈 수 있는 영역이 있으니, 사각형을 저곳으로 이동시키면 클리어할 수 있을 것'이라고 추측하며 게임을 진행합니다.

모든 사각형을 이동시키면 스테이지 클리어가 되며, 'LEVEL 2'가 시작됩니다. 새로운 스테이지에는 **새로운 주황색 사각형**이 등장합니다.

플레이어 캐릭터를 움직여보면, 주황색 사각형은 자동으로 움직여 파란색 사각형을 옮기는 것을 돕는 역할을 한다는 것을 알 수 있습니다.

다음 스테이지는 중앙에 통과할 수 없는 벽으로 나뉘어 있으며, 벽 너머에는 아이템을 모으는 영역과 자동으로 움직이는 주황색 사각형이 있습니다. 이처럼 **조금씩 탐색하며 규칙을 이해하고 각 스테이지를 클리어**하는 것이 ARC-AGI-3의 테스트 내용입니다.

모든 스테이지를 클리어하면 'VICTORY!!' 메시지가 표시됩니다.

ARC-AGI-3의 데모로 플레이 가능한 게임은 여러 가지가 있으며, 모두 즉시 게임 내용을 이해할 수 있었습니다. 하지만 AI 에이전트는 이러한 '**지시 없이 규칙을 이해하고 태스크를 클리어하는 것**'에 약점을 보이며, 모든 게임을 인간은 100% 클리어한 반면 AI는 대부분 0%, 많게는 2.78%라는 매우 낮은 점수를 기록했습니다.

### AI와 인간의 점수 차이, 그리고 그 논란
숄레 씨가 공동으로 개최하는 AGI 목표 프로젝트 'ARC Prize'에 따르면, ARC-AGI-3에서의 인간과 AI의 점수 차이는 AI가 아직 AGI와는 거리가 멀다는 것을 시사합니다. 숄레 씨는 \"지능이란, 이전에 본 적 없는 새로운 사물이나 태스크를 얼마나 효율적으로 이해할 수 있는지\"라고 말했습니다.
한편, X 사용자 **Lisan al Gaib**는 ARC-AGI-3의 점수 산정에 몇 가지 문제점을 지적했습니다.
* **인간 기준의 문제:** 인간의 기준이 '첫 시도에서 두 번째로 뛰어났던 사람'의 행동 수로 정의되어, 일반적인 인간이 아닌 일정 수준 이상의 능력을 가진 참가자가 사용되었습니다.
* **효율성 기반 점수 산정:** 점수는 '몇 문제를 풀었는지'가 아니라 '얼마나 효율적으로 풀었는지'로 평가되며, 효율성은 제곱으로 계산됩니다. 따라서 '인간이 10번의 행동으로 푼 문제를 AI가 100번의 행동으로 풀었다면', 둘 다 클리어했더라도 AI의 점수는 '1%'로 산출될 수 있습니다. 이러한 점수 기준 때문에 인간과 AI 간에 극단적인 차이가 발생할 수 있습니다.
* **정보 제공의 불평등:** 인간 참가자에게는 '십자 키와 스페이스로 조작한다'는 정보가 제공되지만, AI에게는 이러한 사전 지식이 주어지지 않아 점수 산정이 공정하지 않다는 지적이 있습니다.
> so you tell the people who wanted to participate (bias 1) that \"you need to play the game to discover controls, rules and goal\" (bias 2)
>
> but the AI that has no interest or prior knowledge in ARC-AGI-3 puzzles isn't told that it has to discover the controls, rules or the goal of… [https://t.co/omm7Xv](https://t.co/omm7Xv)
이러한 점수 산정 방식과 정보 제공의 차이는 인간과 AI 간의 점수 격차를 더욱 벌리는 요인이 될 수 있습니다.
---






















---
**원문**: [AIの知能をルール不明のゲームで測定する「ARC-AGI-3」が登場、AIはまだクリアできないが人間](https://gigazine.net/news/20260326-arc-agi-3/)
**출처**: GIGAZINE (2026-03-26)
**번역**: AI 자동 번역