OpenAI는 “ARC-AGI-3”라는 이름의 지능 측정 벤치마크에서 AI의 지능을 평가하는 방법을 설명하고 있습니다. 이 벤치마크에서 3배의 점수를 얻기 위한 방법을 OpenAI가 공개했습니다.
GPT-5.6 Sol이라는 모델이 수학의 난제인 “사이클 두중 회복 예상”과 같은 문제를 해결했으며, 심지어 “포켓몬 파이어레드”를 클리어하는 데 성공했습니다. 하지만 2D 퍼즐 게임을 활용한 벤치마크인 ARC-AGI-3에서는 GPT-5.6 Sol이 단지 7.8%의 점수만 얻었습니다.
ARC-AGI-3의 2D 퍼즐 게임이 GPT-5.6 Sol에게 지나치게 어려웠는지, 아니면 다른 원인이 있었는지 OpenAI 개발팀은 조사했습니다. 벤치마크에서는 API 설정, 하네스 설정, 프롬프트 표시 등 눈에 보이지 않는 요소들도 평가 대상입니다. ARC-AGI-3의 경우, ChatGPT와 Codex에서 사용하고 있는 2개의 API 설정(유지 추론 및 압축)을 활성화했을 때, 공개된 작업 세트에서 점수가 3배로 증가하고 출력 토큰 수가 6분의 1로 줄어들었습니다.
OpenAI의 AI 모델은 응답이나 도구 호출을 출력하기 전에 내부적인 추론 메시지를 사용하여 사고하는 방식으로 훈련되었습니다. 이러한 내부적인 추론 메시지는 대화 기록의 일부로 보존되며, 대화가 너무 길어지면 요약하여 계속 진행합니다. 공식 하네스에서는 GPT-5.6 Sol의 각 작업 후 이 추론이 삭제되고, 컨텍스트가 채워짐에 따라 이전 액션도 삭제되므로 모델이 반복적으로 처음부터 추론을 시작해야 하는 경우가 많았습니다. 이에 따라 추론 메시지 보관 기간을 연장했습니다.
ARC-AGI-3는 모델이 지시 없이 낯선 2D 게임을 얼마나 잘 학습하는지 테스트한다. 기존의 해소 방식은 GPT-5.6 Sol의 추론을 각 이동 후마다 버리고, 컨텍스트가 채워짐에 따라 이전 행동을 삭제했다. 모델은 계속해서 처음부터 시작해야 했다.
또 다른 개선점은 모델에 입력 가능한 최대 토큰 수를 초과할 경우 처리를 로링 절단에서 압축으로 대체하는 것입니다. 로링 절단은 “오래된 토큰 순서대로 삭제하는” 방식이지만, 과거 토큰을 삭제함으로써 “AI 모델이 이전의 관찰 결과나 행동을 잃어버리는” 문제가 발생합니다. 또한 로링 절단에서는 토큰 제한 초과 후에도 항상 최대 토큰을 입력하도록 지속하기 때문에 “작업의 대부분을 더 넓은 컨텍스트 윈도우에서 실행하게 되어 성능이 약간 저하되는” 문제점도 있습니다. 로링 절단 대신 압축을 활성화하면 GPT-5.6 Sol은 더 긴 실행 시간에 걸쳐 각 게임에 대해 학습한 내용을 더 적절하게 유지할 수 있으며, 더 적은 출력 토큰으로 더 높은 점수를 달성할 수 있게 되었습니다. 공식 하르를 사용하면 GPT-5.6 Sol의 ARC-AGI-3에서의 점수는 13.3%였던 반면, 추론 유지 및 압축이라는 두 가지 개선점을 채택한 하르를 사용하면 ARC-AGI-3의 점수는 38.3%까지 향상되었으며, 출력 토큰 또한 6분의 1로 줄이는 데 성공했습니다. 참고로, 해당 작업의 인간 테스터에서의 평균 점수는 48%입니다.
OpenAI는 “이러한 실험을 통해, 평가가 AI 모델을 단독으로 측정하는 것이 아니라 API 설정, 하르 설계, 프롬프트 표시 등 눈에 보이지 않는 다양한 요소들을 동시에 측정하고 있음을 다시 한번 인식해 주시면 감사하겠습니다. 공개 벤치마크에서 낮은 점수가 나와 놀랐는데, 그 이후 평가 런너가 추론 메시지를 생략하는 일반적인 하르를 사용했던 것이 밝혀진 것은 이번이 처음은 아니었습니다”라고 밝혔습니다.
원문 보기 | 출처: Gigazine