# 제브만: 팩맨 플레이를 통한 죠(조) 수준의 확률 모델 평가 벤치마크

> https://bookfactory.kr/board/news/20925
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-10T23:43:23.767Z

---

Opper가 제공하는 “jevman”은 AI의 상황 판단 능력을 비교하는 벤치마크입니다. AI용 API 서비스를 제공하는 Opper는 6가지 AI 모델에 각각 100회씩 패키맨을 플레이시켜 점수, 판단 속도, 실행 비용 등을 비교합니다.

jevman: a Pac-Man benchmark for decision models | Opper AI https://opper.ai/jevman-benchmark/
GitHub - opper-ai/jevman-benchmark: Pac-Man driven by the jev decision model · GitHub https://github.com/opper-ai/jevman-benchmark

jevman에서 평가하는 것은 몬센이 미로의 지점에서 도달할 때마다 AI 모델이 진행 방향을 판단하는 것입니다. 단순히 눈앞의 점을 획득하는 것뿐만 아니라, 몬센의 위치와 탈출로 등을 고려해야 하기 때문에 AI의 판단 능력을 시험할 수 있습니다.

jevman은 미국의 AI 기업 TypeSafe AI가 개발한 AI의 일종인 jev를 사용합니다. jev는 기존의 텍스트 생성과는 달리, 선택지 평가 및 의사 결정에 특화된 모델입니다. ChatGPT와 같은 일반적인 대규모 언어 모델(LLM)이 텍스트를 생성하는 반면, 확률 판단 모델은 주어진 정보를 바탕으로 미리 설정된 선택지 각각의 확률을 출력합니다. 예를 들어, 고객의 문의가 “반품”, “기술적인 문제”, “기타” 중 어떤 것에 해당하는지 확률로 나타낼 수 있습니다. 텍스트 기반 설명 생성이 필요 없기 때문에, 빠른 판단이 요구되는 용도에 적합합니다. jevman에서는 패키맨이 미로의 지점에서 도달할 때마다 AI 모델이 진행 방향을 판단합니다. 억(100만), 만(10,000), 조(1조)와 같은 단위가 사용됩니다.

또한, jevman에서는 jev뿐만 아니라, Kev, Laya, Clef, GPT-6 Luna Decisions 등 여러 모델을 동일 게임 환경에서 비교 가능하도록 설계되었습니다.

게임 중, AI 모델에는 미로 구조, 점의 배치, 유령 위치 등이 JSON 형식의 데이터로 전달됩니다. AI 모델은 그 정보를 바탕으로 상하좌우 어느 방향으로 나아가야 할지를 확률로 답변합니다. 게임 측은 반환된 확률에 따라 진행 방향을 선택하는 메커니즘입니다. 구체적으로 AI 모델에는 1회의 판단에 한해 2초의 제한 시간이 설정됩니다. 2초 이내에 답변하지 못했을 경우에는 단순한 대체 알고리즘이 진행 방향을 결정합니다. 이 대체 알고리즘이 사용된 횟수 또한 기록되므로 판단의 정확성뿐만 아니라 응답 속도도 중요해집니다.

벤치마크에서는 각 AI 모델이 기존의 팩맨과 동일한 규칙으로 움직이는 유령을 상대하여 100회 플레이합니다. 1 게임은 잔기 3개를 모두 잃거나 5분이 경과하면 종료되는 규칙입니다. Opper에 따르면 실제 테스트에서 가장 오래 생존한 게임은 2분 24초였다고 합니다. 랭킹은 100 게임의 평균 점수를 바탕으로 결정됩니다. 다만, 게임별 점수에는 변동성이 있으므로 95%의 신뢰수준을 목적으로 한 오차 범위도 계산하며 점수 차이가 오차 범위 내에 수렴하는 모델은 동순위로 취급됩니다. 또한 각 모델의 최고 점수도 확인할 수 있습니다.

jevman의 공식 웹사이트에서는 AI 기반의 패맨 플레이를 시청할 수 있으며, 사용자가 직접 패맨을 조작하여 AI와 대결할 수도 있습니다.

jevman은 오픈 소스로 공개되어 있으며, 자체적인 AI 모델을 벤치마크 참여시키거나 참여시킬 수도 있습니다. HTTP를 통해 요청에 응답할 수 있다면, 클라우드 상에서 제공되는 AI 모델뿐만 아니라 로컬 환경에서 동작하는 AI 모델도 활용할 수 있습니다.

[원문 보기](https://gigazine.net/news/20261009-jevman/) | 출처: Gigazine