OpenAI의 공동 설립자이자 앤드류 카파시 씨가 “AI에게 ‘반지의 제왕’의 3D 세계를 생성시키는” 형태의 벤치마크 테스트를 제안하고 있습니다.
이제 LLM을 테스트하는 방식이 “펠리컨이 자전거 그림 SVG를 만들어줘”와 같은 방식으로 한정되는 것을 넘어설 때가 왔습니다. 이를 일반화하기 위한 한 가지 아이디어로, 저는 Opus 5가 제가 토르크의 첫 단락, 1만 토큰 예산(약 10달러)을 주면서 “그림을 그려줘…”라고 요청했을 때 무엇을 할지 궁금했습니다. pic.twitter.com/ybIpXhYSsj
카파시 씨는 Claude Opus 5에 “반지의 제왕 첫 번째 단락”을 입력하고, three.js를 사용하여 3D 세계를 구축하도록 지시했습니다. 토큰 수를 최대 100만으로 제한하여 테스트를 실시한 결과, Claude Opus 5는 약 2시간 만에 5500줄의 코드를 출력했습니다. Claude Opus 5가 출력한 3D 세계는 다음 링크에서 확인할 수 있습니다. “반지의 제왕”의 첫머리를 재현하는 3D 애니메이션 작품입니다. 음성 부분은 카파시 씨가 ElevenLabs의 AI로 생성한 것으로, Claude의 결과물은 아닙니다. A Long-expected Party https://karpathy.ai/lotr-movie/
빌보 바킨즈의 가방길 저택.
빌보의 작별 파티에 참여하는 사람들.
보물로 가득 찬 동굴. 사람의 힘으로 몇 시간이나 걸려 만든 작품에는 미치지 못하지만, 인공지능에 맡겨 2시간만 기다린 결과로 완성된 작품으로는 의외로 높은 품질을 자랑합니다.
카파시 씨는 “AI에게 반지자작의 3D 세계를 만들어 보이게 하는 테스트”를 “자전거를 탄 페리카 테스트”에 촉발되어 만들었다고 합니다.
@simonw에서 올린 페리칸 자전거 테스트 관련 내용에 대한 추가 정보: [https://t.co/OXmtODyTKjI](https://t.co/OXmtODyTKjI) 를 브라우저에서 재생 가능하도록, 수정 가능하도록 업로드했습니다. 또한, GTA 호빗톤이 GTA 6 출시 전에 등장할 예정이라고 기대해 주세요!
“페리칸 테스트”는 AI 전문가 사이몬 위리슨이 고안한 벤치마크 테스트로, AI 모델에 “자전거를 탄 페리칸 SVG 이미지”를 만들어 보이도록 지시하는 테스트입니다. GPT-4o나 Claude 3.5 Sonnet이 현역이었던 2024년 시점에서는 페리칸이나 자전거를 그리는 것조차 어려웠던 상태였습니다. GPT-4o나 Google Gemini에 “자전거를 탄 페리칸”을 SVG 형식으로 그려 보이게 하는 벤치마크를 시도했을 때의 모습은 다음과 같았습니다 - GIGAZINE
AI의 발전과 함께 “자전거를 탄 페리카스의 SVG 이미지” 렌더링 능력도 향상되고 있으며, 기사 작성 시점의 최첨단 모델은 상당히 이상에 가까운 일러스트를 생성할 수 있게 되었습니다. AI 벤치마크 “자전거를 탄 페리카스를 그린다”를 Gemini 3.1 Pro나 Qwen3.6-35B-A3B에 실행하면 이렇게 됩니다. - GIGAZINE
클루드 손넷 5에 “자전거를 타고 있는 페리칸을 SVG 형식으로 생성해 주세요”라고 지시한 결과가 아래와 같습니다.
“AI에 반지호物語의 3D 세계를 만들어 보도록 테스트”도 페리칸 테스트와 마찬가지로 점점 품질이 향상되는 가능성이 높아 보입니다.
원문 보기 | 출처: Gigazine