다리오, 네가 준 250달러를 완전히 녹였다.
앤서니(Anthropic)의 CEO, 다리오 아모디로부터 “클라우드 세션 공식 출시 기념” 특별 혜택으로 맥스 플랜 대상에 갑작스럽게 제공된 250달러 무료 크레딧(사용 기간: 2026년 10월 8일).
평범한 사람이라면 “와, 매일 코딩하면서 조금씩 써보자!”라고 생각할 텐데,こちらは 진정한 덕후입니다. 게다가 최근 X(구 트위터)를 보면 “Opus 5.5 정말 대단한데!“, “프롬프트 한 번에 이렇게 만들 수 있다니!”라는 자랑스러운 보고가 트임라인을 가득 채우고 있습니다.
정말 속상해. 우리 집 간판 소녀 ‘호시노 소라’마저도 뻔뻔하게 엄청나게 화려한 뮤직비디오를 만들어 자랑하고 싶어 했을 텐데!!!
다리오의 횡포로 Opus 5.5의 한계를 부수다, 완전히 개인적인 불평과 호기심에서 시작된 “3분간의 뮤직비디오를 전반적으로 코드로 묘사하는 프로젝트”의 일부를 소개합니다.
결과적으로 무료 枠이 100달러를 소모(견적은 20달러)했으며, 캐시 락다운은 2억 7천만 토큰에 도달하여 결국 ‘수동 입력’이라는 인간적인 힘이 승리했습니다. 가장 즐거웠던 부분들을 모두 기록하겠습니다.
프롬프트가 작성되지 않는가? 다다른 힘에 기대는 다중 AI 포위망.
글자가 역동적으로 춤추고, 물방울에 반사되는 감성적인 뮤직비디오를 만들고 싶다. 하지만 그런 고도한 애니메이션 프롬프트의 작성법조차 모른다.
그 결과, 최첨단 인공지능 전력 시스템을 구축했습니다.
- 연구 결과: Grok을 해저에 투영하고, “Opus 5.5로 제작된 신작 예시” 게시물을 철저하게 크롤링하여 JSON 형식으로 구조화 출력했습니다.
- 분석 및 프롬프트 최적화: Gemini 3.8Grok이 수집한 JSON 데이터를 Gemini 3.8의 방대한 컨텍스트에 활용하여 “Opus 5.5가 최고 출력을 내는 데 필요한 시스템 프롬프트 및 연출 지시서”로 변환.
- 메인 구현: Claude Code (Opus 5.5 / Effort MAX)를 실행하여 받은 프롬프트를 클라우드 컨테이너에 입력하고, 생각력 MAX 설정(Effort MAX)으로 작동시킨다.
- 素材 생성 감독: 로컬의 GPT-6 솔 감독 ＆ 루나 워커 실사·영상 자료는 자택의 GPU 마신에서, MiniMax H3(Jev로 간격 축소 고속화)와 `gpt-image-2.5-sunburst`를 사용하여 생성.
클라우드 기반 Claude Code”와 “개인 로컬 GPT-6 군단”은 서로 직접 통신할 수 없기 때문에, Claude가 GitHub에 “자료 요청서(컷웨어이, 프롬프트, 납품 형식)”를 push하고, 로컬 GPT가 이를 감지하여 생성하고 다시 push해오는 방식으로 AI 간의 완전 비동기 Git 기반 개발을 구축했다.
사람은 무엇을 하는 걸까요? “좋아요”, “하지 마”, “여기 고쳐줘”라고 어깨를 굽혀 커피를 마시는 것과 같습니다.……일 수도 있습니다.
광기: 왜인지 모호하게 모든 것을 “WebGL 코드”로 시작하는 AI
곡은 스타노 소라의 데뷔곡 ‘물 튀김의 박수’(3분 00초, 템포감 있는 감성적인 곡)입니다.
일반적으로 AI로 뮤직비디오를 제작하면 “Sora나 Runway로 영상을 만들고 Premiere Pro에서 자르고 붙이는” 방식이죠? 하지만 Opus 5.5에 “풍부한 뮤직비디오를 만들어라”라고 명령했을 때, 그들은 마치 엉뚱한 짓을 하는 것처럼 영상의 각 프레임을 WebGL 셰이더 코드로 1프레임씩 그리기 시작했습니다.
세계관은 “로드 미러 / ROAD MIRROR”입니다.
- 화면은 정면에서 바라본 비 온 뒤의 아스팔트다.
- 떨어진 박수 소리의 리듬에 맞춰 물웅덩이 위로 물결이 퍼져 나간다.
- 그 파동의 진동은 나비에-스톡스 방정식에 근거한 점성 유무 방정식(유한 차분법)을 매 프레임마다 풀어 실시간으로 계산한다.
- 텍스트는 2D 캔버스에서 렌더링되어 텍스처로 변환되고, 물 표면의 굴절률에 따라 왜곡된다.
- 가사 카트는 2분 37초까지 “물 웅덩이에 비친 역전된 허상”으로 배치되었다.
더욱이 Opus 5.5는 스스로 “AI스러운 요소(AI 슬랍) 검품 목록”을 만들었다. “쉬운 다채로운 빛깔 금지”, “하단 싼티 나는 자막 금지”, “한 화면에 움직임은 3개까지” 등, 의식 있는 창작자 같은 엄격한 규정을 스스로에게 적용했다.
이를 클라우드의 헤드리스 Chromium(GPU가 없는 CPU 4코어!)에서 1프레임씩 0.7초에 걸쳐 오프스크린 렌더링하고, 파이프라인을 통해 FFmpeg에 전달하여 영상으로 제작했습니다. 전체(5,400프레임)를 쓰는데 1회당 1시간 이상 소요되었으며, 이를 수정할 때마다 총 6회 렌더링했습니다. 이 시점에서 클라우드 세션 서버가 비명을 지르지 않았겠습니까.
2. 지옥 속 입술 함부림: 수학적 정확성 대 인간의 뇌
이번 작품 최대의 데스마치(Death March)는 “가창 커트의 립싱크”였습니다.
지역에서 MiniMax H3를 사용하여 영상素材를 제작하는 과정에서 H3는 음성 입력을 수락하지 않는다. 이에 천재 Opus 5.5가 고안한 방법이 바로 이 것이다.
- H3에 프롬프트에 따라 랩을 아카펠라로 부르며(H3의 네이티브 음성으로 영상을 생성).
- 그 아카펠라 음성을 보컬 분리(Demucs) 기술을 적용하여, 본편 곡의 보컬과 동적 시간 확장법(DTW)으로 시간 축을 일치시켰습니다.
- 더 나아가 MediaPipe의 얼굴 인식 기능을 이용하여 입 모양의 벌림(a, o, e, i, u)을 프레임 단위로 측정하고, 곡의 음절 키프레임에 자연스럽게 일치시킨다.
완벽하군요! 수학적으로 완전히 일치하고 있어!” 기쁨에 부풀어 올라 올라오는 영상을 보았다.
…뭔가, 끈적거리는 느낌으로 되감기하고 있어서 혐오스럽다.
수치상으로는 완벽하게 일치합니다. 하지만 사람의 눈으로 보게 되면, 소리가 늘어나는 순간 재생 속도가 0.33배에서 5배까지 급변동하고, 입술이 작게 떨리는 현상이 나타납니다. 원인은 명백합니다. 곡 중간에서 “라~~”라고 0.84초 동안 늘려 부르고 있는 부분을, H3는 “라っ”라고 0.17초만 부르고 있습니다. 여기에 DTW(Dynamic Time Warping)를 이용하여 억지로 맞춰보려 하면, 시간이 늘어나면서 기이한 현상이 발생하는 것은 당연합니다.
결국, Opus 5.5와 심야의 격론 끝에 도출한 결론은 “정확성보다 자연스러움(부드러움)을 우선해야 한다”였다.
재생 속도 변동 폭을 0.7에서 1.45배로 제한하고, 약 0.5초에 걸쳐 스플라인 곡선으로 매끄럽게 조절하는 방식으로 전면 개수 개정했습니다. 입의 타이밍은 중앙값으로 0.1초 정도 완화되었지만, 인간의 뇌에게는 압도적으로 자연스럽게 보였습니다. AI에 “적당한 미학”을 가르쳐야 할 지경이네요.
0.023 밀리초의 버그와 234자 “타자”
AI 에이전트 개발 특유의 “심연” 상황도 충분히 경험했습니다.
0.023밀리초의 딜레이로 곡 후반부가 파괴됨
곡 분석 중, 어찌 된 탓인지 곡 후반으로 갈수록 가사 애니메이션이 꼬여가는 기이한 현상이 발생했다. 로그를 눈여겨보며 추적한 결과, 음성 프레임의 폭을 “10ms”로 가정하고 있었지만, 샘플링 레이트(22.05kHz / hop 220)를 계산했을 때 실제로는 “9.977ms”였던 것이 밝혀졌다. 무려 0.023밀리초의 오차가 3분 동안 0.36초(11프레임)의 꼬임으로 불어나 후렴구의 연출을 완전히 망가뜨렸다. 우주 탐사선 같다.
제목 234자, 인공지능이 시각적으로 손으로 타이핑하여 수정함
가사 애니메이션 타이밍 맞추기는 지옥이었습니다. 보컬의 立ち上がり를 자동 감지(DP 매칭)시키면, 비브라토나 “스ッ……”라는 숨소리 소리를 자음과 오인하여 대폭주했습니다.
결국 어떻게 된 거냐? Opus 5.5가 “목소리 파형의 음량 변화”와 “음정의 변화”를 1자씩 수치화하여 증거를 제시하고, 총 234자 길이의 출현 프레임을 수동으로 배치했다. 최대 2.2초나 엇갈리는 “袖에 핀”의 “쿠”를 수정하자, 내가 “『히카루(빛나는)』의 ‘루’가 아직 느리다!”라고 지적하자, AI가 “『카’에서 ‘루’로의 모음 변화(아→우)의 스펙트럼 이동점을 재계산했다”고 답장해 온다. 넌 장인인가.
그녀는 청구서를 보고 얼굴이 창백해졌다.
약 16시간에 이르는 치열한 전투. 자율 서브 에이전트의 날카로운 코드 리뷰(총 4회)를 거쳐 완성된 MV는… 믿을 수 없는 퀄리티였습니다. 젖은 아스팔트에 반사되는 하늘, 박수 소리로 흔들리는 물결, 지나치게 아름다운 타이포그래피의 이징, 그리고 클라이맥스에서 물결의 반사가 트럼프 카드처럼 뒤집혀 현실의 히노 스미레에게 끊김 없이 이어지는 연출――.
와, 정말 대단한데…… Opus 5.5, 내가 바로 최고야……！” 감동에 완전히 넋을 잃고, 나는 Claude Code 세션 종료 화면과 토큰 사용량 로그를 열었다.
그곳에 나열된 숫자들입니다.
메인(Opus 5.5) · API 응답 수: 523회 · 생성 토큰(출력): 820,757 · 캐시 쓰기: 2,184,099 · 캐시 읽기: 217,694,613
사브 에이전트(리뷰) API 응답 횟수: 341회, 생성 토큰(출력): 6,315, 캐시 쓰기 횟수: 1,543,760, 캐시 읽기 횟수: 51,820,528
총 요청 횟수: 864회, API 응답 수: 827,072, 캐시 쓰기: 3,727,859, 캐시 읽기: 269,515,141
…어? 캐시 읽기… 2억 6900만 토큰… 83만 토큰 정도요??
그리고 이용 요금을 확인했습니다.
결과: 100엔 소비
어!! 미리 계산해본 바로는 “대략 20달러 정도면 되겠지?”였는데. 현실은 100달러(약 1만 5천 엔 상당)가 순식간에 사라졌어.
다리오로부터 받은 250달러 크레딧이… 만약 이것이 자비 부담의 이용량 과금으로 돈이 부족해졌을까 봐 걱정된다. 엄청난 코드베이스와 영상 프레임 사양, 수만 줄의 로그를 맥락에 맞춰 “Effort MAX”로 수백 번 반복하게 하면 토큰이 물방울처럼, 혹은 나이아가라 폭포처럼 증발하는 것이 증명되었다.
결론: 얻은 교훈
이번에 다리오의 신용도를 쾌활하게 태워 버려 얻은 교훈은 다음과 같습니다.
- 오퍼스 5.5의 자율성은 실현되었지만, GPU 없는 클라우드에서 영상을 제작하게 하는 것은 CPU 렌더링의 WebGL을 크롬에서 실행하고 FFmpeg로 압축하는 작업에 1시간을 기다리는 것은 비현실적입니다.
- 구독 枠에 여유가 있을 때, 로컬의 Claude Code로 돌리는 것이 100배 더 빠른 클라우드 세션은 간편하지만, 네트워크 제한(외부 라이브러리 다운로드 제한 등)을 회피하기 위한 해크나 환경 구축에 상당한 토큰을 소모합니다. 로컬 머신에 RTX가 있다면, 로컬에서 돌리는 것이 정답입니다.
- 마지막으로 “인간의 눈”과 “실속 있는 수정”이 승리하는 것은 어떠한 면에서 수학적으로 (DTW나 얼굴 인식) 정확하더라도 인간이 “혐오스럽다”라고 느꼈다면 그것은 실패작이다. AI에 “어정쩡하게 흐리게 하라”, “부드럽게 거짓말을 하라”와 지시를 내릴 수 있는 것은 아직 인간의 특권인 것 같다.
다리오, 최고의 장난감과 크레딧을 고마워. 남은 150달러는 더욱 평화로운 API 개발에 잘 쓰도록 하겠어. 아마도.
제작물: 히노 소라의 ‘물 웅덩이의 박수’ MV (1080p / 3:00)
총 코드 라인 수: 약 3,400줄 (WebGL 셰이더 / 파이썬 분석 스크립트)
전체 렌더링 횟수: 6회
소멸된 무료 크레딧: $100
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 44청크
원문 보기 | 출처: note.com