오늘 X의 타임라인에 오늘 오전 1시 30분경에 공개된 “Claude Opus 5.5로 제작된” 영상이 어지럽게 떠도는 것 같다. 손 그림 같은 캐릭터가 움직이며, 가사의 자막까지 포함되어 있다. 완성도가 매우 높다.
하지만 계속해서 문제가 있었다. Claude는 텍스트와 코드의 AI였고, 비디오 생성 모델이 아니었다. 단순히 요청만으로 비디오가 만들어지는 걸까. 아니면 뒤에 어떤 비디오 앱과 연동되어 있는 걸까.
모르는 것은 본인에게 직접 물어보는 것이 빠르다. 그렇게 생각해서 Claude에 질문했더니, 답변이 돌아오는 것뿐만 아니라 1본을 제작해 주셨다. 그 이후 최종적으로 MV를 1본 완성시키는 과정을 정리해 놓겠다.
클로이드 옵스 5.5는 제가 지금까지 테스트해 본 모델 중 시각 디자인이 가장 뛰어난 것으로, 최고의 디자인을 자랑합니다.
답변: 클루드는 영상을 “그리는” 것이 아니라 “프로그래밍”하고 있습니다.
클로이드에 따르면 “오퍼스(Opus)가 제작한 영상”은 대략 두 가지 유형으로 나뉜다.
하나의 방식은 클로드(Claude)가 애니메이션을 코드로 작성하여 이를 비디오 파일로 변환하는 방식입니다. HTML, SVG, React 기반의 Remotion 등을 사용하여 움직임을 정의하고 브라우저에서 1프레임씩 촬영하여 연결합니다. 또 다른 방식은 클로드(Claude)가 시나리오와 진행 역할을 맡아 Veo나 Kling과 같은 비디오 생성 AI에 실제 영상을 제작하도록 하는 방식입니다.
구분하는 방식은 간단합니다. 실사처럼 사실적인 영상이라면 후자, 평면적인 일러스트나 그림 해설과 같은 움직임이라면 전자입니다.
단순히 최근 화제가 되고 있던 게시물의 스크린샷을 보여주며 “이건 어느 쪽이지?”라고 물어보았다. Claude의 시뮬레이션은 전자에 해당했다. 원이 완벽하게 균등 간격으로 정렬되어 있고, 자르기를 넘어가도 캐릭터의 형태가 1픽셀도 흐르지 않으며, 가사의 자막이 깨지지 않는다는 특징이다. 이는 영상 생성 AI에서는 흔히 보이지 않는 특징이다. 수채화의 번짐이나 선의 흔들림도 SVG 필터를 통해 재현 가능한 정통 기법이라는 설명이었다.
그 영상은 “디자인 감각을 포함한 코드 작성 능력”의 결과물이었다.
채팅 화면 그대로 한 줄이 완성되었습니다.
원래 웹 개발자로서 코드는 빠르다. “프로젝트도 함께 구성하지 않았고, Claude Code도 아니지만 괜찮겠어?”라고 묻자, 클로드는 자신의 실행 환경을 파악하여 영상 생성에 필요한 도구(ffmpeg와 헤드리스 브라우저)가 갖춰져 있다고 답했다.
신뢰하니까 뭔가 만들어봐”라는 제안에 따라 제작된 8초짜리 단편 영상 “돌아, 도쿄”였다.
손님의 짐을 든 캐릭터 ‘꼬로’가 坂道を転がり 내려오더니, 전봇이 있는 도쿄 골목길의 집에 도착한다. 밤이 되자 창문에 불이 켜지고, 꼬로가 웃으며 점프한다. 자막은 명조체로 카라오케식으로 흘러가 다음과 같이 연주된다.
돌아돌아, 언덕길을 건너 창가에, 지금 이 순간, 도쿄의 밤이 밝아온다.
에어비앤비 호스트인 나를 위한, 조금 특별한 배려가 느껴지는 소재였다.
구조도 흥미롭다. 애니메이션 전체가 '초를 전달하면 그 순간의 한 프레임을 그린다'는 함수로 되어 있어서, 이를 1/30초씩 240번 호출해 촬영하고 이어 붙여 8초짜리 영상으로 만들고 있다. 선이 부들부들 떨리는 손그림 애니메이션 특유의 '보일'도 노이즈 시드를 1초에 8번씩 바꿔가며 표현하고 있다고 한다.
더보기는 클로드 코드입니다.
1권으로는 이야기가 완성되지 않아서, 계속해서 2권을 제작하기로 했다. 이제부터는 로컬의 Claude Code로 옮겨서 진행한다. 채팅 환경에서는 대화마다 파일이 초기화되기 때문에, 같은 코드를 키워나갈 경우에는 로컬 환경이 더 적합하다.
폴더에 채팅으로 만든 HTML과 내보내기용 스크립트를 넣는다. 실행 시 자동으로 읽히도록 CLAUDE.md 파일에 “모든 장면에서 질감, 색상, 자막 스타일을 통일하고, 내보내기 후 반드시 이미지로 확인하고 보고서에 반영해야 한다”라고 기재한다. 그 외에는 자막의 3줄을 전달하여 “계속 만들어줘”라고 요청하기만 하면 된다.
두 번째는 문을 열고 다다미 방에 들어가 창밖으로 전차가 지나가는 밤이었다. 세 번째는 아침 햇살과 빵집 모퉁이를 돌아 나와 나가는 아침이었다.
문 너머, 畳의 향기를 흩뜨리고 잠시 쉬며, 기차 소리와 아침 햇살에 흔들리는 창가 팬의 향기를 맡고, 모서리 가게에 가서 돌아오자. 도쿄의 아침.
잘 다녀오겠습니다”로 시작해서 “잘 다녀오세요”로 끝나는 이야기였습니다. 게스트의 하루가 그대로 이야기가 되었습니다.
선우로 곡을 만들었더니, 느릿느릿 부르셨습니다.
이 곡은 Suno가 만들었습니다. 스타일은 Claude와 상의하여 우쿨렐레와 일렉피아의 따뜻한 로파이 사운드를 사용했습니다.
8초 동안 3개의 트랙으로 구성된 디자인이었기에, 템포는 120 BPM, 4/4 박자로 지정했다. 1마디가 정확히 2초가 되는 계산이었다. “1음표에 1자”, “테키파키하게 노래 부르기”, “간주곡 없음”까지 모두 영어로 상세하게 묘사했다.
하지만 나온 곡은 1분 24초였다. 스누(Suno)의 보컬은 지시를 무시하고 느릿하게 노래한다. 여기서 생각을 뒤집었다. 곡을 줄이는 것을 멈추고 영상의 길이를 늘리는 것이다. iMovie에서 3개를 연결하고 각 클립의 재생 속도를 44%로 낮춰 노래에 맞췄다.
이건 생각보다 좋았다. 8초에 잽싸게 움직이던 모습이 느릿느릿 굴러가 잠들수록 물감의 질감에는 이 속도가 더 잘 어울렸다.
처음과 마지막은 미드라이드니에서
마무리 단계에서, 처음과 마지막 장면만 Midjourney를 사용하여 제작했습니다. Claude가 만든 영상의 첫 번째 프레임과 마지막 프레임을 스크린샷으로 찍어, 이를 바탕으로 짧은 영상을 생성하여 연결했습니다.
처음에는 언덕 위의 집에 카메라가 들이닥치더니, 클로드의 전봇대 장면으로 들어간다. 마지막에는 종이의 질감에서 푸른 하늘로 빠져나온다.
코드(Code)로 그려진 “설계된 그림”과 생성 AI의 “분위기를 자아내는 그림”의 역할 분담을 위해, 먼저 클루드(Claude)가 알려준 두 가지 패턴을 결국 모두 활용하게 되었다.
시도해 본 결과 알아낸 것
오퍼스 5.5가 영상(動画)을 제작했다는 부분은 반 정도 맞고 반 정도 틀렸다. 클로드는 영상을 생성하지 않는다. 하지만 영상 생성 프로그램을 디자인 판단까지 포함하여 한 번에 작성해 온다.
이번에는 제가 쓴 코드가 한 줄도 없습니다. 제가 한 것은 자막 9개를 고르고, 곡을 선택하고, iMovie에서 연결하면서 속도를 늦춘 것뿐입니다. 코드는 Claude, 곡은 Suno, 앞뒤 편집은 Midjourney, 편집은 저. 각자의 잘하는 분야를 모아놓으면 약 2시간 만에 뮤직비디오 한 편을 만들 수 있습니다.
제작된 영상은 여기 있습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 29청크
원문 보기 | 출처: note.com