지난번에는 MiniMax H3를 M5 Max의 MacBook Pro에서 실행하고, 창가에서 끄적거린 노트를 그린 사운드와 함께 5초짜리 영상 클립을 만들었습니다.
영상과 종이 소리는 동시에 생성되었지만, 대화는 포함되지 않았습니다.
그러니까, 짧은 일본어를 말하는 사람까지 현장에 제작할 수 있을까요?
안녕하세요. 오늘은 날씨가 좋네요.
결과는 5.175초의 영상과 스테레오 음성을 26분 49초에 생성할 수 있었습니다.
사람의 입은 발화 구간에 맞춰 움직였고, 결국에는 입을 다물고 미소를 지었습니다.
🔰 미리 용어 메모
립싱크 음성의 타이밍과 인물의 입의 움직임을 맞추는 것입니다. 이번에는 음절 단위의 엄밀한 채점 대신, 말하고 있는 구간에 입이 움직이는지 확인합니다.
프레임 영상을 구성하는 각각의 이미지입니다. 이번에는 124장을 24fps로 재생하여 약 5.2초의 영상이 되었습니다.
네이티브 음성으로 완성된 영상에 음성을 추가하는 방식이 아니라, 영상과 음성을 함께 생성하는 방식입니다. 이번에는 외부 음성 파일을 사용하지 않았습니다.
지난번 것과 달라진 점
이번에는 모델과 화질 설정을 변경하지 않았습니다.
변경된 것은 입력한 프롬프트 하나뿐입니다.
사용된 조건은 다음과 같습니다.
- MacBook Pro 16인치
- 애플 M5 맥
- 메모리 128GB
- macOS 26.5.2
- MiniMax-H3 (Hailo 3.0) 8비트
- 품질：좋음
- 해상도: 1344 × 768
- 프레임 수: 124
- 단계 수: 30
- 씨앗: 77
- (번역 불가)
- 그녀는 마치 텅 빈 셔츠처럼, 텅 빈 느낌이었다. 텅 빈 셔츠는 아무것도 걸치지 않은 것처럼 보이지만, 그 안에는 옷감이 겹겹이 쌓여 있는 것처럼 느껴진다. 그녀는 그런 셔츠를 입고 있었다.
나는 그녀의 텅 빈 눈을 바라보며 생각했다. 그녀는 무엇을 잃었을까. 그녀는 무엇을 찾고 있을까. 그녀는 왜 이렇게 텅 비어 있는 걸까.
그녀는 마치 텅 빈 셔츠처럼, 텅 빈 느낌이었다. 텅 빈 셔츠는 아무것도 걸치지 않은 것처럼 보이지만, 그 안에는 옷감이 겹겹이 쌓여 있는 것처럼 느껴진다. 그녀는 그런 셔츠를 입고 있었다.
나는 그녀의 텅 빈 눈을 바라보며 생각했다. 그녀는 무엇을 잃었을까. 그녀는 무엇을 찾고 있을까. 그녀는 왜 이렇게 텅 비어 있는 걸까.
일본어 설정을 그대로 남겨두고 싶은 이유는, 일본어 대화가 섞인 경우 생성 시간이나 영상의 안정성에 큰 차이가 발생하는지 확인하고 싶었기 때문입니다.
입력한 일본어 한 마디
밝은 방 안의 나무 테이블에 앉은 성인 여성입니다.
얼굴과 입술이 잘 보이는 정면 구도를 설정하고, 카메라 앵글은 고정했으며, 자막이나 음악은 추가하지 않도록 지시했습니다.
실제로 사용한 프롬프트는 다음과 같습니다.
지정된 대화는 다음과 같습니다.
안녕하세요. 오늘은 날씨가 좋네요.
5초 이내에 멈추는 것은 다소 길다고 생각했지만, 처음에는 모델 측에서 어떻게 배분을 할지 그대로 지켜볼 것이다.
생성 시간은 26분 49초입니다.
실행 시간은 26분 49초였습니다.
지난번 26분 39초와의 차이는 10초뿐입니다.
이번 회차에서는 일본어 발화를 포함했기 때문에 처리 시간이 현저하게 늘어났다고 단정하기 어렵습니다.
출력 파일 정보는 다음과 같습니다.
- 길이: 5.175초
- 해상도: 1344 × 768
- 프레임 레이트: 24fps
- 映像：H.264
- 어둠이 짙게 드리운 밤, 나는 카호와 함께 낡은 료칸에 갇혀 있었다. 료칸 주인 할아버지는 왠지 모를 불안감을 감추지 못하고, 낡은 텔레비전에서는 끊임없이 잡음만이 흘러나왔다.
“이런 밤에는 밖으로 나가지 않는 게 좋을 거예요.” 할아버지는 낮고 떨리는 목소리로 말했다. “지난주에 일어난 일과 관련해서는…”
그의 말은 멈췄다. 마치 무언가를 숨기려는 듯, 그의 눈빛은 더욱 깊이를 잃었다. 나는 카호의 손을 잡고, 료칸 안에서 묘한 긴장감을 느꼈다.
“무라카미 하루키의 『1Q84』를 읽고 있는 건가?” 카호가 조용히 물었다.
“네, 지금 읽고 있어요.” 나는 대답했다. “이 책이 이 료칸과 관련이 있을지도 몰라요.”
카호는 고개를 끄덕였다. “무라카미 하루키는 늘 이상한 이야기를 써요. 마치 현실과 꿈의 경계가 허물어진 것처럼…”
나는 카호의 말을 듣고, 묘한 기시감을 느꼈다. 어둠 속에서 들려오는 잡음, 료칸 주인의 불안한 눈빛, 그리고 무라카미 하루키의 소설… 이 모든 것이 어떤 의미를 담고 있는 걸까? 나는 카호와 함께 료칸 안에서, 어둠 속에서, 진실을 찾기 시작했다.
- 샘플링 주파수: 32kHz
- 오디오: 2채널
- 파일 크기: 약 3.9MB
5초의 대화 영상에 약 27분이 담겨 있습니다.
사람과 목소리를 한 번에 만들어내는 것은 흥미로운 기능이지만, 대사를 조금만 수정할 때마다 즉시 다시 수정할 수 있는 속도는 아닙니다.
4. 양분된 발화
오디오 파형을 확인해 보면, 처음 약 1.2초는 거의 무음이었습니다.
첫 번째 발화는 약 1.22초부터 2.32초까지 지속됩니다.
그 이후 약 0.75초간의 시간이 있었고, 두 번째 발화는 약 3.07초부터 4.64초까지 지속되었습니다.
제시된 두 문장은 짧은 인사를 건네고, 그 뒤에 이어지는 한 문장으로 구성되어 있습니다. 영상 측에서도 해당 시점에 맞춰 움직였습니다.
음성은 32kHz 스테레오로 녹음되었으며, 좌우의 파형은 거의 같았습니다.
인물의 목소리를 중심으로 자연스럽게 제작된 작품이다.
지속되는 음악과 같은 성분은 발견되지 않았으며, 제시된 프롬프트에 따라 “음악 없음”의 방향도 지켜지고 있습니다.
입은 목소리와 함께 움직였다.
영상을 1초 단위로 잘라보면 입의 변화가 뚜렷하게 드러납니다.
0초에서는 입을 다물고 있습니다.
1초에서 2초 이내에는 입을 열고, 첫 번째 발화에 해당하는 움직임이 나타납니다.
3초에서 4초 사이로 입이 움직여 두 번째 발화 구간과 겹친다.
5초 이내에 입을 다물고, 지시된 작은 미소로 옮겨갔다.
목소리가 울려 퍼지는 동안만 입을 움직이고, 마지막으로 표정을 바꾸는 거대한 흐름이 형성되어 있습니다.
불쾌감은 거의 느껴지지 않았습니다. 이것을 AI가 만들었다고 생각하면 너무 현실적이라 조금 무섭기도 합니다…
중간에 얼굴이 완전히 다른 사람으로 바뀌거나, 입이나 턱이 크게 망가지는 장면도 없습니다.
5초 동안의 인물 일관성은 유지되었습니다.
6. 71.4GB를 읽어내도 여전히 여유가 남아 있었다.
생성 중인 MLX Core에는 GPU 메모리가 71.4GB로 표시되었습니다.
실행 전후의 기록에서는 Swapins와 Swapouts가 0으로 유지됩니다.
128GB 모델에서는, 이번에도 메모리 부족이 발생하지 않았습니다.
생성 후에는 모델이 언로드되고, MLX Core의 표시가 GPU 메모리 6.9GB까지 감소했습니다.
이번 조건에서는 처리 시간이 긴 편이지만, 메모리 용량 부족보다는 대기 시간 때문에 더 문제가 될 것으로 보입니다.
오늘의 메모
지난주, ‘나를 잊지 마’라는 제목의 소설을 읽고 나서, 나는 마치 꿈을 꾼 듯한 기분이었다. 책의 마지막 페이지를 덮고 나서도, 그 여운이 쉽게 사라지지 않았다. 마치 내가 그 책 속의 주인공이 된 것처럼 느껴졌고, 그 모든 감정들이 내 안에서 울려 퍼졌다.
나는 그 책을 읽으면서, 삶의 의미에 대해 깊이 생각하게 되었다. 우리는 왜 살아가야 하는가? 무엇이 우리를 행복하게 만드는가? 그리고 우리는 어떻게 살아야 하는가? 이러한 질문들은 끊임없이 나를 괴롭혔다.
나는 그 책을 읽고 나서, 삶의 새로운 의미를 찾게 되었다. 나는 이제 삶을 더욱 적극적으로 살아갈 것이다. 그리고 나는 항상 긍정적인 마음으로 세상을 바라볼 것이다.
나는 또한, 그 책을 읽고 나서, 주변 사람들에게 더 많은 관심을 기울이게 되었다. 나는 이제 주변 사람들의 이야기에 귀 기울일 것이다. 그리고 나는 주변 사람들을 돕기 위해 노력할 것이다.
나는 그 책을 읽고 나서, 더욱 성숙한 사람이 될 것이다. 나는 이제 삶의 모든 순간을 소중히 여기며 살아갈 것이다. 그리고 나는 항상 감사하는 마음으로 세상을 살아갈 것이다.
MiniMax H3에 일본어 한 단어를 지정하면 5.175초의 인물 영상과 스테레오 음성을 동시에 생성할 수 있었습니다.
발화는 두 부분으로 나뉘며, 같은 구간에서 입이 움직입니다.
마지막으로 입을 다물고 미소를 짓는 흐름 또한 프롬프트에 부합합니다.
단 한 번의 결과만으로는 정확한 일본어 발음이나 음절 단위의 리즈 싱크까지 판단할 수 없습니다.
그래도 로컬 M5 Max로 “인물, 음성, 입 모양”을 하나의 프롬프트에서 생성할 수 있다는 점은 확인했습니다.
생성 시간은 26분 49초입니다.
짧은 영상을 여러 번 수정하는 데는 부담스러운 일이 있지만, 목소리까지 포함한 완성된 형태를 한 번에 시도해볼 수 있다는 점이 2D 이미지 생성과는 다른 매력입니다.
다음부터는 인물을 처음부터 만들어내는 대신, 손안의 한 장의 이미지를 먼저 제시합니다.
원본 이미지의 구도와 물체를 유지하면서 5초 동안의 움직임과 소리를 추가할 수 있는지 시도합니다.
나는 며칠 동안 계속해서 ‘카호’를 읽고 있었다. 처음에는 ‘무라카미 하루키’ 특유의 섬세하고 몽환적인 분위기에 매료되어 쉽게 읽어내려 하지 않았다. 하지만 계속해서 페이지를 넘길수록, ‘카호’의 내면세계를 꿰뚫어보는 듯한 그의 섬세한 묘사에 점점 빠져들었다.
‘카호’는 마치 텅 빈 캔처럼, 주변 사람들의 영향을 받아 조금씩 변화해 나간다. 그녀의 삶은 불안정하고 혼란스러웠지만, 동시에 아름다웠다. 그녀가 겪는 고통과 갈등은 독자들에게 깊은 공감을 불러일으킨다.
특히, ‘무라카미 하루키’는 ‘카호’의 내면을 섬세하게 묘사하며, 그녀의 불안과 고독을 효과적으로 표현했다. ‘카호’가 겪는 사랑과 이별의 경험은 현실적이고 공감 가능한 이야기로, 독자들에게 깊은 감동을 선사한다.
나는 ‘카호’를 읽는 동안, 자신의 삶과도 연결되는 부분이 많다는 것을 느꼈다. ‘카호’의 불안과 고독은 현대 사회를 살아가는 많은 사람들의 공통된 경험일 것이다. ‘카호’를 통해 우리는 자신을 돌아보고, 삶의 의미를 되새겨 볼 수 있을 것이다.
‘카호’는 단순한 소설이 아니라, 삶에 대한 철학적인 질문을 던지는 작품이다. ‘무라카미 하루키’는 ‘카호’를 통해 인간의 본성과 삶의 의미를 탐구하고 있다. ‘카호’를 읽는 것은 마치 인생의 거울을 보는 것과 같다.
#미니맥스H3 #로컬 영상 생성 #맥북프로 #M5맥스 #MLX #생성AI #영상 생성
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 33청크
원문 보기 | 출처: note.com