# RTX 4080 하나로 “움직이는 사진집” 제작에 도전한 이야기 ── MiniMax H3 도입으로 늪에 빠진 기록 → 고속화 성공

> https://bookfactory.kr/c/news/8975
> 게시판: 뉴스
> 작성자: admin
> 작성일: 2026-08-08T04:31:05.794Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/300823893/rectangle_large_type_2_fb0959d4c17c59ddb434caddcac62fbe.png?width=1280)

이 글은 ComfyUI를 로컬에서 실행하고 있는 사람, 영상 생성 AI(특히 MiniMax H3와 같은 오픈 웨이트 모델)에 관심이 있는 사람, 그리고 “공식 문서대로 했는데도 왜 안 되는데?”를 반복적으로 경험해 온 사람들에게 쓰여 있습니다. 반대로 말해, AI의 작동 방식 자체에 자세히 알 필요 없이 “주말에 PC와 싸운 하루의 기록”처럼 읽어 주셔도 괜찮을 것 같습니다.

## 이번 환경은 꽤 괜찮았어. 특히 옥상에서 바라보는 풍경이 정말 아름다웠지. 마치 꿈속 같았어.
그 아름다움이 바로 내가 그토록 갈망했던 것이었는지도 몰라.
하지만 그 아름다움은 곧 사라질 운명이었어.
나는 그 아름다움을 붙잡으려 했지만 결국 실패했지.
그것이 내가 느끼는 슬픔의 근원이었어.

먼저, 이번 모든 작업을 수행한 현장 환경을 설명드리겠습니다.

- 오하, 여름하야.
- GPU: NVIDIA GeForce RTX 4080(VRAM 16GB)
- RAM: 64GB
- 파이썬: 3.13.12 (ComfyUI 내장된 Python)
- PyTorch: 2.13.0+cu130
- ComfyUI: 0.30.0 (0.28.0에서 업데이트)

RTX 4080은 게이밍 용량에서는 충분히 하이엔드 부류에 속하지만, 영상 생성 AI의 세계에서는 VRAM 16GB가 솔직히 꽉 찰 정도였다고 판단했다. 5초 클립은 문제 없었지만, 15초로 늘렸을 때 순간적으로 VRAM 부족(OOM)으로 인해 멈추는 현상이 발생했다. 이는 뒤에 설명할 “영상 생성을 하려면 어쨌든 VRAM은 정당”이라는 것을 몸소 깨달은 하루였다.

## 저기, ComfyUI 버전에서 문제가 생기는 걸 보니.

최근 화제의 MiniMax H3를 제 RTX 4080에서도 돌아한다는 이야기에 한 번 시도해 보자라는 가벼운 마음에서 비롯되었다. ComfyUI 템플릿 라이브러리를 열어보자, “MiniMax H3” 항목이 보일 것이다 — 그렇게 생각하고 열어보았지만, 어림도 없었다.

문제의 원인은 꽤 간단한데, 사용하던 ComfyUI가 버전 0.28.0이고, MiniMax H3의 네이티브 대응은 0.30.0 이후 버전이었다. 즉, 단순한 업데이트 부족 문제였다. Windows Portable 버전이라면 update 폴더 안의 update_comfyui.bat 파일을 실행하는 것만으로 해결될 문제인데, “먼저 버전을 의심해야 한다”는 기본적인 것을 잊어버리고 한 시간 이상 끙끙대고 있었다.

업데이트 후, 템플릿 라이브러리에 “MiniMax H3: 텍스트에서 영상으로”, “이미지에서 영상으로”, “참조에서 영상”의 3가지 항목이 정상적으로 표시되었다. 이 지점에서 필요한 모델 파일(총 40GB 미만) 다운로드가 시작되며, 이 기다리는 시간 동안 커피를 두 잔 마셨다.

## 5초, 160초. 처음 움직이기 시작했을 때의 기쁨.

모델 배치 작업이 완료되고 템플릿을 그대로 실행했다. 설정은 가볍게, 864×480·5초·20단계. 간절한 마음으로 “실행” 버튼을 누르자—160초 만에 제대로 영상이 나왔다.

솔직히 지금 이 순간이 가장 기뻤다. 오픈 웨이트 모델이라는 것은 “정보가 돌아다니는데 실제로 손으로 다루면 엉뚱한 오류 때문에 멈추는” 경우가 많다. 이번에는 그것이 생각보다 쉽게 해결되었고, 생성된 영상의 퀄리티가 상상 이상으로 좋아서 “이건 즐길 수 있겠다!”하고 순식간에 흥미가 고조되었다.

컨디션이 좋아서 이미지에서 영상(I2V)을 시도해 봤더니, 이번에는 가로 세로 비율이 마음대로 바뀌는 현상에 부딪혔다. 원인은 단순해서, 워크플로우 내의 “해상도 선택기” 노드가 원 이미지의 가로 세로 비율(9:16)을 무시하고 정사각형(1:1)으로 고정되어 있었기 때문이다. 노드 그래프를 따라가면서 “이미지 크기 획득” 노드에서 직접 width/height를 전달하는 연결로 직설하면 해결되었다. 이와 같은 노드 기반의 생성 도구는 오류 메시지가 나오지 않으면서 “뭔가 잘못됐다”는 결과만 반환하는 것이 가장 골치 아프고, 여기에서도 한 시간 이상 끙끙 앓았다.

## 속도를 쫓아 늪으로: 세이지 애텐션과 트리톤 지옥

5초, 160초는 보통이지만, 본番에서 사용하고 싶어하는 해상도(768×1376)까지 올리면 1개당 거의 8분 가까이 걸린다. “이건 속도를 높이지 않으면 대량 생산이 불가능하다”고 생각하고 Sage Attention이라는 정평 있는 고속화 기법에 손을 댔다. “품질을 거의 유지하면서 약 2배 정도 빨라진다”는 약속을 내세워 sageattention 패키지와 ComfyUI-KJNodes라는 커스텀 노드를 조합하는 것으로 끝날 줄로 생각했다.

실제로 시도해보니, 노드의 ‘?’ 마크(의존 패키지가 없는 경우 나타나는 신호)가 사라지지 않았다. 로그를 뒤적거리다, 다음과 같은 문구가 발견되었다.

> 
> 
> 오류가 발생했습니다: 'triton' 모듈을 찾을 수 없습니다.
> 

sageattention 본체는 설치되었지만, 그 의존성인 Triton이 포함되지 않았다. 그러자 Triton-Windows를 재설치했더니, 이번에는 또 다른 오류가 발생했다.

> 
> 
> 파이썬 라이브러리를 찾을 수 없습니다. 공식 파이썬 배포판을 사용하고 있으며, Python3XX.lib이 파이썬 설치 디렉토리에 존재하는지 확인하십시오.
> 

요약하자면, ComfyUI Portable 버전과 함께 제공되는 “내장 Python”에는 일반적인 Python 설치 시 python313.lib나 Python.h와 같은 링크용 파일 일식이 처음부터 포함되어 있지 않다. Triton은 이를 컴파일에 사용하기 때문에, 없다면 당연히 실패한다.

해결책은 정식 Python 3.13 설치자를 임시로 다운로드하여 설치하고, 그 안의 libs 폴더와 include 폴더만 ComfyUI의 내장 Python 환경에 복사하는 수법이었다. PowerShell로 다운로드 → 무음 설치 → 복사 → 정리 작업을 한 번에 실행하는 스크립트를 구성하여 겨우 해결되었고, 참고로 이 과정에서 복사 위치에 기존의 include 폴더가 있어서 우연히 include\include\와 같은 중복 폴더를 만들어 버리고, 그것도 눈치채지 못해 시간을 낭비했다.

모든 문제가 해결된 후 실제로 생성해보니, Sage Attention이 있는 경우 482초, 없는 경우 약 700초대였다. 단순 비교에서는 “아마도 속도가 많이 늘어나지 않았나?” 하며 잠시 당황했지만, 나중에 해상도를 맞춰 다시 비교해 본 결과, 약 1.5배의 속도 향상이 제대로 나타나는 것을 확인했다. 숫자를 읽는 데 주의해야 한다는 교훈도 얻었다.

## 이지캐시는 마법이 아니었다.

무라카미 하루키와 함께 소개되었던 기능이 EasyCache였다. ComfyUI 0.30.0에는 기본적으로 내장되어 있어서 추가 설치가 필요 없다는 점이 마음에 들었다. 단계의 일부를 “전과 크게 다르지 않아서”라고 생략함으로써 속도를 높이는 방식으로, 기본 설정 그대로 테스트했을 때 248초까지 줄어들었다. 무라카미 하루키 단독으로 사용했을 때의 482초에서 거의 절반으로 줄어든 것이다.

정말 놀랍다”라며 기뻐했던 것도 잠시, 생성된 영상을 자세히 살펴보니 손의 움직임이나 머리카락의 흐림이 약간 둔한 것이었다. EasyCache는 단계를 줄이는 방식이기 때문에 속도와는 바꿀 수 없는 미묘한 저하를 감수해야 했다.

여기서 ‘기본값’이 항상 ‘정답’과는 다를 수 있음을 깨달고, 파라미터(재사용 임계값 등)를 세밀하게 조정했다. 결국, 품질 저하가 느껴지지 않는 범위까지 줄이면서 335초라는 지점으로 도달했다. 참고로, 나중에 15초의 긴 형식 클립을 만들 때 VRAM 부족(OOM)에 직면하여 해상도를 낮춰야 했다. 하지만 그때 만든 영상을 보면서 “저 오히려 이렇게 부드러운 질감의 표현이 더 자연스럽게 느껴지네”라고 깨달았다. 최적화를 위한 타협이 의도치 않게 표현의 폭을 넓힐 수도 있다는 것을 알게 되었다.

## 앱에 통합하면서 얻은 설계의 교훈

지금까지의 시행착오를 통해 확정된 설정(Sage Attention + EasyCache, 해상도 및 초당 건수별 예상 값)을, 평소에 사용하던 자작 캐릭터 관리 앱(Python/Tkinter 기반)에 통합하기로 했다. “영상 생성” 탭과 “영상 결합” 탭을 신설하여, 이미지를 선택하고 프롬프트를 작성하여 큐에 추가하는 것만으로, 뒤에서 순차적으로 생성이 진행되는 시스템을 구축했다.

그때 가장 고민했던 건 “어느 정도까지 자동화할 것인가”라는 선을 긋는 것이었다. 시나리오를 결정하고, 장면마다 이미지를 만들고, 이미지에서 영상을 만들고, 마지막으로 연결하는 이 일련의 과정을 전부 자동화하는 것도 기술적으로 가능했지만, 오히려 그렇게 하지 않았다. “어떤 영상을 만들 것인가”를 생각하는 부분만은 절대로 사람이 직접 해야 한다고 느꼈기 때문이다. 프롬프트의 질이 퀄리티의 거의 모든 것을 결정해 주므로, 그 부분을 자동화로 건너뛰는 것은 본질적으로 반대였다. 그래서 자동화한 것은 “같은 설정을 매번 직접 입력하지 않아도 되도록 하는 것”과 “파일 저장 위치나 연결 순서를 관리하기 쉽게 하는 것”이라는 단순한 기록과 정리의 부분에만 국한되었다.

지저분하지만, 이것이 이번 작업 전체를 통해 가장 큰 수확이었을 지도 모른다.

## PC가 없거나 GPU 성능이 약한 분들을 위한 선택: 클라우드 GPU 활용 방법

PC가 없거나 GPU 성능이 약한 경우, 고사양 게임이나 영상 편집 등 그래픽 작업에 어려움을 겪을 수 있습니다. 이러한 문제를 해결하기 위해 클라우드 GPU라는 새로운 선택지가 등장하고 있습니다. 클라우드 GPU는 인터넷을 통해 GPU 성능을 빌려 사용하는 서비스로, 고성능 PC를 갖추지 않고도 고사양 작업을 즐길 수 있게 해줍니다.

클라우드 GPU를 이용하면, 별도의 하드웨어 구매 및 유지보수 비용 없이 필요한 만큼만 GPU 성능을 사용할 수 있습니다. 또한, PC 사양에 구애받지 않고 다양한 소프트웨어를 실행할 수 있으며, 언제 어디서든 접속하여 작업할 수 있다는 장점도 있습니다.

특히, 최근 클라우드 GPU 서비스는 가격 경쟁력이 높아져 개인 사용자뿐만 아니라 소규모 사업자에게도 매력적인 선택지가 되고 있습니다.

클라우드 GPU를 활용하면 다음과 같은 작업들을 보다 효율적으로 수행할 수 있습니다.

*   고사양 게임 플레이
*   영상 편집 및 렌더링
*   3D 모델링 및 렌더링
*   AI 모델 학습 및 추론
*   가상 머신 실행

클라우드 GPU 서비스는 다양한 업체에서 제공하고 있으며, 각 서비스마다 제공하는 GPU 종류, 가격, 성능 등이 다릅니다. 따라서, 자신의 작업 환경과 예산에 맞는 서비스를 선택하는 것이 중요합니다.

클라우드 GPU를 통해 더욱 편리하고 효율적인 작업을 경험해 보세요.

이 정도까지 읽으신 분들은 “재밌겠는데, 제 PC에는 RTX 4080 같은 것을 장착해 놓지 않았다”라고 생각했을 수도 있습니다. 실제로, 영상 생성 AI는 이미지 생성보다 VRAM을 훨씬 많이 소비하기 때문에, 손에 RTX 4090 급 그래픽 카드가 없다면 상당히 어려운 상황이 많습니다.

클라우드 GPU(GPU를 시간 단위로 빌릴 수 있는 서비스)라는 선택지가 있다. 쉽게 말해서 “인터넷 상의 고성능 GPU(RTX 4090, H100 등)를 사용한 만큼 요금으로 빌리는” 방식이다.

제가 여러 가지를 조사해 본 결과, RunPod가 가장 사용하기 쉬운 것 같았습니다.

- 계약이나 최소 이용 건수에 제약 없이, 필요한 때마다 초/분 단위로 과금합니다.
- RTX 4090, A100, H100과 같은 고성능 GPU를 선택할 수 있습니다.
- ComfyUI 템플릿이 준비되어 있어 환경 구축 시간을 상당히 줄일 수 있습니다.

正直なところ、今回の記事で書いたような「Tritonのリンクエラーと何時間も格闘する」ような苦労は、クラウド環境なら大部分スキップできる可能性が高い。「とにかく早く動画を作りたい、環境構築でつまずきたくない」という人には、現実的な選択肢だと思う。

관심이 있는 분은 여기를 통해 RunPod를 확인해보세요 (이 링크는 저자의 제휴 링크입니다. 이 글이 도움이 되셨다면 이 링크를 통해 가입해주시면 감사하겠습니다).

## まとめ

- ComfyUI 버전 부족, 노드의 배선 실수, Triton 링크 오류—오류 메시지를 하나씩 읽고, 원인을 분리하는 끈기 있는 작업의 반복이었다.
- 고속화의 수치는 조건을 맞춰 비교하지 않으면 쉽게 오해를 불러일으킬 수 있다.
- 자동화는 “작업의 반복”에만 적용하고, “무엇을 만들지 결정하는” 판단은 사람의 몫으로 남겨두는 것이 중요합니다.

만약 MiniMax H3나 ComfyUI와 같은 로컬 환경 구축에 빠져 있는 분들이 있다면, 이 기록이 어떤 도움이 되길 바랄 뿐입니다. 비슷한 AI 활용 및 자동화 이야기는 앞으로도 계속해서 작성할 것이므로, 좋다면 팔로우를 부탁드립니다.

**출처:** [note 원문](https://note.com/aibijyolab/n/n7f6e047a27bf)

*번역: Gemma 3(.44) 초벌 + 교정 30청크*

[원문 보기](https://note.com/aibijyolab/n/n7f6e047a27bf) | 출처: note.com