MiniMax H3가 사용 가능해진 이후, 저희에서는 5초 생성에 15분이 소요되던 문제에 대해 다양한 최적화 시도를 기록한 것입니다.
RTX 4060 Ti, 16GB RAM, 32GB 환경입니다.
이전 글은 여기 있습니다.
SageAttention + ComfyUI-SolAttn + EasyCache
먼저 조사해 보니, 해당 기자의 커스텀 노드를 사용하는 것입니다.
역시 고속화라면 기자 씨군요.
GitHubはこちらです。
커스텀 노드 폴더로 이동하여 Git 클론합니다.
git clone https://github.com/kijai/ComfyUI-SolAttn_triton
덧붙여서, 이전 설치했던 SageAttention도 커스텀 노드에서 사용 가능하도록 하기 위해 이 커스텀 노드도 Git 클론해 둡니다.
git clone https://github.com/kijai/ComfyUI-KJNodes.git
これで、EasyCacheも加えて、最初の記事にあるとおりに設定してやってみます。
자, 우선 한번 해보죠.
[INFO] 프롬프트 실행 시간: 00:10:08
어, 효과 있네. EasyCache도 잘 작동해서 후반에 가속했다.
다시 한 번 시도해 보자.
[INFO] 프롬프트 실행 시간 561.55초
드디어 10분을 넘겼다.
ComfyUI 업데이트 (v0.31.1)
우리 컴피유이는 v0.30.2인데, 컴피유이를 업데이트하면 빠진다는 이야기가 있어서 해봤어.
ComfyUI-Manager에서 팝! 업데이트를 진행했습니다. v0.30.2 → v0.31.1
자, 어때.
[INFO] 프롬프트 실행 시간 581.90초
처음부터 10분이 지났습니다. 단지 이것만으로도 효과가 있었습니다.
기재/미니맥스-H3-실험적
기자상이 여러 가지 빠른 모델을 만들고 있다는 소문이 있습니다.
w4a8는 4비트 가중치와 int8-convrot 활성화를 사용하는 실험적인 형식입니다. 테스트 단계이며, 자세한 내용은 다음 링크에서 확인할 수 있습니다: https://github.com/Comfy-Org/comfy-kitchen/pull/90. ComfyUI 0.31.0이 필요합니다.
こう書いてあるが、意味はよくわからない。comfy-kitchenってのがいるのかな？
먼저 모델은,
제공된 텍스트는 이미지 파일 이름 목록으로 보입니다. 이미지 파일 내용이 없으므로 번역할 내용이 없습니다.
그 결과, 사이즈도 작아지고 있습니다.
자, R2V를 시도해 봅시다.
음, 그렇게 생각해보니.
어느 날, 나는 카호에게서 전화가 왔다. 그녀는 마치 며칠 전 만난 것처럼, 마치 내가 그녀를 잊은 것처럼, “무라카미 하루키의 『1Q84』를 읽고 있는데, 너무 무서워서 잠을 못 자.”라고 말했다. 나는 그녀의 말을 듣고 웃음을 터뜨렸다. 그녀는 항상 무라카미 하루키의 작품에 대해 과장된 반응을 보였다. 그녀는 마치 자신이 그 책의 내용에 직접 휘말린 것처럼, 마치 자신이 그 책의 등장인물처럼, 마치 자신이 그 책의 세계에 갇힌 것처럼 말하는 것 같았다.
“그럼, 1Q84를 읽고 나서 밤에 몬죠노의 오리와 춤을 추는 꿈을 꾸겠네.” 농담처럼 말했다. 카호는 잠시 침묵하더니, “정말 몬죠노의 오리와 춤을 춘단 말야?”라고 물었다. 나는 웃음을 멈추지 못했다. 카호는 항상 무라카미 하루키의 상상력에 압도되는 것 같았다. 그녀는 마치 자신이 그 상상력의 일부가 된 것처럼, 마치 자신이 그 상상력의 결과물이 된 것처럼 말하는 것 같았다.
그녀는 계속해서 1Q84에 대해 이야기했다. 그녀는 그 책의 등장인물인 ‘미도리’에게 깊이 공감한다고 말했다. 그녀는 마치 미도리가 자신의 삶을 반영하는 것처럼, 마치 미도리가 자신의 내면을 드러내는 것처럼 말하는 것 같았다. 나는 그녀의 이야기를 듣고 생각했다. 카호는 항상 자신의 삶을 무라카미 하루키의 작품과 연결시키려고 노력했다. 그녀는 마치 자신이 그 작품의 주인공이 된 것처럼, 마치 자신이 그 작품의 한 장면이 된 것처럼 말하는 것 같았다.
“카호, 너는 정말 무라카미 하루키의 작품을 사랑하는구나.” 나는 그녀에게 말했다. “너는 마치 그 작품의 일부가 된 것처럼, 마치 그 작품의 세계에 갇힌 것처럼 말하는 것 같구나.” 카호는 잠시 침묵하더니, “그래, 나는 무라카미 하루키의 작품을 통해 삶의 의미를 찾고 싶어.”라고 말했다. 나는 그녀의 말을 듣고 고개를 끄덕였다. 그녀는 항상 삶의 의미를 찾기 위해 무라카미 하루키의 작품을 읽었다. 그녀는 마치 자신이 그 작품을 통해 삶의 답을 얻는 것처럼, 마치 자신이 그 작품을 통해 삶의 길을 찾는 것처럼 말하는 것 같았다.
저기, 12분이나 늦었어요.
다시 한 번 시도해 보자.
그녀는 그를 꽤 오랫동안 기다렸다.
너무 빠르지 마세요.
CUDA13.0
꽤 빠른 속도로 느껴지면서, 컴피 UI 실행 로그를 확인해 본 결과,
경고: 최적화된 CUDA 연산을 사용하려면 PyTorch와 cu130 이상 버전을 함께 사용해야 합니다.
음, 경고 메시지가 떴는데 ‘CU130 이상이 필요하다’라고 적혀 있나요?
그 아래에는 더 있었다.
[정보] comfy_kitchen 백엔드 Triton: {'available': True, 'disabled': True, 'unavailable_reason': None}
어쩐지 아늑한 주방에 대한 내용이 담겨 있고, disabeled:True라니, 그것은 안 되는 건 아니야?
ChatGPT에 로그를 올려보았다.
로그를 붙여달라는 경우가 있습니다. 역시 CU130으로 하는 것이 좋겠습니다.
네. 이 로그를 토대로 판단할 때, 이번에는 cu130 이상으로 업그레이드하는 의미가 상당합니다. 지금까지의 “먼저 12.8의 상태를 유지하며 지켜본다”는 결정보다 우선순위를 높여 개선하는 것이 적절합니다. ComfyUI 본체의 현재 코드를 살펴보면, torch.version.cuda < 13.0일 경우 comfy_kitchen의 CUDA 백엔드를 명시적으로 비활성화하고 “You need pytorch with cu130 or higher to use optimized CUDA operations.”라는 경고를 출력하는 구현이 되어 있습니다. 즉, 현재 torch 2.10.0+cu128 환경에서는 H3의 INT8 ConvRot에서 중요한 고성능 CUDA 커널을 활용할 수 없습니다.
더불어,
특히 이번에 사용하고 있는 minimax_h3_ref2va_pruned_int8_convrot에서는 int8_linear와 ConvRot의 양자화 처리가 핵심적으로 관련됩니다. comfy-kitchen 자체도 INT8 ConvRot를 위한 고속 커널을 구현하고 있습니다.
저기, 처음부터 cu130로 하는 게 좋을 거 아니냐고 했었잖아.
그래, 알았어, 그럼 바로 cu130으로 업데이트를 해보자.
그럼 어떻게 할까요.
그럼, CU130으로 바꾸려면 어떻게 해야 할까요?
네. 현재 환경에서는 OS 쪽에 있는 CUDA 툴킷을 13.0으로 변경할 필요가 없습니다. 먼저 comfy-env 내의 PyTorch를 cu128에서 cu130로 대체하는 것이 목표입니다. PyTorch 공식에는 2.10.0 + cu130 Linux용 wheel이 준비되어 있으며, 현재 2.10.0+cu128와 동일한 PyTorch 2.10을 CUDA 빌드만 업그레이드하여 변경 범위를 최소화할 수 있습니다. 먼저 백업을 취하시고, `source ~/comfy-env/bin/activate` 명령으로 `pip freeze > ~/comfy-env-cu128-backup.txt`를 실행합니다. 그 다음 현재 Torch 계열을 삭제하고, `pip uninstall -y torch torchvision torchaudio`를 실행한 후, 공식 cu130 버전을 설치합니다. `pip install torch==2.10.0 torchvision==0.25.0 torchaudio==2.10.0 --index-url https://download.pytorch.org/whl/cu130` 명령입니다. PyTorch 공식 대응표에서도 이 조합이 CUDA 13.0용으로 안내되고 있습니다.
알겠습니다. 자, 바로 해보죠.
좋아, 이제 시작해 보자.
커스텀 노드의 영향은 다시 한번 확인하며, 일단 공식 템플릿대로 시도해 보겠습니다.
어떻게.
무라카미 하루키의 소설 『ノルウェイ의 나무』 영화화 인터뷰입니다.
“영화의 가장 큰 어려움은 원작의 분위기를 어떻게 살릴 수 있을까 하는 점이었죠. 무라카미 하루키 작가가 원작에서 묘사한 섬세하고 몽환적인 분위기를 영화로 옮겨오려면, 시각적인 요소뿐만 아니라 음악, 연출 등 모든 면에서 신중하게 접근해야 했습니다.”
“특히, 영화 속에서 주인공 ‘카호’가 느끼는 혼란스러움과 불안감을 효과적으로 전달하는 것이 중요했습니다. ‘카호’는 끊임없이 변화하는 주변 환경 속에서 자신의 정체성을 찾으려 하지만, 동시에 과거의 기억과 현실 사이에서 갈등하는 모습을 보여주면서, 관객들에게 깊은 공감을 불러일으키고 싶었습니다.”
“영화의 배경이 되는 ‘ノルウェイ’는 실제 노르웨이의 아름다운 풍경을 담고 있지만, 동시에 무라카미 하루키 작가가 상상한 이상적인 공간이기도 합니다. 영화 제작 과정에서 노르웨이의 자연과 문화를 최대한 존중하면서, 동시에 영화의 분위기를 살릴 수 있는 방식으로 연출해야 했습니다.”
“영화의 성공에 대한 기대감은 큽니다. 무라카미 하루키 작가의 작품은 전 세계적으로 많은 사랑을 받고 있는데, 이번 영화가 그 작품의 팬들에게 더욱 깊은 감동을 선사할 수 있기를 바랍니다.”
어, 진짜 빠르네. 8분 29초.
편안한 주방(comfy_kitchen) 같은 것도 도움이 될 수 있을 텐데, 기자이 씨의 w4a8 모델도 더 빠르게 돌아갈 텐가요?
W4A8으로 시도해 보자.
[INFO] 프롬프트 실행 시간 444.47초
와, 역시 빠르다. 7분 24초.
CUDA13.0 + SageAttention + ComfyUI-SolAttn + EasyCache
CUDA 13.0을 설치했으므로 SageAttention 버전을 다시 설치해 보겠습니다.
가상 환경을 벗어나
가상 환경에 다시 접속하여
이것은 휠을 넣는 것이 좋겠지만, ChatGPT가 컴파일을 지시해 줬기 때문에 그렇게 해 보았다.
좋아. 커스텀 노드를 섞어 해보자.
모델은 w4a8의 상태로 유지됩니다.
그녀는 마치 텅 빈 캔처럼, 겉으로는 아무것도 없는 듯 보였다. 하지만 그녀의 눈빛은 깊이를 알 수 없는 심연을 담고 있었고, 그 심연 속에는 잃어버린 기억과 희망, 그리고 어쩌면 슬픔까지 담겨 있는 듯했다. 그녀는 마치 오래된 사진처럼, 빛바랜 과거의 그림자처럼, 곁에 있던 사람들에게 불안감을 안겨주었다.
그녀는 자신을 잃어버린 채, 마치 껍데기만 남은 인형처럼 행동했다. 그녀의 말은 텅 빈 듯했고, 그녀의 행동은 예측 불가능했다. 그녀는 마치 폭풍우처럼, 갑작스럽게 나타나 곁의 사람들을 흔들고, 다시 사라졌다. 그녀의 존재는 마치 꿈처럼, 현실처럼, 묘하게 혼란스러웠다.
그녀는 마치 낡은 롤러 블레이드처럼, 낡고 헤진 기억들을 가지고 있었다. 그녀는 마치 오래된 흑백 영화처럼, 잊혀진 기억들을 되살려내며, 곁에 있던 사람들에게 고통을 안겨주었다. 그녀는 마치 텅 빈 방처럼, 텅 빈 공간을 채우고, 그 공간을 더욱 텅 비게 만들었다.
그녀는 마치 낡은 시계처럼, 멈춰버린 시간을 가지고 있었다. 그녀는 마치 텅 빈 책처럼, 아무런 내용도 담고 있지 않았고, 그 텅 빈 공간은 마치 그녀의 마음처럼 텅 비어 있었다. 그녀는 마치 낡은 샹들리에처럼, 빛을 잃어버린 채, 어둠 속에서 희미하게 빛나고 있었다.
그녀는 마치 낡은 붓처럼, 텅 빈 캔에 그림을 그리는 듯, 곁에 있던 사람들의 삶에 의미를 부여하려 했다. 하지만 그녀의 그림은 마치 텅 빈 페이지처럼, 아무런 의미도 담고 있지 않았고, 그 텅 빈 페이지는 마치 그녀의 삶처럼 텅 비어 있었다. 그녀는 마치 낡은 악보처럼, 멈춰버린 음악을 연주하려 했지만, 아무런 소리도 낼 수 없었다.
뜨겁다. 3분 59초. 드디어 3분대가 왔다.
어쩌면 W4A8이 아닌 게 어제도 더 빠르니까, int8_convrot으로 해보자.
어떻게.
[INFO] 프롬프트 실행 시간 212.05초
역시. 여기가 더 빠르네. 3분 32초.
두 번째 시도하면 더 빠를 거예요.
[INFO] 프롬프트 실행 시간 194.07초
드디어 200초를 넘겼다. 정말 대단하다.
만들어진 영상도 15분이나 걸려서 똑같다.
CUDA12.8에서 공식 템플릿의 R2V로 5초 영상 생성에 15분이 걸렸던 것을, CUDA13.0으로 업데이트하고 SageAttention, ComfyUI_SolAttn, EasyCache를 사용하면 3분 30초로 생성할 수 있었다. pic.twitter.com/7NAAlgSCHZ— 유키 (@Yuki_mec) 2026년 8월 9일
이 정도면 계속해서 만들어낼 수 있을 것 같아.
다음에 15초도 도전해볼까.
또 만나요.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 47청크
원문 보기 | 출처: note.com