중국 ByteDance의 연구 조직 ByteDance Seed 등의 공동 연구팀은 2026년 8월 25일, 이미지 생성에 사용되는 확산 모델의 포스트 트레이닝 기법 'DiffusionOPSD(On-Policy Self-Distillation in Diffusion Models)'를 발표했다. 이미지 전체에 주어지는 보상을 생성 도중의 예측을 개선하기 위한 명시적인 교사 신호로 변환하는 '온폴리시 자기 증류'를 채택한다.
연구팀은 Stable Diffusion 3.5 Medium(SD3.5-M)과 Z-Image-Turbo를 사용해 평가했다. 비교 실험에서는 보상 조건을 동일하게 맞춘 20개 설정 중 19개 설정에서 최종 held-out score가 최고를 기록했으며, 가장 강력한 비교 기법을 최대 44.0% 상회했다고 밝혔다. 또한, DiffusionNFT와 비교한 학습 GPU 시간은 SD3.5-M에서 40%, Z-Image-Turbo에서 63% 적었다.
## 완성된 이미지의 평가만으로는 '도중 과정을 어떻게 수정해야 할지' 알 수 없다
확산 모델은 노이즈를 단계적으로 제거하며 이미지를 생성한다. 반면, 인간의 선호도나 특정 목적에 모델을 맞추는 보상 기반 학습에서는 완성된 이미지에 대해 '좋음', '나쁨'과 같은 평가를 부여하는 방식이 사용된다.
연구팀에 따르면, 이 방식은 최종 이미지의 평가는 얻을 수 있지만, 이미지 생성 도중의 노이즈 제거 예측을 '어느 방향으로, 얼마나 바꿀 것인가'는 직접 제시하지 못한다. 이러한 생성 과정에서의 교사 신호 부족을 메우는 것이 DiffusionOPSD이다.
공식 프로젝트 페이지에서는 DiffusionOPSD의 처리 과정을 '온폴리시 쿼리 수집', '경계가 지정된 타깃 구축', '학습·업데이트·반복'의 3단계로 설명하고 있다.
DiffusionOPSD의 작동 방식. 생성 도중의 상태에서 보상이 높아지는 방향과 낮아지는 방향의 목표를 구축하여 모델 학습에 활용하는 흐름을 단계적으로 보여준다.
## 생성 도중에 '좋은 방향'과 '나쁜 방향'의 목표를 제공
DiffusionOPSD에서는 먼저 고정된 'behavior policy'가 이미지 생성 궤적을 생성하게 하여, 노이즈 양이 적은 단계의 상태와 그로부터 예측되는 깨끗한 출력을 구한다.
이어 이미지를 평가하는 보상의 그래디언트를 활용해 해당 출력을 기준으로 보상이 높아지는 방향과 낮아지는 방향으로 각각 범위를 제한한 'positive target'과 'negative target'을 구축한다. 학습 대상 모델은 이들을 교사 신호로 삼아 학습한 후, behavior policy를 지수 이동 평균(EMA)으로 업데이트한다. 이러한 일련의 과정을 반복함으로써 현재 모델이 실제로 생성하고 있는 상태에 맞게 교사 신호도 지속적으로 업데이트되는 구조다.
## 20개 조건 중 19개 조건에서 최고 스코어, GPU 시간은 최대 63% 감축
실험에서는 SD3.5-M과 Z-Image-Turbo 2가지 백본을 사용하고 10가지 평가기를 활용해 비교했다. 그 결과, 보상 조건을 동일하게 맞춘 20개 설정 중 19개 설정에서 DiffusionOPSD가 가장 높은 최종 held-out score를 기록했다. 가장 강력한 비교 기법 대비 개선 폭은 최대 44.0%였다.
학습 비용 측면에서는 DiffusionNFT와의 비교에서 SD3.5-M의 학습 GPU 시간을 40%, Z-Image-Turbo에서는 63% 절감했다. 이는 이미지 생성 AI의 사전 학습 전체를 63% 줄였다는 의미가 아니라, 해당 연구의 포스트 트레이닝 실험에서 DiffusionNFT와 비교한 수치다.
연구 팀은 이에 더해, 보상 기울기를 통해 더 나은 목표를 구축할 수 있더라도 1회의 모델 업데이트 후에 그 개선이 그대로 재현된다고는 볼 수 없음을 확인했다. DiffusionOPSD에서는 "좋은 지도 신호를 만들었는가"와 "모델이 실제로 그 개선을 학습했는가"를 나누어 측정할 수 있다고 밝히고 있으며, 계산 효율뿐만 아니라 확산 모델의 포스트 트레이닝 과정을 분석하기 쉽게 만드는 것도 목적으로 하고 있다.
원문 보기 | 출처: Ledge.ai