Variational Control for Diffusion Synchronization

본 과제는 pretrained 된 diffusion model 을 additional training 없이 활용하면서, 여러 generation trajectory 가 하나의 consistent 한 output 을 생성하도록 synchronize 하는 diffusion synchronization framework 를 제안한다. Diffusion model 은 단일 이미지에 대해서는 우수한 생성 성능을 나타내지만, panorama, multi-view texture 를 생성하는 데에는 한계가 있었다. 본 연구는 이를 해결하기 위해 diffusion sampling 과정에 variation control variable 을 도입하고, variational inference 를 통해 ELBO (Evidence lower bound) 를 유도하여 reward maximization 과 prior 보존을 동시에 수행한다. 즉, 생성 결과가 주어진 reward 와 trajectory 간의 haronimization 을 만족하도록 유도하면서도 diffusion model 이 학습한 데이터 분포에서 벗어나지 않도록 제어한다. 제안된 framework 는 wide image generation, optical illusion generation, 그리고 3D mesh texturing 에서 기존 연구들보다 양적/질적으로 우수한 성능을 나타낸다. 더 나아가, 본 과제에서 제안된 framework 는 재학습 없이 Stable Diffusion, ControlNet, SANA 와 같은 고해상도 이미지 생성 모델에 결합할 수 있다. 본 과제의 결과물은 AR/VR 분야의 시각 콘텐츠 제작 자동화, 스타일을 유지한 대형 이미지 제작 등에 실용적 활용이 가능할 것으로 기대된다.