Controllable High-resolution Cloth Image Generation based on the Diffusion Model

본 논문에서는 이미지와 프롬프트로 이미지 제어가 가능한 ControlNet을 활용하여 고해상도 의류 이미지 생성 방법을 제안한다. 사용자가 의도한 프롬프트 정보와 도식화를 활용하여, 맞춤형 의류 이미지를 생성하는 것을 목표로 한다. 실제 디자이너가 제작한 도식화의 획득이 어려운 점을 고려하여, 본 연구에서는 의류의 엣지 추출 알고리즘을 통한 의사 도식화를 생성하고 이를 ControlNet의 입력으로 사용한다. 사전 학습된 DiffusionEdge로 생성한 의사 도식화와, BLIP 기반 프롬프트를 통해 다양한 학습 조건의 실험을 진행했다. BIPED로 사전 학습된 DiffusionEdge와 BLIP 기반 프롬프트를 적용한 모델이 네 가지 평가 지표에서 뛰어난 성능을 보이며, 프롬프트에 맞춤화된 고해상도 의류 이미지의 생성이 가능함을 확인하였다. 다양한 조건의 프롬프트 입력을 통해 재학습된 ControlNet이 색상, 패턴 등에 대해 사용자 맞춤형 제어가 가능함을 확인하였다.