CustomGen: Training-Free Unified Multi-Condition Control for Diffusion Models

최근 확산 기반 이미지 생성 모델은 빠르게 발전하고 있으나, 정체성 보존, 스타일 전이, 자세 제어를 이미지 참조로 동시에 달성하면서 텍스트 가이던스까지 활용하는 통합 프레임워크는 여전히 부족하다. 본 논문에서는 얼굴(정체성), 자세, 스타일의 이미지 참조와 텍스트 가이던스를 함께 주입하는 학습 불필요 경량 프레임워크 CustomGen을 제안한다. CustomGen은 InstantStyle 기반의 스타일 주입을 수행하는 Style Extractor, 간결한 텍스트 프롬프트를 자동 생성하는 Prompt Generator, HED와 키포인트 조건을 생성하는 Face-Pose Aligner로 구성된다. 또한 ControlNet [1] 조건 및 마스킹 전략을 비교하는 실험을 통해, 강한 엣지 제약과 부드러운 가이던스를 효과적으로 결합하는 설계 원칙을 도출한다. 그 결과, CustomGen은 정체성 보존, 자세 정확도, 스타일 충실도, 지각 품질 지표 및 사용자 선호 평가에서 균형 잡힌 성능을 보이며, 순차적 베이스라인 대비 추론 효율도 향상된다.