Motion-disentangled Diffusion Model for High-fidelity Talking Head Generation

기존의 GAN 기반 토킹 헤드 생성 모델은 제한된 품질과 불안정한 훈련 과정이라는 단점이 존재한다. 확산 모델에 기반한 최근의 접근 방식은 이러한 한계를 해결하고 비디오 품질을 개선하는 것을 목표로 한다. 그러나 확산 모델의 높은 확률성으로 인해 샘플링 시간이 길어지고 시간적 일관성을 유지하기가 어렵다는 등의 문제가 여전히 남아 있다. 이러한 문제를 극복하기 위해 고품질 토킹 헤드 생성을 위한 새로운 모션 분리 확산 모델인 MoDiTalker를 제안한다. 오디오에서 동기화된 입술 움직임을 생성하도록 설계된 오디오-투-모션(AToM)과 생성된 모션에 따라 고품질 토킹 헤드 비디오를 생성하도록 설계된 모션-투-비디오(MToV)의 두 가지 모듈을 소개한다. AToM은 오디오 주의 메커니즘을 활용하여 미묘한 입술 움직임을 포착하는 데 탁월하며, MToV는 효율적인 3장의 엠베딩을 활용하여 시간적 일관성을 향상시킨다. 표준 벤치마크에서 수행한 실험을 통해 기존 모델에 비해 우수한 성능을 달성했음을 입증하였고, 이에 더해 포괄적인 절제 연구와 사용자 연구 결과 또한 제공한다.