Spatio-Temporal Diffusion Model for Sign Language Production

기존의 글로스 기반 수어 생성 연구에서는 생성된 프레임 간의 움직임이 부자연스러운 문제가 발생하였다. 이는 모델이 각 프레임의 포즈 정확도에만 집중하여, 프레임 간의 시간적 일관성을 충분히 고려하지 못하기 때문이다. 본 연구에서는 이러한 한계를 극복하기 위해 시간적 연속성을 모델링하는 수어 생성 모델을 제안한다. 이를 위해, 프레임 시퀀스의 시간적 연속성을 학습하는 시공간 트랜스포머(Spatio-Temporal Transformer) 구조를 활용하였다. 독일 기상청의 PHOENIX14T데이터셋을 활용한 실험 결과, 움직임의 자연스러움을 평가하는 평균 관절 속도 오차(Mean Per Joint Velocity Error, MPJVE) 지표에서 향상을 이루었다. 본 연구는 시간적 연속성을 고려한 수어 생성 모델을 제안함으로써, 더 높은 품질의 수어 생성 연구에 기여하였다.