Multiple Visual Cue Fusion Network for Gloss-free Sign Language Translation

기존 수어 번역 연구들은 주로 각 수어 동작에 부여된 텍스트 라벨인 글로스(gloss)를 활용한다. 하지만, 이러한 글로스 기반 접근법은 데이터 부족 문제나 정보 병목 현상과 같은 여러 제한사항을 동반한다. 따라서 글로스에 대한 의존은 수어 번역 모델의 성능 개선과 상용화에 있어 바람직하지 않을 수 있다. 한편, 수어는 손 동작인 수지 요소 뿐만 아니라 얼굴 표정, 신체 자세와 같은 비수지 요소를 통해서도 의미를 전달한다. 이는 수어 영상에서 얻을 수 있는 다양한 시각적 단서들이 수어 동작 간의 미묘한 의미 차이를 이해하는 데 중요한 정보를 제공할 수 있음을 시사한다. 이러한 점을 고려하여, 본 연구에서는 글로스에 의존하지 않는(gloss-free) 방식으로 작동하고 수어 영상의 다양한 시각적 단서를 활용하는 새로운 수어 번역 모델인 다중 단서 융합 네트워크(Multi-cue Fusion Network, MFN)를 제안한다. MFN은 크게 세 파트로 구성되어 다중 단서 특징 추출, 다중 단서 특징 융합, 텍스트 생성으로 나뉘고, 대규모 데이터에 사전 학습된 시각 및 언어 모델의 능력을 적극 활용한다. MFN은 다섯 가지 시각적 단서(풀프레임, 얼굴, 오른손, 왼손, 자세)를 활용하며, 슬라이딩 다중 단서 어텐션(Sliding Multi-cue Attention, SMA) 방식을 통해 각 단서들의 특징을 융합한다. 또한, 다단계 학습 방식을 필요로 하는 최근 수어 번역 모델들과 다르게 MFN은 단일 단계의 엔드투엔드(end-to-end) 방식으로 학습되어, 전체 학습 절차를 단순화하고 최적화를 효율적으로 수행할 수 있다. 본 연구에서의 실험 결과, MFN은 수어 번역 연구에서 널리 사용되는 독일 및 중국 수어 번역 데이터셋에서 최첨단 글로스 프리 수어 번역 모델들과 유사한 성능을 보였다.