A Study on Continuous Hand Gesture Spotting Integrating Deep Learning and Hidden Markov Models

본 논문은 실시간 제스처 인식기를 위해 딥러닝과 은닉 마르코프 모델(HMM)을 결합한 연속 손동작 기반 제스처 적출(spotting) 방법을 제안한다. 3차원 공간에서 손의 형상과 움직임은 MediaPipe Hands 알고리즘으로 추적되며, 이 데이터를 바탕으로 LSTM Autoencoder가 HMM 입력용 특징벡터를 생성한다. 시공간적 변이를 포함한 제스처 탐지는 Gaussian HMM을 통해 수행된다. 또한 입력패턴이 제스처와 얼마나 유사한지 판단하기 위해 비제스처 유사도를 기반으로 한 임계치 모델을 도입하였다. 실험결과, 본 방법은 연속 손동작에서 제스처를 98.08%의 인식률과 5.60%의 단어오류율(WER)로 적출하여 높은 신뢰성을 입증하였다.