Improving the performance of 3D pose estimation model with the masking module

최근 헬스케어 분야에 대한 관심과 더불어 COVID-19 이후 헬스케어 관련 비대면 서비스에 대한 수요가 증가함에 따라 인공지능(AI)을 적용한 다양한 서비스가 등장하고 있다. 그러나 운동 자세 및 환자 재활 코칭 등에 사용되는 딥러닝 기반의 3D 자세 추정 모델들의 경우 모델 학습을 위한 3D 관절 좌표 데이터셋 구축에 어려움이 있으며 온전히 모든 신체부위가 카메라에 직접적으로 노출되어야 하는 제약이 존재한다. 이에 본 연구는 비교적 데이터셋 구축이 쉬운 2D 관절좌표 데이터를 활용하여 비지도 학습 기반 3D 자세 추정이 가능하게 하기 위해 2D 이미지를 통해 3D 자세를 추정하는 모델을 제안한다. 또한 Graph Convolution Network를 활용한 마스킹 모듈을 개발하여 각 관절 좌표가 인접 관절 좌표 간의 관계를 학습하여 관측되지 않은 좌푯값을 조정하게 하여 이를 통해 모든 신체 부위가 노출되어야 하는 제약을 해소한다. 실험 결과, 본 연구에서 제안한 마스킹 모듈을 활용한 제안 모델은 기존 3D 자세 추정 모델에 대해 평균적으로 8.5%의 성능을 향상하는 것을 확인할 수 있었다.