Improving Action Recognition in Multi-objects Environments using Cosine Similarity-based Object Tracking

본 연구에서는 코사인 유사도 기반 객체 추적 알고리즘을 통합한 개선된 행동 인식 방법을 제안한다. 제 안된 시스템은 Faster R-CNN을 사용한 객체 검출, HRNet을 이용한 포즈 추정, 그리고 PoseC3D를 활용한 행동 분류를 기반으로 한다. 핵심 개선 사항은 PoseC3D의 출력에 코사인 유사도 기반 추적 알고리즘을 적용하여 연속 된 프레임에서 각 개별 객체를 일관되게 식별하고 추적하는 것이다. 이를 통해 다양한 인물이 등장하는 야구 영상 에서 투수를 인식할 수 있도록 하였다. 실험을 진행한 결과, 한 사람이 등장하는 야구 영상에서는 97%의 정확도 를 나타내었으며, 시각화를 통해 타자와 투수, (외)야수 등 각 인물을 잘 인식하고 있음을 확인할 수 있었다. 이어 서 다중 인물 중 투수를 인식하여 영상을 추출하는 실험을 진행한 결과, 92%의 정확도로 투수를 인식하였음을 확인할 수 있었다.