Optimizing multi-object tracking performance in plenoptic video

플렌옵틱 비디오는 다양한 고차원적인 정보를 내재하고 있어 3D 영상의 재구성 및 실감 콘텐츠를 제공한다. 본 논문에서는 플렌옵틱 비디오 내 다중 객체를 추적할 때 발생하는 처리 지연 특성을 크게 개선할 수 있는 솔루션을 제안한다. 먼저 기존 2D 비디오 환경에서 널리 사용되는 두 가지 객체 추적기를 플렌옵틱 환경에 맞게 재구성한다. 한 프레임 내에 다초점 정보로 인한 대량의 이미지들 중 꼭 필요한 이미지들만을 선별할 수 있게 하고, 각 객체 추적기 내부 블록들이 사용하는 딥러닝 모델들 및 이미지 전처리 모듈들을 멀티코어로 구성된 CPU와 GPU를 사용함에 있어서 최대한 병렬처리가 가능하도록 개선하였다. 실험 결과, 개선 전 대비 정확도는 거의 동일하게 유지되면서 전체 실행 시간이 약 87%~ 90% 단축되어 플렌옵틱 환경에서 다중 객체 추적 성능이 크게 개선된 것을 확인할 수 있다.