Mixed Sound Source Localization via Audio-Visual Information Fusion

다중 음원 위치 파악은 시각적 장면 내에서 여러 음원이 혼합되어 있는 오디오를 활용하여 개별 음원의 위치를 파악하는 연구 주제이다. 기존의 연구들은 청각 정보를 시각 정보의 공간 영역을 보조하는 역할로 활용하며 소리를 내는 객체가 여러 개인 경우 객체의 수에 대한 사전 정보가 주어져야 한다는 한계가 존재한다. 본 논문은 공간 정보 통합 모듈을 도입하여 시청각 정보를 융합하고 공간적 단서가 존재하는 청각 정보를 시각 정보와 동등하게 활용한다. 또한 객체 반복 검출 모듈을 도입하여 반복적으로 소리를 내는 객체를 검출함으로써 객체 수에 대한 사전 정보 없이도 여러 음원의 위치를 효과적으로 찾고 분리할 수 있다. 제안한 방법은 기존 연구의 한계를 극복하고 보다 강력한 음원 위치 파악을 수행할 수 있다. 또한 우리는 VGGSound dataset에서 실험을 수행하였고, 기존 접근 방법보다 우수한 성능을 달성하였다.