Improved Performance of Multi-Modal Audio-Visual Segmentation with Noise

오디오와 비쥬얼 정보를 활용한 멀티 모달 기반의 객체 분할은 현재 컴퓨터 비전 분야에서 활발히 연구가 진행되고 있는 주제이다. Audio-Visual Segmentation (AVS)은 오디오 정보를 추가적으로 사용하여 비쥬얼 정보 내에 소리가 나는 객체 만을 픽셀 단위로 분할할 수 있게 제안된 오디오-비쥬얼 멀티 모달 객체 분할 연구이다. 이러한 기술은 로봇 인식과 자율 주행과 같이 객체를 정확하게 인식해야하는 응용 분야에 있어 중요하다. 실제 세계의 정보들을 수집하다 보면 원치 않은 정보들이 포함되거나 기계적인 결함과 같은 이유로 노이즈가 빈번하게 발생하며 이로 인해 AVS모델의 성능이 크게 저하될 수 있다. 본 논문에서는 오디오와 비쥬얼에 노이즈가 추가되면 성능이 저하되는 것을 확인하였으며, 이에 대처할 수 강인한 AVS연구의 필요성을 확인하였다. 따라서 본 연구에서는 노이즈를 제거하는 네트워크를 추가하여 노이즈가 추가되더라도 성능이 저하되는 문제를 개선한다.