DCM: Bins Optimization Module for Elaborate Depth Estimation on Single Image using Monocular Camera

본 논문은 단안 카메라로 깊이를 추정하는 Monocular Depth Estimation(MDE) 분야에서 더욱 정밀한 깊이를 추정하기 위해 새로운 최적화 모듈을 제안한다. 기존에는 단일 이미지를 네트워크에 입력하여 직접적으로 깊이 이미지를 추정하는 회귀방식과 이산화된 깊이 값 클래스들(Bins)을 사전 정의하여 각 픽셀의 Bins 확률을 추정하는 분류 방식을 사용해왔고, 최근에는 기존 분류 방식을 넘어 학습 가능한 Bins에 대한 연구가 활발하게 이루어지고 있다. 이러한 접근 방식의 핵심은 최적의 Bins를 추정하기 위한 Bins 최적화 모듈에 있으며, 다양한 모듈이 제안되며 많은 발전을 거두어 왔다. 그러나, 기존의 모듈들은 네트워크의 어떤 레이어의 출력 표현들을 한정적으로 사용(e.g. Splitter)하거나, 이 출력 표현들이 직접적으로 Bins를 추정는 것이 아닌 어떤 도구(e.g. Attractor)를 사용하여 간접적으로 Bins를 추정하는 등 최적의 Bins 추정에 제한점이 있었다. 그래서 앞서 기술한 제한점을 극복하기 위해, 출력 표현들과 Bins의 1:1 매칭이 이루어지는 방식의 Deformable Cardinality Module(DCM)을 새롭게 제안한다. 이러한 1:1 매칭 방식은 레이어 출력 표현들이 각 Bin에 독립적으로 매칭되고 변형될 수 있도록 하였으며, 각 Bin에 매칭된 표현들이 최적의 방향으로 추정하여 MDE 작업의 성능을 향상시킬 수 있었다. 아울러 최근 MDE 성능 향상을 위해 제안되었던 Split-Transform-Conversion-Merge(STCM) 전략과 함께 사용하여 더욱 정밀한 Bins 추정이 가능하며, 최종적으로 비교 실험을 통해 여러 평가 지표에서 정량적인 성능 향상과 시각적인 측면에서 또한 정상적인 깊이 추정이 가능함을 확인하였다.