Robust Self-supervised Multi-frame Depth Estimation: In Search of Cost Volume Alternatives

다중 프레임 깊이 추정(multi-frame depth estimation)은 여러 입력 프레임의 기하학적 정보를 활용하기 때문에 단일 프레임 깊이 추정 (monocular depth estimation)보다 더 좋은 깊이 예측을 할 수 있다. 기존 다중 프레임 기반 모델은 에피폴라 기하학을 기반으로한 코스트 볼륨을 쌓아서 깊이 추정을 하였는데, 이 코스트 볼륨은 두 가지 주요 단점을 가진다. (1) 정적인 환경에서만 동작하고 (2) 모델 추론 단계에서 추가적인 카메라 포즈 정보를 요구한다. 결과적으로, 이러한 에피폴러 기반 코스트 볼륨은 동적 객체가 존재하는 실제 환경에서 깊이 추정 성능이 부정확하다. 따라서 본 논문에서는 에피폴러 기반 코스트 볼륨의 한계를 극복하기 위해 종합적인 코스트 볼륨을 사용하는 것을 제안하고, 트랜스포머의 cross-attention map 이 그 역할을 할 수 있음을 보인다. 이미지 재구성의 자가지도학습으로 깊이 추정 모델을 학습할 경우, 트랜스포머의 cross-attention layer은 에피폴라 기하학에 기반하지 않는 코스트 볼륨을 배울 수 있으며, 동적 객체가 존재 하는 환경에서 강건한 깊이 추정을 할 수 있을 것이다. 우리는 동적인 객체가 많은 Cityscapes 데이터셋에 평가를 진행하여 본 논문의 방법론이 기존 방법론보다 우수하고 동적인 객체가 존재하는 실제 환경에서 강건한 깊이 추정을 할 수 있음을 실험적으로 보인다.