Boosting Few-shot Radiance Fields with Monocular Depth Estimation

신경 방사장(NeRF)은 새로운 뷰 합성과 3D 재구성에서 뛰어난 성능을 보이지만, 알려진 뷰포인트가 적을 때 성능이 크게 저하됩니다. 기존 방법들은 외부 프라이어를 사용해 이 문제를 해결하려 했지만, 특정 장면이나 데이터셋에만 효과적이었습니다. 단안 깊이 추정(MDE) 네트워크를 사용하면 이 문제를 해결할 수 있지만, MDE는 다양한 모호성 문제를 야기합니다. 이를 해결하기 위해 우리는 NeRF와 MDE를 결합해 온라인 보완 학습을 통해 소수의 실제 이미지만으로 강력한 NeRF 재구성을 달성하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 MDE 네트워크의 기하 프라이어를 NeRF에 적용하여 일관성과 강건성을 높이며, 패치 단위의 스케일-시프트 피팅 및 기하 전수를 통해 MDE 깊이를 NeRF 기하와 정밀하게 맞춥니다. 실험 결과, 이 프레임워크는 실내외 실제 데이터셋에서 일관되고 신뢰할 수 있는 최첨단 성능을 보여줍니다.