Image quality enhancement for arbitrary viewpoint synthesis based on accurate inter-camera point matching

NoPe-NeRF와 같은 딥 뉴럴 네트워크를 이용하여, 사전 카메라 정보 없이 2D 이미지를 입력으로 3D 공간정보를 학습한 후, 임의의 시점(Viewpoint)으로부터 2D 합성 이미지를 생성할 때 원경 영역의 이미지 품질 저하 문제가 관찰되었다. 이에 본 논문은 합성 이미지에서 원경 영역의 화질 저하의 문제점을 해결하기 위한 방안을 제시한다. 해당 문제가 NoPe-NeRF에서 포인트 클라우드 손실 함수 계산 시, 매칭 정확도가 낮은 포인트 쌍을 기반으로 손실을 계산하는 과정에서 비롯된 다고 추정하고, 이를 개선하기 위해 확률적 밀집 대응 네트워크(PDCNet)를 이용하여 인접 카메라 이미지 간의 포인트 매칭 정확도를 높이고, 이를 기반으로 보다 신뢰도 높은 포인트 클라우드 손실을 계산하도록 설계하였다. 제안 기법의 효과는 PSNR, SSIM, LPIPS 지표를 활용한 정량적 평가와 합성 이미지에 대한 정성적 비교 분석을 통해 입증되었다. 또한, 카메라 포즈 추정 성능의 개선 여부를 검증하기 위해 ATE 및 RPE 지표를 기준으로 제안 방법 적용 전후의 성능을 비교하였다. 실험 결과, 제안 기법은 임의 시점에서 생성된 합성 이미지의 품질을 향상시켰을 뿐만 아니라, 카메라 포즈 추정의 정확도 역시 함께 개선되었음을 확인하였다.