Colorization based on LiDAR and Thermal Image

본 연구는 야간에 촬영한 라이다 강도영상, 거리영상, 열적외영상을 각기 다른 4개의 Image-to-Image translation 딥러닝 모델인 CycleGAN, Contrastive Unpaired Translation(CUT), Unpaired Neural Schrödinger Bridge(UNSB), CycleGAN-turbo 모델을 통해 주간 광학 영상으로 모의하였고, 모의 결과는 시각적 분석과 참조 영상 간의 유사도를 통해 정량적 분석을 진행하였다. 실험 결과, CycleGAN 모델은 전반적으로 구조적 유사성과 색상 매핑에서 안정적인 성능을 보였으며 주요 물체의 형상과 경계를 명확하게 모의하였고, CUT 모델은 PSNR과 UIQI 지표에서 평균적으로 우수한 성능을 나타내며 우수한 색상 매핑 결과를 도출하였다. UNSB 모델은 SSIM 지표에서 높은 성능을 기록하며 세부 표현이 뛰어났으나, 거리영상 제외 실험에서는 구조적 표현이 저하되었다. CycleGAN-turbo 모델은 형상 복원에서 일부 개선된 결과를 보였지만, 지속적인 색상 오매핑 문제가 발생하였다. 본 연구에서는 야간 환경에서 획득한 라이다, 열적외영상을 인공지능 기반으로 주간영상 모의를 수행하였다. 이러한 방법을 통해 야간 상황과 같은 저조도 환경에서 획득한 영상의 상황 인지 환경을 개선하고, 주간영상으로 한정된 디지털 트윈을 보강 할 수 있을 것으로 기대가 된다.