Development of an Integrated System for Real-Time EO/IR Image Restoration and Object Recognition in Battlefield Environments

현대 군사 기술은 빠르게 변화하며 높은 불확실성을 갖는 전장에서 실시간 상황 인식이 가능한 기술을 요구한다. 본 논문에서는 장애물에 가려진 전장 객체를 실시간으로 복원하고 인식하는 영상 복원-인식 통합 시스템을 제안한다. 제안된 시스템은 DSTT (decoupled spatial-temporal transformer) 기반의 복원 모듈과 RT-DETR 기반의 인식 모듈로 구성된다. 복원 모듈의 시공간적 연속성과 빠른 추론 속도를 달성하기 위해 온라인 복원 기법과 메모리 뱅크 기법을 적용한다. 또한, 인식 모듈의 빠른 처리 속도를 위해 TensorRT 최적화를 적용한다. 마지막으로, 전장 가상 환경 시뮬레이터를 이용하여 데이터 세트를 구축하고, 이를 기반으로 실험 결과를 통해 본 논문의 주요 목표인 향상된 인식 정확도와 20 fps 이상의 추론 속도를 확인하여 제안하는 시스템의 타당성을 검증한다.