Optimal Deployment of Sonobuoy for Unmanned Aerial Vehicles Using Deep Reinforcement Learning in Three-Dimensional Environments

대잠전에서 소노부이는 수중 표적을 탐지하고 추적하는 핵심 장비로, 이러한 소노부이의 최적 배치는 탐지 성능을 극대화하는 데 필수적이며, 이를 통해 작전의 성공 가능성을 높일 수 있다. 그러나 기존 연구들은 주로 2차원 실험 환경에서 소노부이 배치를 수행하여 3차원에서의 수중 표적 기동을 고려하지 못하고, 고정된 패턴 및 휴리스틱 기반의 규칙에 의존해 매번 효율적인 배치 전략을 보장하지 못하는 한계가 있다. 따라서 본 논문에서는 이러한 한계를 극복하기 위해 3차원 시뮬레이션 환경에서 심층 강화학습을 활용한 무인항공기의 소노부이 최적 배치를 제안한다. 제안하는 방법은 투하된 소노부이 비용, 작전 시간, 탐지 불확실성을 동시에 고려하여 3D 파레토 최적을 적용한 보상 함수를 설계하여 효과적인 학습을 가능하게 한다. 또한, 심층 강화학습을 통해 무인항공기는 실시간으로 소노부이 투하 위치를 결정함으로써, 높은 작전 유연성을 확보할 수 있다. 제안한 방법을 이전 방법들과 비교한 결과, 탐지 성공률을 비롯한 세 가지 최적화 요건에 대해서도 모두 우수한 성능을 보였다.