Deep Q-network-based RF Link Selection for On-device Edge AI in Dynamic Maritime Environments

무선 제어를 위한 클라우드 기반 AI는 시간이 지남에 따라 천천히 변하는 데이터 분포와 안정적인 백홀 연결성을 가정한다. 그러나 해상 릴레이 네트워크는 AUV-부이-선박 위상 구조가 시간에 따라 비정상적으로 변하는 해상 채널, 하드웨어 드리프트 그리고 높은 RSSI가 심각하고 긴 지연 시간을 유지하는 숨겨진 혼잡을 경험하기 대문에 실제 현장 운용시 관측되는 데이터는 클라우드 기반 학습 모델의 예상과 심각한 괴리를 보일 수 있다. 본 논문은 이러한 조건에서 종단 간 지연 시간, 에너지 소비, 가시선 등의 상태 변수를 사용하여 Wi-Fi/LTE 전환 작업을 마르코프 결정 과정으로 정식화하고, 이를 NVIDIA Jetson Orin에서 직접 실행하고 업데이트하는 Deep Q-Network (DQN)로 해결하고자 한다. 본 논문에서 제안하는 Orin 시뮬레이터를 통해 실시간으로 변하는 해상 조건과 실제 혼잡 상황을 은폐하는 높은 RSSI 환경을 실험한 결과, DQN 모델은 안정적인 지연 시간을 유지하였으나, RSSI 기반 휴리스틱 모델은 번번히 실패하여 심각한 지터(Jitter) 현상(연결이 자주 끊기거나 응답 속도의 변동 폭이 매우 크다.)이 나타났다. A2C 알고리즘과 비교했을 때, DQN 모델은 통신 두절 등의 패널티 이벤트가 드물게 발생하더라도 그 결과가 치명적인 상황에서 특히 더 빠르게 학습 완료하였다. 이러한 결과는 환경의 변화가 예측 불가능한 동시에 클라우드에서의 실시간 관측조차 어려운 경우, 적용 제어의 주체를 온디바이스 학습 모델을 통해 엣지(Edge)로 옮기는 것이, 클라우드 중심 정책(지연 문제) 이나 고정된 정책(유연성 부족)보다 더 안정적인 해상 링크 제어를 제공함을 보여준다.