Reinforcement learning based Q-routing with Adaptive Exploration in Wireless Sensor Networks

멀티홉 무선 센서네트워크에서 라우팅 기법은 네트워크 성능을 보장하기 위한 중요한 네트워크 기술 중 하나이다. 최적화된 라우팅 경로 설정을 위해 강화학습을 이용한 다양한 라우팅 기법들이 연구되고 있다. 그러나 강화학습에 기반한 Q-routing 기법은 Q-table의 업데이트를 위해 네트워크의 각 노드가 인접 노드들의 Q값을 주기적으로 탐색(exploration)하는 과정이 요구되는데, 이는 네트워크가 커짐에 따라 전송지연 및 전송효율의 감소를 초래한다. 특히 노드의 전력 소모와 전력 불균형을 증가시켜 네트워크 수명을 크게 단축하게 된다. 본 논문에서는 네트워크의 트래픽 상황에 따라 적응적으로 탐색주기를 변경함으로써 Q-table 갱신으로 인한 노드의 전력소모를 최소화하여 네트워크 수명(lifetime)을 연장할 수 있는 Q-routing 프로토콜을 제안하였다. 시뮬레이션 결과, 제안된 적응적 탐색방식이 기존 Q-routing 방식보다 전력효율을 높이고 네트워크 수명을 연장하는 데 효과적임을 확인하였다.