Reinforcement Learning-Based Low Earth Orbit Satellite Beam Hopping Algorithm Considering Traffic Distribution in South Korea

저궤도 (low Earth orbit, LEO) 위성은 지상 네트워크 달리 공간의 제약을 받지 않고 여러 지역에 통신 서비스를 제공할 수 있는 장점으로 많은 연구가 진행되고 있다. 그중 다중 빔 위성 통신 시스템에서는 위성의 스펙트럼, 전력 및 용량 자원이 제한적이기 때문에, 효율적으로 자원을 활용할 수 있는 빔 호핑 (beam hopping, BH) 기술이 주목받고 있다. 본 논문에서는 대한민국의 다중 빔 저궤도 위성 서비스 시나리오에서의 심층 Q 네트워크(deep Q-network, DQN) 기반 지구 고정 (Earth-fixed) 빔 호핑 알고리즘을 제안한다. 제안하는 알고리즘은 위성의 제한된 용량, 채널 상태와 대한민국 셀의 랜덤한 트래픽 분포를 고려하여 효율적인 빔 호핑을 수행한다. 모의실험 결과, 제안하는 알고리즘은 기존의 휴리스틱 알고리즘에 비해 위성 자원의 효율성을 향상시키고, 대한민국 내 셀트래픽을 최대한 처리하는 데 우수한 성능을 보인다.